Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

Introduction to Data Engineering on Google Cloud - 日本語版

Google Cloud via Coursera

Go to class Write review

Overview

AI, Data Science & Cloud Certificates from Google, IBM & Meta — 40% Off

One plan covers every Professional Certificate on Coursera. 40% off Coursera Plus Annual.

Unlock All Certificates

このコースでは、Google Cloud におけるデータエンジニアリング、データエンジニアの役割と責任、それらが Google Cloud の各サービスにどのように対応しているかについて学びます。また、データエンジニアリングの課題に対処する方法も学習します。

Syllabus

コースの概要

このセクションでは、「Introduction to Data Engineering on Google Cloud」コースの前置きとして、コースの構成と目標の概要を説明します。

データエンジニアリングのタスクとコンポーネント

このモジュールでは、データエンジニアの役割について概説します。具体的には、データソースとシンク、データ形式、Google Cloud でのストレージオプション、メタデータ管理、組織内外でのデータ共有のための Analytics Hub の使用など、主要なコンセプトを取り上げます。

データのレプリケーションと移行

このモジュールでは、Google Cloud におけるデータのレプリケーションと移行の概要について説明します。具体的には、基本的なアーキテクチャ、gcloud コマンドラインツール、Storage Transfer Service、Transfer Appliance、Datastream について、それぞれの機能とユースケースとともに取り上げます。

抽出と読み込みのデータパイプラインパターン

このモジュールでは、Google Cloud でのデータの抽出プロセスと読み込みプロセス、特に BigQuery を使用したプロセスに焦点を当てます。具体的には、抽出と読み込みの基本的なアーキテクチャ、bq コマンドラインツール、BigQuery Data Transfer Service、抽出と読み込みの従来のパターンの代替としての BigLake を取り上げます。

読み込み、変換のデータパイプラインパターン

このモジュールでは、Google Cloud での ELT（抽出、読み込み、変換）プロセスの概要について説明します。具体的には、基本的な ELT アーキテクチャ、一般的な ELT パイプラインの例、SQL のスクリプト作成とスケジュール設定を行う BigQuery の機能、Dataform の機能とユースケースを取り上げます。

抽出、変換、読み込みのデータパイプラインパターン

このモジュールでは、Google Cloud での ETL（抽出、変換、読み込み）プロセスの概要を説明します。具体的には、基本的な ETL アーキテクチャ、GUI ツール、バッチおよびストリーミングデータ処理オプション（Dataproc、Dataproc Serverless）、データパイプラインにおける Bigtable の役割を取り上げます。

自動化の手法

このモジュールでは、Google Cloud のパイプラインに使用できる自動化のパターンとオプションに焦点を当てます。具体的には、Cloud Scheduler、Workflows、Cloud Composer、Cloud Run functions、Eventarc などのさまざまなツールやサービスについて、それらの機能と自動化におけるユースケースとともに取り上げます。

コースのまとめ

この最後のセクションでは、このコースで学習した内容を振り返り、クラウドの学習を継続するための次のステップについて説明します。

Taught by

Google Cloud Training

Reviews

Start your review of Introduction to Data Engineering on Google Cloud - 日本語版