Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

Google Cloud でのバッチデータパイプラインの構築

Google Cloud via Coursera

Go to class Write review

Overview

この中級コースでは、Google Cloud で堅牢なバッチデータパイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフローオーケストレーションを確認します。この内容は、タイムリーなビジネスインテリジェンスと重要なレポートの作成に不可欠です。実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless（Dataproc Serverless）を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。

Syllabus

バッチデータパイプラインを選択すべき場合

バッチデータパイプラインの開発とメンテナンスにおけるデータエンジニアの重要な役割を学び、そのコアコンポーネントとライフサイクルを理解し、バッチデータ処理における一般的な課題を分析します。また、これらの課題に対処する主要な Google Cloud サービスも特定します。

バッチデータパイプラインを設計、構築する

大量のデータの取り込みと変換に対応するスケーラブルなバッチデータパイプラインを設計します。また、さまざまなリソース管理とパフォーマンスチューニングの手法を使用して、高スループットと費用対効果を実現できるようにバッチジョブを最適化します。

バッチデータパイプラインでデータ品質を管理する

バッチパイプライン内でデータ品質を確保するためのデータ検証ルールとクレンジングロジックを開発します。また、スキーマ進化の管理と、大規模なデータセットのデータの重複除去を行うための戦略も実装します。

バッチデータパイプラインをオーケストレート、モニタリングする

スケジュールとリネージのトラッキングを効率化するために、複雑なバッチデータパイプラインワークフローをオーケストレートします。また、バッチデータパイプラインの堅牢なエラー処理、モニタリング、オブザーバビリティも実装します。

Taught by

Google Cloud Training

Reviews

4.4 rating at Coursera based on 30 ratings

Start your review of Google Cloud でのバッチデータパイプラインの構築