Data Engineering on AWS - A Streaming Data Pipeline Solution (Includes Labs) (日本語)

このコースでは、Amazon Kinesis、Amazon Data Firehose、Amazon Managed Streaming for Apache Kafka (Amazon MSK) などの AWS サービスを使用してストリーミングデータ分析ソリューションを構築する方法を学びます。Kinesis は、非常にスケーラブルで耐久性の高いリアルタイムデータストリーミングサービスです。Amazon MSK は、安全で可用性が高いフルマネージド型の Apache Kafka サービスを提供します。

Kinesis と Amazon MSK が AWS Glue や AWS Lambda などの AWS のサービスとどのように統合されるのかを学びます。コースでは、データ分析パイプラインのストリーミングデータの取り込み、ストリームストレージ、ストリーム処理コンポーネントを扱います。また、セキュリティ、パフォーマンス、コスト管理のベストプラクティスを Kinesis と Amazon MSK の運用に適用する方法も学びます。

コースは複数のモジュールに分かれています。学習モジュールでは、新しい概念と、ソリューションの構築に使用できる AWS サービスを紹介します。ラボモジュールは、学んだことを応用するためのステップバイステップの手順が記載された詳細なハンズオンアクティビティです。

アクティビティ

インタラクティブコンテンツ、ビデオ、ナレッジチェック、評価、ハンズオンラボ

コースの目標

• 分析に関するお客様の課題を認識し、それを解決するための、ストリーミングデータアーキテクチャを特徴とする適切な AWS ソリューションについて説明する。
• ストリーミングアプリケーションに適したデータソースと、そのデータの取り込み方法を説明する。
• ストリーミングデータ用の短期および長期のストレージサービスを特定する。
• リアルタイムデータ処理ソリューションを設計および実装する方法を説明する。
• エンドユーザーが利用できるようにストリーミングデータを提供する方法を理解する。
• Amazon Kinesis、Amazon MSK、および Amazon Redshift を使用してストリーミングデータパイプラインを最適化する方法を説明する。
• ストリーミングデータパイプラインを保護するためのベストプラクティスを特定する。

対象者

• データエンジニア
• データアナリスト
• データアーキテクト
• ビジネスインテリジェンスエンジニア

推奨スキル

• 2～3 年間のデータエンジニアリングの経験
• 1～2 年間の AWS のサービスの実務経験
• AWS Cloud Practitioner Essentials の修了または同等の経験
• Fundamentals of Analytics on AWS Part 1 および Part 2 の修了
• Data Engineering on AWS - Foundations の修了

コースの概要

モジュール 1: ストリーミングデータパイプラインソリューションの構築 (75 分)

このコースでは、架空の顧客のビジネス目標を達成するためのストリーミングデータパイプラインソリューションを構築するための適切な AWS サービスを特定、選択、設定する方法を示します。

• はじめに
• ストリームソースからのデータの取り込み
• ストリーミングデータの保存
• データの処理
• データの分析
• 最終認定テスト
• まとめ

モジュール 2: Amazon Managed Service for Apache Flink によるストリーミング分析 (ラボ) (45 分)

このラボは、Amazon Simple Storage Service (Amazon S3) に保存されているカタログデータを使用して、クリックストリームデータを取り込み、クリックストリームデータを拡充することでストリーム処理パイプラインを構築する、ステップバイステップのハンズオンアクティビティです。拡充されたデータで分析を行い、売り上げをリアルタイムでカテゴリ別に特定し、出力を可視化します。

• ラボの概要
• タスク 1: Zeppelin ノートブック環境をセットアップする
• タスク 2: Amazon EC2 プロデューサーに接続し、クリックストリームジェネレーターを開始する 
• タスク 3: Zeppelin ノートブックをインポートする
• タスク 4: Zeppelin ノートブックを使用した Managed Apache Flink Studio でのアナリティクス開発 
• タスク 5: AWS Glue データカタログにおけるインメモリテーブルの作成について理解する 
• まとめ

モジュール 3: ストリーミングデータパイプラインソリューションの最適化と保護 (45 分)

このコースでは、架空の顧客のストリーミングデータパイプラインソリューションを構成して、効率を高め、コストを抑え、データを保護し、インフラストラクチャを管理する方法について説明します。

• 最適化
• セキュリティとガバナンス
• 最終認定テスト
• まとめ

モジュール 4: Amazon Managed Streaming for Apache Kafka を使用したアクセス制御の概要 (ラボ) (75 分)

このラボは、MSK クラスターのユーザーを認証および承認するための IAM メソッドについて学習するステップバイステップのハンズオンアクティビティです。(合計時間には、このラボで使用するリソースを設定する時間が含まれます)

• ラボの概要
• タスク 1: MSK クラスターを検査する 
• タスク 2: IAM 認証 MSK クラスターに公開し、そのクラスターから消費する
• まとめ