Einführung in Data Engineering in Google Cloud

Overview

In diesem Kurs lernen Sie Data Engineering on Google Cloud sowie die Rollen und Verantwortlichkeiten von Data Engineers kennen und sehen, wie diese mit den Angeboten von Google Cloud zusammenhängen. Außerdem erfahren Sie, wie Sie Herausforderungen im Bereich Data Engineering meistern können.

Syllabus

Einführung in den Kurs

In diesem Modul wird der Kurs „Einführung in Data Engineering in Google Cloud“ vorgestellt. Die Teilnehmer erhalten einen Überblick über den Aufbau und die Ziele des Kurses.

Aufgaben und Komponenten des Data Engineering

In diesem Modul wird die Rolle des Data Engineers vorgestellt. Außerdem werden wichtige Konzepte wie Datenquellen und ‑senken, Datenformate, Speicheroptionen in Google Cloud, die Metadatenverwaltung und die Nutzung von Analytics Hub für die Weitergabe von Daten innerhalb und außerhalb einer Organisation angesprochen.

Replikation und Migration von Daten

Dieses Modul bietet einen Überblick über die Datenreplikation und ‑migration in Google Cloud. Behandelt werden die grundlegende Architektur, das gcloud-Befehlszeilentool, Storage Transfer Service, Transfer Appliance und Datastream, einschließlich der jeweiligen Funktionen und Anwendungsfälle.

Das Pipeline-Muster zum Extrahieren und Laden von Daten

In diesem Modul geht es um Datenextrahierungs- und ‑ladevorgänge in Google Cloud, insbesondere mit BigQuery. Es deckt die grundlegende Architektur für Extrahierungs- und Ladevorgänge, das bq-Befehlszeilentool, BigQuery Data Transfer Service und BigLake als Alternative zu herkömmlichen Extrahierungs-Lade-Mustern ab.

Das Pipeline-Muster zum Extrahieren, Laden und Transformieren von Daten

Dieses Modul bietet einen Überblick über ELT-Prozesse (Extrahieren, Laden, Transformieren) in Google Cloud. Beschrieben werden die grundlegende ELT-Architektur, ein gängiges Beispiel für eine ELT-Pipeline, die BigQuery-Funktionen für das Scripting und Planen von SQL sowie die Funktionen und Anwendungsfälle von Dataform.

Das Pipeline-Muster zum Extrahieren, Transformieren und Laden von Daten

Dieses Modul bietet einen Überblick über ETL-Prozesse (Extrahieren, Transformieren, Laden) in Google Cloud. Vorgestellt werden die grundlegende ETL-Architektur, GUI-Tools, Optionen für die Batch- und Streamingdatenverarbeitung (Dataproc, Dataproc Serverless) und die Rolle von Bigtable in Datenpipelines.

Automatisierungstechniken

In diesem Modul geht es um Automatisierungsmuster und Optionen für Pipelines in Google Cloud. Besprochen werden verschiedene Tools und Dienste wie Cloud Scheduler, Workflows, Cloud Composer, Cloud Run Functions und Eventarc, einschließlich der jeweiligen Funktionen und Anwendungsfälle für die Automatisierung.