Introduction to Data Engineering on Google Cloud - Bahasa Indonesia

Overview

Dalam kursus ini, Anda akan belajar tentang data engineering on Google Cloud, peran dan tanggung jawab data engineer, dan bagaimana hal tersebut terhubung dengan penawaran yang disediakan oleh Google Cloud. Anda juga akan mempelajari cara untuk mengatasi tantangan terkait data engineering.

Syllabus

Pengantar Kursus

Bagian ini merupakan Pengantar kursus Data Engineering on Google Cloud, dan memberikan ringkasan tentang struktur dan sasaran kursus.

Tugas dan Komponen Data Engineering

Modul ini berisi pengantar tentang peran seorang data engineer. Modul ini membahas konsep utama seperti sumber data dan sink data, format data, opsi penyimpanan di Google Cloud, pengelolaan metadata, dan penggunaan Analytics Hub untuk berbagi data di dalam dan di luar organisasi.

Replikasi dan Migrasi Data

Modul ini berisi ringkasan tentang replikasi dan migrasi data di Google Cloud. Modul ini membahas arsitektur dasar, alat command line 'gcloud', Storage Transfer Service, Transfer Appliance, dan Datastream, beserta fungsi dan kasus penggunaannya.

Pola Pipeline Data Ekstrak dan Muat

Modul ini berfokus pada proses ekstraksi dan pemuatan data di Google Cloud, terutama dengan BigQuery. Modul ini membahas arsitektur ekstraksi dan pemuatan dasar, alat command line bq, BigQuery Data Transfer Service, dan BigLake sebagai alternatif dari pola ekstraksi-pemuatan tradisional.

Pola Pipeline Data Ekstrak, Muat, dan Transformasi

Modul ini berisi ringkasan tentang proses ELT (ekstraksi, pemuatan, transformasi) di Google Cloud. Modul ini membahas arsitektur ELT dasar, contoh pipeline ELT yang umum, kemampuan BigQuery untuk membuat skrip dan penjadwalan SQL, serta fungsi dan kasus penggunaan Dataform.

Pola Pipeline Data Ekstrak, Transformasi, dan Muat

Modul ini berisi ringkasan tentang proses ETL (ekstraksi, transformasi, pemuatan) di Google Cloud. Modul ini membahas arsitektur ETL dasar, alat GUI, opsi pemrosesan data batch dan aliran data (Dataproc, Dataproc Serverless), serta peran Bigtable dalam pipeline data.

Teknik Otomatisasi

Modul ini berfokus pada pola otomatisasi dan opsi untuk pipeline di Google Cloud. Modul ini membahas berbagai alat dan layanan seperti Cloud Scheduler, Workflows, Cloud Composer, Cloud Run Functions, dan Eventarc, beserta fungsi dan kasus penggunaan untuk otomatisasi.

Ringkasan Kursus

Di bagian terakhir ini, kita akan meninjau apa yang telah disajikan dalam kursus ini dan membahas langkah selanjutnya untuk melanjutkan pembelajaran cloud Anda.