Overview

Neste curso, vamos falar sobre a engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como alinhá-los aos produtos do Google Cloud. Além disso, você aprenderá a lidar com os desafios da engenharia de dados.

Syllabus

Introdução ao curso

Nesta seção de apresentação do curso "Introduction to Data Engineering on Google Cloud", você terá acesso a uma visão geral da estrutura e objetivos do curso.

Tarefas e componentes de engenharia de dados

Neste módulo, você vai conhecer o papel do engenheiro de dados. Vamos analisar conceitos importantes, como fontes e coletores de dados, formatos de dados, opções de armazenamento no Google Cloud e gerenciamento de metadados. Além disso, também vamos entender o uso do Analytics Hub no compartilhamento de dados pessoais dentro e fora da organização.

Replicação e migração de dados

Neste módulo, você terá uma visão geral da replicação e da migração de dados no Google Cloud. Vamos abordar a arquitetura básica, a ferramenta de linha de comando gcloud, o Serviço de transferência do Cloud Storage, o Transfer Appliance e o Datastream, além das funcionalidades e casos de uso de cada um.

O padrão de pipeline de extração e carregamento de dados

O foco deste módulo são os processos de extração e carregamento de dados no Google Cloud, especificamente com o BigQuery. Vamos falar sobre a arquitetura básica de extração e carregamento, a ferramenta de linha de comando bq, o serviço de transferência de dados do BigQuery e o BigLake como opção alternativa aos padrões tradicionais de extração e carregamento.

O padrão de pipeline de dados Extrair, carregar e transformar

Neste módulo, você confere uma visão geral dos processos ELT (extrair, carregar e transformar) no Google Cloud. Vamos analisar a arquitetura básica de ELT, um exemplo comum do pipeline de ELT, os recursos do BigQuery de scripting e programação de SQL, e também a funcionalidade e os casos de uso do Dataform.

O padrão de pipeline de dados Extrair, Transformar e Carregar

Neste módulo, você terá uma visão geral dos processos ETL (extrair, transformar, carregar) no Google Cloud. Vamos falar sobre a arquitetura básica de ETL, as ferramentas da interface gráfica do usuário (GUI), opções de processamento de dados em lote e de streaming (Dataproc, Dataproc sem servidor) e o papel do Bigtable em pipelines de dados.

Técnicas de automação

O foco deste módulo são os padrões de automação e as opções de pipelines no Google Cloud. Vamos falar sobre várias ferramentas e serviços, como Cloud Scheduler, Workflows, Cloud Composer, Cloud Run functions e Eventarc, além das funcionalidades e casos de uso de automação.