Como criar data lakes e data warehouses no Google Cloud

Overview

Os dois principais componentes de um pipeline de dados são data lakes e warehouses. Neste curso, destacamos os casos de uso para cada tipo de armazenamento e as soluções de data lake e warehouse disponíveis no Google Cloud de forma detalhada e técnica. Além disso, também descrevemos o papel de um engenheiro de dados, os benefícios de um pipeline de dados funcional para operações comerciais e analisamos por que a engenharia de dados deve ser feita em um ambiente de nuvem. Este é o primeiro curso da série ""Data Engineering on Google Cloud"". Após a conclusão, recomendamos que você comece o curso ""Building Batch Data Pipelines on Google Cloud"".

Syllabus

Introdução ao curso

Apresente ao estudante os temas que serão abordados no curso e as habilidades que ensinadas.

Introdução à Engenharia de dados moderna no Google Cloud

Este módulo apresenta os conceitos básicos de data lakes e data warehouses, o que vai te ajudar a entender as arquiteturas modernas no Google Cloud.

Como criar um data lakehouse com o Cloud Storage, formatos abertos e o BigQuery

Neste módulo, você vai conhecer o conceito de lakehouse e os produtos do Google Cloud mais usados para criar um data lakehouse moderno com formatos de código aberto.

Modernização de data warehouses com o BigQuery e o BigLake

Neste módulo, você vai entender por que o BigQuery é o alicerce de um data warehouse moderno. Também mostramos como o BigLake unifica o acesso no data lake e no data warehouse.

Padrões avançados de lakehouse e governança de dados

Este módulo se concentra em padrões arquitetônicos avançados para o lakehouse, incluindo processamento de dados, orquestração e governança de dados abrangente no BigQuery, Cloud Storage e BigLake.

Laboratórios e práticas recomendadas

Este módulo traz laboratórios para aprofundar as habilidades nas ferramentas e tecnologias usadas por um lakehouse no Google Cloud, além de uma visão geral das práticas recomendadas, erros comuns e tendências futuras