Serverless Data Processing Dataflow em Português Brasileiro
Google Cloud via Coursera Specialization
Overview
Google, IBM & Meta Certificates – 40% Off
One Coursera Plus subscription covers most Professional Certificates on Coursera.
Unlock All Certificates
Está se tornando cada vez mais difícil manter uma pilha de tecnologia que possa acompanhar as crescentes demandas de um negócio orientado a dados. Todo praticante de Big Data está familiarizado com os três V’s do Big Data: volume, velocidade e variedade. E se houvesse uma tecnologia à prova de escala projetada para atender a essas demandas? Entre no Google Cloud Dataflow. O Google Cloud Dataflow simplifica o processamento de dados unificando o processamento em lote e fluxo e fornecendo uma experiência sem servidor que permite que os usuários se concentrem na análise, não na infraestrutura. Essa especialização destina-se a clientes e parceiros que desejam aprofundar sua compreensão do Dataflow para aprimorar seus aplicativos de processamento de dados. Esta especialização contém três cursos: Foundations, que explica como o Apache Beam e o Dataflow trabalham juntos para atender às suas necessidades de processamento de dados sem o risco de dependência do fornecedor Developing Pipelines, que aborda como você converte nossa lógica de negócios em aplicativos de processamento de dados que podem ser executados no Dataflow Operations, que analisa as lições mais importantes para operar um aplicativo de dados no Dataflow, incluindo monitoramento, solução de problemas, teste e confiabilidade.
Syllabus
- Course 1: Serverless Data Processing with Dataflow: Foundations em Português Brasileiro
- Course 2: Serverless Data Processing with Dataflow: Operations em Português Brasileiro
- Course 3: Serverless Data Processing with Dataflow: Develop Pipelines em Português Brasileiro
Courses
-
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
-
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
-
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
Taught by
Google Cloud Training