Traitement des données sans serveur avec Dataflow : cours 1

Overview

Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.

Syllabus

Introduction

Ce module présente le plan du cours et rappelle brièvement le modèle de programmation Apache Beam et le service géré Dataflow de Google.

Portabilité de Beam

Dans ce module, nous allons aborder quatre sujets : la portabilité de Beam, l'exécuteur v2, les environnements de conteneurs et les transformations interlangages.

Séparer le calcul du stockage avec Dataflow

Dans ce module, nous allons voir comment séparer le calcul du stockage avec Dataflow. Ce module comporte quatre sections : Dataflow, le service Dataflow Shuffle, Dataflow Streaming Engine et la planification flexible des ressources.