Traitement des données sans serveur avec Dataflow:opérations

Overview

Dans le dernier volet de la série de cours sur Dataflow, nous allons présenter les composants du modèle opérationnel de Dataflow. Nous examinerons les outils et techniques permettant de résoudre les problèmes et d'optimiser les performances des pipelines. Nous passerons ensuite en revue les bonnes pratiques en matière de test, de déploiement et de fiabilité pour les pipelines Dataflow. Nous terminerons par une présentation des modèles, qui permettent de faire évoluer facilement les pipelines Dataflow pour les adapter aux organisations comptant des centaines d'utilisateurs. Ces leçons vous aideront à vous assurer que votre plate-forme de données est stable et résiliente face aux imprévus.

Syllabus

Introduction

Ce module présente le plan du cours.

Surveillance

Dans ce module, nous allons apprendre à utiliser la page "Liste des jobs" pour filtrer les jobs que nous souhaitons surveiller ou examiner. Nous allons voir comment les onglets "Graphique du job", "Informations sur le job" et "Métriques de job" fournissent ensemble un résumé complet de votre job Dataflow. Enfin, nous verrons comment utiliser l'intégration de Dataflow à l'Explorateur de métriques pour créer des règles d'alerte pour les métriques Dataflow.

Journalisation et rapports d'erreurs

Dans ce module, nous allons apprendre à utiliser le panneau "Journaux" en bas des pages "Graphique du job" et "Métriques de job", et découvrir la page centralisée "Error Reporting".

Dépannage et débogage

Dans ce module, nous allons apprendre à dépanner et à déboguer des pipelines Dataflow. Nous aborderons également les quatre modes de défaillance courants pour Dataflow : échec de la création du pipeline, échec du démarrage du pipeline sur Dataflow, échec lors de l'exécution du pipeline et problèmes de performances.

Performances

Dans ce module, nous allons aborder les considérations liées aux performances dont nous devons tenir compte lors du développement de pipelines par lot et de pipelines de flux dans Dataflow.

Tests et CI/CD

Ce module aborde les tests unitaires de vos pipelines Dataflow. Nous vous présentons également les frameworks et les fonctionnalités disponibles pour simplifier votre workflow CI/CD pour les pipelines Dataflow.

Fiabilité

Dans ce module, nous allons aborder les méthodes permettant de créer des systèmes résilients face aux données corrompues et aux pannes de centres de données.

Modèles Flex

Ce module présente les modèles Flex, une fonctionnalité qui aide les équipes d'ingénierie des données à standardiser et à réutiliser le code de pipeline Dataflow. Les modèles Flex permettent de résoudre de nombreux problèmes opérationnels.