AI Infrastructure : options de stockage

Overview

Google, IBM & Meta Certificates — All 10,000+ Courses at 40% Off

One annual plan covers every course and certificate on Coursera. 40% off for a limited time.

Dans ce cours, vous découvrirez en détail les solutions de stockage disponibles sur Google Cloud, spécialement conçues pour les charges de travail d'IA et de calcul haute performance (HPC). Vous apprendrez à choisir le stockage adapté à chaque étape du cycle de vie du ML. Vous découvrirez comment optimiser les performances d'E/S pendant l'entraînement, à gérer des ensembles de données massifs pour la préparation des données et à livrer les artefacts du modèle avec une faible latence. Grâce à des exemples et à des démonstrations pratiques, vous acquerrez l'expertise nécessaire pour concevoir des solutions de stockage robustes qui accéléreront vos innovations en matière d'IA.

Syllabus

Vue d'ensemble du cours

Ce module offre une vue d'ensemble du cours et présente les objectifs d'apprentissage.

Principes de base du stockage d'IA

Ce module détaille le rôle de l'infrastructure de stockage dans le pipeline de données d'IA. Il aborde les exigences de performance, les principales solutions Google Cloud, et les critères de décision pour choisir un service en fonction de la capacité, du débit et de la latence.

Préparation et entraînement

Ce module détaille les phases critiques de la préparation des données et de l'entraînement du modèle au sein du workflow d'IA. Il aborde l'optimisation du chargement des données à l'aide de Cloud Storage, d'AnywhereCache et de l'outil Dataflux Dataset, et compare les systèmes de fichiers hautes performances tels que Cloud Storage FUSE et Managed Lustre. Il décrit aussi les critères de décision pour des stratégies de point de contrôle efficaces afin d'assurer la tolérance aux pannes et de minimiser le temps d'inactivité des GPU.

Livraison et archivage

Ce module détaille les stratégies de mise en service du modèle d'IA et d'archivage des données. Il aborde la sélection du stockage (Managed Lustre, Cloud Storage ou Hyperdisk ML) en fonction de l'échelle et de la latence, ainsi que les techniques d'optimisation, comme le streaming d'image GKE et Cloud Storage FUSE, qui permettent de minimiser les coûts et les temps de chargement.