Infraestrutura de IA: técnicas de rede

Overview

Google, IBM & Meta Certificates — All 10,000+ Courses at 40% Off

One annual plan covers every course and certificate on Coursera. 40% off for a limited time.

"Este é o curso ""Infraestrutura de IA: técnicas de rede"". Você vai aprender a aproveitar a infraestrutura de alta largura de banda e baixa latência do Google Cloud para otimizar a transferência de dados e a comunicação entre todos os componentes do seu sistema de IA. Ao final, você vai compreender o papel crucial que as redes desempenham em todo o pipeline de IA, desde a ingestão e o treinamento de dados até a inferência, e será capaz de aplicar as práticas recomendadas para garantir que suas cargas de trabalho sejam executadas na velocidade máxima."

Syllabus

Visão geral do curso

Este módulo oferece uma visão geral do curso e descreve os objetivos de aprendizagem.

Introdução

Este módulo detalha os requisitos de rede especializados para cargas de trabalho de IA em comparação a aplicativos da web tradicionais. Abordamos as demandas específicas de largura de banda e latência de cada etapa do pipeline, da ingestão à inferência, e analisamos as arquiteturas de rede "alinhadas aos trilhos" dos tipos de máquina A3 e A4 com GPU do Google Cloud, projetados para maximizar o "Goodput".

Redes para ingestão de dados

Este módulo detalha estratégias para migrar conjuntos de dados massivos para a nuvem de forma eficiente. Abordamos o uso do Cross-Cloud Network e do Cloud Interconnect para estabelecer pipelines de alta largura de banda e descrevemos as práticas recomendadas de configuração, como habilitar Jumbo Frames (MTU), para reduzir o overhead do protocolo e otimizar a capacidade de processamento.

Redes para treinamento de IA

Este módulo detalha o papel crucial das redes de baixa latência no treinamento de modelos distribuídos. Abordamos a necessidade do acesso direto e remoto à memória (RDMA, na sigla em inglês) para a sincronização de gradientes, os benefícios da arquitetura de descarregamento Titanium do Google na liberação de recursos de CPU e as opções de topologia necessárias para escalonar clusters sem gargalos.

Redes para inferência

Este módulo detalha os desafios de rede específicos da inferência com IA generativa, como tráfego intermitente e conexões de longa duração. Abordamos a otimização do tempo até o primeiro token usando o GKE Inference Gateway e o direcionamento de "Profundidade da fila", além de tratar das práticas recomendadas para a confiabilidade da rede e o Identity and Access Management (IAM).