Infraestructura de IA: técnicas de redes

Overview

Google, IBM & Meta Certificates — All 10,000+ Courses at 40% Off

One annual plan covers every course and certificate on Coursera. 40% off for a limited time.

Te damos la bienvenida al curso "Infraestructura de IA: técnicas de redes". En él, aprenderás a aprovechar la infraestructura de baja latencia y alto ancho de banda de Google Cloud para optimizar la transferencia de datos y la comunicación entre todos los componentes de tu sistema de IA. Al final del curso, comprenderás el papel fundamental que desempeñan las redes en todo la canalización de IA, desde la transferencia y el entrenamiento de datos hasta la inferencia, y podrás aplicar las prácticas recomendadas para garantizar que tus cargas de trabajo se ejecuten a la máxima velocidad.

Syllabus

Descripción general del curso

En este módulo, se ofrece una descripción general del curso y se describen los objetivos de aprendizaje.

Introducción

En este módulo, se detallan los requisitos de red especializados para cargas de trabajo de IA en comparación con las aplicaciones web tradicionales Se abordan las demandas específicas de ancho de banda y latencia de cada etapa de la canalización (desde la transferencia hasta la inferencia) y se analizan las arquitecturas de red "alineadas" de los tipos de máquinas con GPU A3 y A4 de Google Cloud diseñadas para maximizar el "procesamiento útil".

Redes para la transferencia de datos

En este módulo, se detallan estrategias para trasladar de manera eficiente conjuntos de datos masivos a la nube. Se aborda el uso de la Red Multinube y Cloud Interconnect para establecer canalizaciones de alto ancho de banda y se describen las prácticas recomendadas de configuración (como habilitar las tramas jumbo [MTU]) para reducir la sobrecarga del protocolo y optimizar la capacidad de procesamiento.

Redes para el entrenamiento de IA

En este módulo, se detalla el papel fundamental de las redes de baja latencia en el entrenamiento de modelos distribuidos. Se abordan la necesidad del acceso directo a memoria remota (RDMA) para sincronizar gradientes, los beneficios de la arquitectura de transferencia Titanium de Google para liberar recursos de la CPU y las opciones de topología necesarias para escalar clústeres sin cuellos de botella.

Redes para la inferencia

En este módulo, se detallan los desafíos de red específicos de la inferencia de IA generativa, como el tráfico inestable y las conexiones de larga duración. Se abordan la optimización del tiempo hasta el primer token usando GKE Inference Gateway y el enrutamiento según la "profundidad de cola", así como las prácticas recomendadas para la confiabilidad de la red y para Identity and Access Management (IAM).