Infrastruktur AI: Teknik Jejaring

Overview

Google, IBM & Meta Certificates — All 10,000+ Courses at 40% Off

One annual plan covers every course and certificate on Coursera. 40% off for a limited time.

"Selamat datang di kursus ""Infrastruktur AI: Teknik Jejaring"". Dalam kursus ini, Anda akan mempelajari cara memanfaatkan infrastruktur Google Cloud berbandwidth tinggi dan berlatensi rendah untuk mengoptimalkan transfer data serta komunikasi antara seluruh komponen sistem AI Anda. Di akhir kursus, Anda akan memahami peran penting jejaring di seluruh pipeline AI, mulai dari penyerapan data dan pelatihan hingga inferensi, serta mampu menerapkan praktik terbaik agar workload Anda berjalan dengan kecepatan maksimal."

Syllabus

Ringkasan kursus

Modul ini memberikan gambaran umum tentang kursus dan menguraikan tujuan pembelajaran.

Pengantar

Modul ini menjelaskan secara terperinci persyaratan jejaring khusus untuk workload AI dibandingkan dengan aplikasi web tradisional. Modul ini membahas kebutuhan bandwidth dan latensi spesifik dari tiap tahap pipeline—dari penyerapan data hingga inferensi—dan menganalisis arsitektur jaringan "yang selaras dengan jalur" dari jenis mesin GPU A3 dan A4 Google Cloud yang dirancang untuk memaksimalkan "Goodput".

Jejaring untuk penyerapan data

Modul ini menjelaskan strategi untuk memindahkan set data besar ke cloud secara efisien. Modul ini membahas penggunaan Cross-Cloud Network dan Cloud Interconnect untuk membangun pipeline berbandwidth tinggi dan menjelaskan praktik terbaik konfigurasi—seperti mengaktifkan Jumbo Frames (MTU)—untuk mengurangi overhead protokol dan mengoptimalkan throughput.

Jejaring untuk pelatihan AI

Modul ini menjelaskan secara terperinci peran penting jejaring latensi rendah dalam pelatihan model terdistribusi. Modul ini membahas pentingnya akses memori langsung jarak jauh (RDMA) untuk sinkronisasi gradien, manfaat arsitektur offload Titanium Google dalam membebaskan resource CPU, dan pilihan topologi yang diperlukan untuk menskalakan cluster tanpa bottleneck.

Jejaring untuk inferensi

Modul ini menjelaskan secara terperinci tantangan jejaring yang spesifik untuk inferensi AI generatif, seperti traffic yang berfluktuasi dan koneksi berdurasi panjang. Modul ini membahas pengoptimalan Waktu-hingga-Token-Pertama menggunakan GKE Inference Gateway dan perutean "Kedalaman Antrean", serta membahas praktik terbaik untuk keandalan jaringan dan Identity and Access Management (IAM).