AI 基礎架構：網路技術

歡迎來到「AI 基礎架構：網路技術」課程。本課程將說明如何運用 Google Cloud 的高頻寬、低延遲基礎架構，最佳化調整 AI 系統所有元件之間的資料傳輸和通訊。最後，您將掌握網路在整個 AI 管道 (從資料擷取、訓練到推論) 發揮的關鍵作用，並採取最佳做法，確保工作負載能以最高速度運作。

本單元詳細說明 AI 工作負載不同於傳統網頁應用程式的特殊網路要求，包括介紹每個管道階段 (從擷取到推論) 的特定頻寬和延遲需求，並分析 Google Cloud 的 A3 和 A4 GPU 機型為盡可能提高「有效處理量」而採用的「通道一致」(rail-aligned) 網路架構。

本模組詳細說明將大量資料集有效遷移到雲端的策略，包括介紹如何運用 Cross-Cloud Network 和 Cloud Interconnect 來建立高頻寬管道，並概述啟用巨型封包 (MTU) 等設定方面的最佳做法，來減少通訊協定負擔並盡可能提升處理量。

本單元詳細說明低延遲網路在分散式模型訓練中的關鍵作用，包括介紹遠端直接記憶體存取 (RDMA) 對梯度同步作業的必要性、Google Titanium 卸載架構在釋放 CPU 資源方面的優勢，以及既能擴充叢集又不出現瓶頸的拓撲選擇。

本單元詳細說明生成式 AI 推論特有的網路難題 (例如流量飆升和長時間連線)，包括介紹如何運用 GKE 推論閘道和「佇列深度」路由，盡可能縮短第一個詞元生成時間，同時也探討了網路可靠性和 Identity and Access Management (IAM) 的最佳做法。

Google Cloud Training

Reviews

Start your review of AI 基礎架構：網路技術