AI 인프라: 네트워킹 기술

Overview

Google, IBM & Meta Certificates — All 10,000+ Courses at 40% Off

One annual plan covers every course and certificate on Coursera. 40% off for a limited time.

AI 인프라: 네트워킹 기술' 과정에 오신 것을 환영합니다. 이 과정에서는 Google Cloud의 지연 시간이 짧은 고대역폭 인프라를 활용하여 AI 시스템의 모든 구성요소 간 데이터 전송 및 통신을 최적화하는 방법을 배우게 됩니다. 이 과정을 마치면 데이터 수집 및 학습부터 추론에 이르기까지 전체 AI 파이프라인에서 네트워킹이 수행하는 중요한 역할을 이해하고, 워크로드를 최대 속도로 실행할 수 있는 최적의 방법을 적용할 수 있게 됩니다.

Syllabus

과정 개요

이 모듈에서는 과정의 개요를 제공하고 학습 목표를 간략히 설명합니다.

소개

이 모듈에서는 기존 웹 애플리케이션과 비교하여 AI 워크로드에 필요한 특수 네트워킹 요구사항을 자세히 알아봅니다. 데이터 수집부터 추론까지 파이프라인 각 단계의 대역폭 및 지연 시간에 대한 요구사항을 살펴보고, '굿풋'을 극대화하도록 설계된 Google Cloud의 A3 및 A4 GPU 머신 유형의 '레일 정렬' 네트워크 아키텍처를 분석합니다.

데이터 수집을 위한 네트워킹

이 모듈에서는 대규모 데이터 세트를 클라우드로 효율적으로 이전하는 전략을 자세히 알아봅니다. 고대역폭 파이프라인 구축을 위한 크로스 클라우드 네트워크 및 Cloud Interconnect 사용법을 살펴보고, 프로토콜 오버헤드를 줄이고 처리량을 최적화하기 위한 점보 프레임(MTU) 사용 설정 같은 구성 권장사항을 알아봅니다.

AI 학습을 위한 네트워킹

이 모듈에서는 분산 모델 학습에서 지연 시간이 짧은 네트워킹의 중요성을 자세히 알아봅니다. 그래디언트 동기화를 위한 원격 직접 메모리 액세스(RDMA)의 필요성, CPU 리소스를 확보하는 데 있어 Google의 Titanium 오프로드 아키텍처의 이점, 그리고 병목 현상 없이 클러스터를 확장하는 데 필요한 토폴로지 선택에 대해 살펴봅니다.

추론을 위한 네트워킹

이 모듈에서는 급증하는 트래픽과 장시간 지속되는 연결처럼 생성형 AI 추론에 특화된 네트워킹 문제를 자세히 알아봅니다. GKE Inference Gateway와 '큐 깊이' 라우팅을 사용하여 첫 번째 토큰까지의 시간을 최적화하는 방법을 살펴보고, 네트워크 안정성 및 Identity and Access Management(IAM)에 대한 권장사항도 함께 알아봅니다.