이 과정은 기술 전문가용 AWS 커뮤니티인 AWS 기술 필드 커뮤니티(TFC) 회원이 개발했습니다. 콘텐츠는 표준 교육 커리큘럼을 보완하고 AWS 학습 여정을 확대하기 위한 것입니다. AWS는 일부 과정에 접근성 제한이 있음을 인지하고 있으며 이를 해결하기 위해 노력하고 있습니다. 접근성과 관련하여 지원이 필요한 경우 AWS Training and Certification 고객 지원 센터에 문의하십시오.
본 과정에서는 GPU Tensor Parallelism 기법을 활용하여 Amazon EC2 G5/G6 인스턴스(NVIDIA A10G/L4 GPU)에서 대규모 언어 모델(LLM)을 비용 효과적으로 서빙하는 방법을 학습합니다. 고가의 H100 GPU 없이도 여러 장의 중소형 GPU를 병렬로 활용하여 32B~70B 파라미터 모델을 서빙할 수 있는 실용적인 아키텍처와 실측 성능 데이터를 제공합니다.