2025년 LLM 훈련과 서빙의 진화 - 하이퍼스케일 AI 플랫폼 Backend.AI의 기술적 도전과 해법

이 컨퍼런스 발표에서는 2025년 대규모 언어 모델(LLM) 인프라의 진화 방향과 하이퍼스케일 AI 플랫폼 Backend.AI의 기술적 해결책을 탐구합니다. 단일 벤더 GPU 의존성에서 벗어나 이종 컴퓨팅 환경으로 전환되는 변곡점에서 직면하는 복잡한 도전과제들을 분석하고, 실무적 해법을 제시합니다. GPU, NPU, AMD, Intel 등 다양한 가속기를 혼합 활용하여 워크로드별 최적 분배를 구현하는 전략을 학습하고, Prefill, Decode, Speculative Decoding 단계별 동적 할당을 통한 혁신적인 서빙 아키텍처와 네트워크 최적화 기법을 이해합니다. 온프레미스와 클라우드를 통합하는 하이브리드 인프라 관리 방법론을 습득하고, 국내 AI 인프라 자립을 위한 구체적인 로드맵을 확인합니다. Lablup의 설립자이자 Backend.AI 개발자인 신정규가 오픈소스 하이퍼스케일 AI 플랫폼 개발 경험을 바탕으로 2025년 LLM 인프라 진화의 핵심 인사이트와 실무 적용 가능한 기술적 솔루션을 공유합니다.