TelAgentBench - Telco 도메인 사례로 보는 에이전트 성능 평가

통신 도메인에 특화된 LLM 기반 에이전트 성능 평가 벤치마크 개발에 대한 컨퍼런스 발표를 시청하세요. SK텔레콤의 AI Data Engineering 팀장 이선우가 통신 서비스에 적용되는 LLM 기반 에이전트의 성능 측정 방법론과 평가 기준에 대해 설명합니다. 기존 에이전트 벤치마크의 한계점을 분석하고, 통신 분야의 특성을 반영한 다섯 가지 핵심 능력(Action, Planning, Reasoning, Instruction Following, RAG)을 정의하는 과정을 살펴보세요. 한국어 명령 이해, 데이터 로밍 제약, API 호출 등 실제 통신 서비스 환경의 요구사항을 반영한 TelAgentBench 구축 방법론을 학습하고, 상용 및 오픈소스 모델들의 평가 결과와 각 모델의 장단점 분석을 확인하세요. 통신 분야 에이전트 개발을 위한 실질적인 데이터 분석 결과와 향후 산업별, 도메인별 에이전트 벤치마크 설계에 대한 인사이트를 얻을 수 있으며, 언어학 전공자가 NLP 분야에서 성장한 경험과 인문학적 관점에서의 데이터 분석 접근법도 함께 소개됩니다.