이 과정은 기술 전문가용 AWS 커뮤니티인 AWS 기술 필드 커뮤니티(TFC) 회원이 개발했습니다. 콘텐츠는 표준 교육 커리큘럼을 보완하고 AWS 학습 여정을 확대하기 위한 것입니다. AWS는 일부 과정에 접근성 제한이 있음을 인지하고 있으며 이를 해결하기 위해 노력하고 있습니다. 접근성과 관련하여 지원이 필요한 경우 AWS Training and Certification 고객 지원 센터에 문의하십시오.
이 과정에서는 오픈소스 LLM 평가 프레임워크인 promptfoo를 사용해 Amazon Bedrock에서 제공하는 모델 3종(Anthropic Claude Sonnet 4.6, Claude 3 Haiku, Amazon Nova Pro)의 응답 품질을 동일한 시나리오로 비교 평가하는 방법을 학습합니다. 결정적(Deterministic) 평가와 모델 기반(Model-assisted) 평가를 결합하여, 프롬프트나 모델 변경 시 품질을 객관적으로 측정하는 방법을 이해합니다.