Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

Amazon Web Services

AWS에 LLM 게이트웨이 (프록시 서버) 배포하기 (한국어 과정)

Amazon Web Services and Amazon via AWS Skill Builder

Overview

Google, IBM & Meta Certificates – 40% Off
One Coursera Plus subscription covers most Professional Certificates on Coursera.
Unlock All Certificates

이 과정은 기술 전문가용 AWS 커뮤니티인 AWS 기술 필드 커뮤니티(TFC) 회원이 개발했습니다. 콘텐츠는 표준 교육 커리큘럼을 보완하고 AWS 학습 여정을 확대하기 위한 것입니다. AWS는 일부 과정에 접근성 제한이 있음을 인지하고 있으며 이를 해결하기 위해 노력하고 있습니다. 접근성과 관련하여 지원이 필요한 경우 AWS Training and Certification 고객 지원 센터에 문의하십시오.

엔터프라이즈 환경에서 여러 LLM 제공자를 효율적으로 관리하려면 통합된 게이트웨이가 필요합니다. 이 과정에서는 AWS CDK와 Terraform을 활용하여 LiteLLM 기반 프록시 서버를 Amazon ECS 또는 EKS에 자동 배포하는 방법을 학습합니다. LiteLLM 게이트웨이는 Amazon Bedrock, Anthropic, Cohere 등 다양한 LLM 제공자를 하나의 OpenAI 호환 API로 통합하여 개발 복잡도를 줄입니다. 사용자별·팀별 사용량 추적, 예산 설정, 모델 접근 제한, 프롬프트 캐싱 등 비용 관리 기능과 자동 재시도, 장애 조치, 로드 밸런싱 등 안정성 기능을 제공합니다. Amazon Bedrock Guardrails 통합을 통한 보안 정책 적용, Okta 기반 OAuth 인증, Secrets Manager를 활용한 자격 증명 관리도 다룹니다.

Reviews

5 rating at AWS Skill Builder based on 2 ratings

Start your review of AWS에 LLM 게이트웨이 (프록시 서버) 배포하기 (한국어 과정)

Never Stop Learning.

Get personalized course recommendations, track subjects and courses with reminders, and more.

Someone learning on their laptop while sitting on the floor.