이 과정에서는 Amazon SageMaker JumpStart를 사용하여 대규모 언어 모델(LLM)을 사용자 지정하고 평가하는 방법을 배웁니다. Amazon SageMaker JumpStart는 몇 번의 클릭으로 배포할 수 있는 파운데이션 모델, 기본 제공 알고리즘, 사전 구축된 기계 학습(ML) 솔루션을 갖춘 ML 허브입니다. 프롬프트 엔지니어링 및 검색 증강 생성(RAG)의 기초 지식을 포함하여, 미세 조정에 대한 대안적인 방법을 배우게 됩니다. 이와 더불어 SageMaker JumpStart에서 사용 가능한 미세 조정된 모델을 미세 조정, 배포, 평가하는 방법도 배웁니다.
제공된 노트북 및 나의 AWS 계정을 사용하면, Amazon SageMaker-LangChain 통합을 사용해 RAG 애플리케이션을 구축하는 방법을 연습할 수 있습니다. 또한 Llama3 모델을 미세 조정하고, 평가 메트릭을 사용하여 평가할 수 있습니다. 프롬프트 고정화(prompt stereotyping)를 해결하는 노트북을 사용하여 책임감 있는 AI의 측면을 연습할 수 있습니다. 또는 노트북 실행에 대한 동영상 데모를 시청할 수도 있습니다.
- 과정 수준: 고급
- 소요 시간: 4시간
참고: 이 과정의 동영상에는 한국어 트랜스크립트 또는 자막이 지원되며 음성은 영어로 출력됩니다. 자막을 표시하려면 동영상 화면 우측 하단의 CC 버튼을 클릭하세요.
참고: 이 과정은 Google Chrome(최신 주요 버전 2개), Microsoft Edge(최신 주요 버전 2개), Safari(최신 주요 버전 2개)에 최적화되어 있습니다.
활동
이 과정에는 프레젠테이션, 설명, 평가가 포함되어 있습니다.
과정 목표
이 과정에서는 다음을 수행합니다.
- LLM을 사용자 지정하는 다양한 기술을 설명합니다.
- 프롬프트 엔지니어링 및 검색 증강 생성을 언제 사용자 지정 옵션으로 사용해야 하는지 설명합니다.
- Amazon SageMaker-LangChain 통합을 활용하여 Falcon 모델을 사용해 RAG 애플리케이션 구축 방법을 시연합니다.
- 영역 적응 및 명령어 미세 조정 사용에 대해 설명합니다.
- SageMaker JumpStart ML 허브에서 모델을 미세 조정하고 배포하는 방법을 시연합니다.
- SageMaker Python SDK를 활용하여 파라미터 효율적 미세 조정(PEFT)을 사용해 LLM을 미세 조정하는 방법을 시연합니다.
- SageMaker JumpStart 콘솔 및 fmeval 라이브러리를 사용하여 파운데이션 모델을 평가합니다.
대상
이 과정은 다음과 같은 직무를 대상으로 합니다.
- 데이터 과학자
- 기계 학습 엔지니어
사전 조건
이 과정 참석자는 다음 사항을 숙지하는 것이 좋습니다.
- 자연어 처리(NLP) 부문에서 1년 이상의 경력
- 훈련 및 튜닝 언어 모델에서 1년 이상의 경력
- Python 언어 프로그래밍에서 중간 수준의 숙련도
- AWS Technical Essentials
- Amazon SageMaker JumpStart Foundations
과정 개요
모듈 1: LLM 사용자 지정 소개
- LLM 사용자 지정
- 사용자 지정 방법 선택
모듈 2: LLM 사용자 지정을 위한 프롬프트 엔지니어링 및 RAG
- 프롬프트 엔지니어링 사용
- Retrieval Augmented Generation(RAG) 사용
- 고급 RAG 패턴 사용
데모 1: Amazon SageMaker-LangChain 통합 및 Amazon SageMaker JumpStart의 Falcon 7B 모델을 사용하여 RAG 애플리케이션 생성
모듈 3: 파운데이션 모델 미세 조정 및 배포
- 미세 조정을 사용하여 파운데이션 모델 사용자 지정
- SageMaker JumpStart 콘솔을 사용하여 LLM을 미세 조정하고 배포하는 방법
데모 2: Amazon SageMaker Python SDK를 사용하여 SageMaker JumpStart에서 사용 가능한 Llama 3 모델 미세 조정
모듈 4: 파운데이션 모델 평가
- 모델 평가 지표 논의
- Amazon SageMaker JumpStart 콘솔을 사용하여 파운데이션 모델 평가
데모 3: fmeval 라이브러리를 사용하여 Falcon-7B 모델의 프롬프트 고정화 평가
모듈 5: 리소스
- 자세히 알아보기
- AWS에 문의
