Neste curso, você aprenderá a personalizar e avaliar grandes modelos de linguagem (LLMs) usando o Amazon SageMaker JumpStart. O Amazon SageMaker JumpStart atua como uma central de machine learning (ML), disponibilizando modelos de base, algoritmos integrados e soluções prontas de ML que podem ser implantadas rapidamente. Você aprenderá as alternativas para ajuste, incluindo os princípios da engenharia de prompts e da geração aumentada de recuperação (RAG). Você também aprenderá a ajustar, implantar e avaliar modelos ajustados disponíveis no SageMaker JumpStart.
Usando sua conta da AWS e os cadernos incluídos, você pode praticar a criação de aplicações de RAG com a integração entre o Amazon SageMaker e o LangChain. Você também pode ajustar um modelo Llama3 e avaliá-lo usando métricas. Você pode praticar um dos aspectos da IA responsável com um caderno sobre estereotipagem de prompt. Você também pode assistir a uma demonstração em vídeo da execução dos cadernos.
- Nível do curso: avançado
- Duração: 4 horas
Observação: Este curso tem transcrições/legendas traduzidas. A narração está em inglês. Para exibir as legendas, clique no botão CC no canto inferior direito do player.
Atividades
Este curso inclui apresentações, demonstrações e avaliações.
Objetivos do curso
Neste curso, você fará o seguinte:
- Descrever as técnicas para personalizar LLMs.
- Descrever quando usar a engenharia de prompts e a geração aumentada de recuperação como opções de personalização.
- Demonstrar o uso da integração Amazon SageMaker/LangChain para criar uma aplicação de RAG com um modelo Falcon.
- Descrever o uso da adaptação de domínio e do ajuste de instruções.
- Demonstrar como ajustar e implantar um modelo no hub de ML do SageMaker JumpStart.
- Demonstrar o uso do SDK do SageMaker para Python para ajustar LLMs com ajuste com eficiência de parâmetros (PEFT).
- Avaliar modelos de base com o console do SageMaker JumpStart e a biblioteca fmeval.
Público
Este curso se destina às seguintes funções:
- Data scientists
- Engenheiros de machine learning
Pré-requisitos
É recomendado que os participantes do curso tenham o seguinte:
- Mais de um ano de experiência com processamento de linguagem natural (PLN)
- Mais de um ano de experiência com treino e ajuste de modelos de linguagem
- Proficiência em nível intermediário em programação em linguagem Python
- Elementos técnicos essenciais da AWS
- Princípios do Amazon SageMaker JumpStart
Conteúdo do curso
Módulo 1: Introdução à personalização de LLMs
- Personalizar LLMs
- Escolher métodos de personalização
Módulo 2: Engenharia de prompts e RAG para personalizar LLMs
- Usar engenharia de prompts
- Usar a geração aumentada de recuperação (RAG)
- Usar padrões de RAG avançados
Demonstração 1: Criar uma aplicação de RAG usando a integração Amazon SageMaker-LangChain e um modelo Falcon 7B do SageMaker JumpStart
Módulo 3: Ajuste e implantação de modelos de base
- Personalizar modelos de base usando o ajuste
- Como usar o console do SageMaker JumpStart para ajustar e implantar um LLM
Demonstração 2: Ajustar um modelo Llama 3 disponível no SageMaker JumpStart usando o para SDK do Amazon SageMaker para Python
Módulo 4: Avaliação de modelos de base
- Discutir as métricas de avaliação do modelo
- Avaliar modelos de base usando o console do Amazon SageMaker JumpStart
Demonstração 3: Avaliar a estereotipagem de prompts de um modelo Falcon-7B usando a biblioteca fmeval
Módulo 5: Recursos
- Saiba mais
- Entrar em contato conosco
