Este curso fornece uma visão geral dos desafios na produção de LLMs e um conjunto de ferramentas disponíveis para resolvê-los. O curso fornecerá uma visão geral da arquitetura de referência para desenvolver, implantar e operacionalizar LLMs, além de expandir cada estágio do processo.
- Nível do curso: intermediário
- Duração: 90 min
Observação: Este curso tem transcrições/legendas traduzidas. A narração está em inglês. Para exibir as legendas, clique no botão CC no canto inferior direito do player.
Atividades
Este curso inclui apresentações, exemplos reais e estudos de caso.
Objetivos do curso
Neste curso, você aprenderá como:
- Diferenciar MLOps de LLMOps e definir os principais desafios na operacionalização de LLMs
- Saber como selecionar o LLM ideal para um determinado caso de uso
- Entender como avaliar LLMs e a diferença entre avaliação e benchmarking
- Definir os principais componentes da geração aumentada de recuperação (RAG) e como ela pode ser gerenciada
- Diferenciar o pré-treinamento contínuo do ajuste fino
- Entender as técnicas de ajuste fino disponíveis prontas para uso na AWS
- Saber mais sobre o que e como monitorar em LLMs na AWS
- Entender as práticas recomendadas de governança e segurança
- Ilustrar a arquitetura de referência para LLMOps na AWS
Público-alvo
Este curso se destina a:
- Data scientists e engenheiros de ML que buscam automatizar a criação e a implantação de LLMs
- Arquitetos de soluções e engenheiros de DevOps que buscam entender a arquitetura geral de uma plataforma de LLMOps
Pré-requisitos
Recomendamos que os participantes deste curso tenham:
- Concluído o plano de aprendizado de IA generativa para desenvolvedores (digital)
- É recomendável ter uma formação técnica e experiência em programação
Descrição do curso
Módulo 1: Introdução a LLMOps
- Introdução a LLMOps
- Funções de LLMOps
- Desafios na operacionalização de LLMs
Módulo 2: Seleção de LLM
- Benchmarking de casos de uso de LLMs
- Tomada de decisão baseada em prioridades
Módulo 3: Avaliação de LLM
- Métodos de avaliação
- Catálogo de prompts de avaliação
- Estrutura e métricas de avaliação
- Estrutura e métricas de benchmarking
Módulo 4: Geração aumentada de recuperação (RAG)
- Personalização do LLM
- Modelos de incorporação
- Bancos de dados vetoriais
- Fluxos de trabalho de RAG
- Técnicas avançadas de RAG
Módulo 5: Ajuste fino do LLM
- Pré-treinamento contínuo versus ajuste fino
- Ajuste fino com eficiência de parâmetros (PEFT)
- Arquitetura de ajuste fino
Módulo 6: Monitoramento do LLM
- Monitoramento do LLM
- Barreiras de proteção do LLM
Módulo 7: Governança e segurança do LLM
- Práticas recomendadas de segurança e governança
- Ferramentas de segurança e governança
Módulo 8: Arquitetura de LLMOps
- Ciclo de vida de LLMOps
Demonstrações
- Incorporação de texto e similaridade semântica
- Ajuste fino e avaliação em escala do LLM
- Proteções de inferência
