LLMOps: Acelerar Inferencia en GPU de LLMs usando TensorRT-LLM
The Machine Learning Engineer via YouTube
Build GenAI Apps from Scratch — UCSB PaCE Certificate Program
Earn Your Business Degree, Tuition-Free, 100% Online!
Overview
AI, Data Science & Cloud Certificates from Google, IBM & Meta — 40% Off
One plan covers every Professional Certificate on Coursera. 40% off Coursera Plus Annual.
Unlock All Certificates
Descubre cómo acelerar la generación de modelos de lenguaje de gran escala (LLMs) utilizando el runtime TensorRT-LLM en este video informativo de 16 minutos. Explora las técnicas de optimización para mejorar el rendimiento de inferencia en GPUs, con un enfoque práctico que incluye un notebook de Jupyter para implementar los conceptos aprendidos. Aprende sobre LLMOps y cómo aplicar estas estrategias de aceleración en tus proyectos de ciencia de datos y aprendizaje automático.
Syllabus
LLMOps: Acelerar Inferencia en GPU de LLMs usando TensorRT-LLM #datascience #machinelerning
Taught by
The Machine Learning Engineer