Inferencia de LLM y Despliegue a Gran Escala — Guía de Estudio

Una guía de estudio ilustrada y alineada con el examen para servir modelos de lenguaje grandes en producción: cómo la inferencia difiere del entrenamiento, la división prefill/decode y la caché KV, el batching (estático/dinámico/continuo), PagedAttention y FlashAttention, la cuantización (int8/int4, GPTQ/AWQ/GGUF), la decodificación especulativa, el paralelismo de tensores, la matemática de memoria de GPU, métricas de latencia (TTFT/TPOT), pilas de servicio, caché, autoescalado, costo, observabilidad y barreras de seguridad. Diagramas, tablas comparativas y ejemplos resueltos de memoria de GPU en todo momento.

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: Inferencia de LLM y Despliegue a Gran Escala
• 5 modules · 16 lessons · about 3 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. Del Entrenamiento a la Inferencia — Por qué servir es un problema diferente: el bucle de decodificación solo hacia adelante, la división prefill/decode y el caché KV que define la inferencia de LLM.
   • La inferencia no es entrenamiento
   • El bucle de decodificación autorregresivo
   • Prefill vs Decodificación: Dos fases, dos cuellos de botella
2. El Caché KV y las Matemáticas de Memoria GPU — Por qué existe el caché KV, qué cuesta y cómo dimensionar pesos + KV + activaciones para un despliegue real.
   • Por qué existe la caché KV
   • Memoria de la caché KV: La fórmula
   • Dimensionamiento de un despliegue: Pesos + KV + Activaciones
3. Procesamiento por Lotes y Kernels de Atención — Procesamiento por lotes estático, dinámico y continuo; PagedAttention con KV paginado; y FlashAttention con atención exacta consciente de E/S.
   • Procesamiento por lotes estático, dinámico y continuo
   • PagedAttention: Paginación del KV-Cache
   • FlashAttention: Atención Exacta y Consciente de E/S
4. Cuantización y Decodificación Más Rápida — Cuantización de pesos y activaciones Int8/Int4 (GPTQ, AWQ, GGUF), el compromiso de precisión y la decodificación especulativa.
   • Cuantización: Métodos y Compensaciones
   • La Visión de Ancho de Banda de Memoria de la Decodificación
   • Decodificación especulativa y asistida
5. Servicio a Escala — Métricas de latencia, compromisos rendimiento/latencia, paralelismo de tensores, stacks de servicio, caché, autoescalado, costo, observabilidad y barreras de seguridad.
   • Métricas de latencia y la compensación con el rendimiento
   • Escalando el modelo: paralelismo tensorial y stacks
   • Caching, Autoescalado y Costo
   • Observabilidad y Barreras de Protección en Tiempo de Servicio