BC Skills Academy

Inferencia de LLM y Despliegue a Gran Escala

Sirva grandes modelos de lenguaje de forma rápida, económica y fiable a escala

Key facts

About the Inferencia de LLM y Despliegue a Gran Escala certification

Convierta un modelo entrenado en un servicio en producción que sea rápido, asequible y fiable bajo tráfico real. Esta certificación profesional cubre en qué se diferencia fundamentalmente la inferencia del entrenamiento, el bucle de decodificación autorregresiva y las dos fases que dominan el coste: el prefill ligado a cómputo y el decode ligado a memoria. Dominará la caché KV — por qué existe, cuánto cuesta en memoria de GPU y por qué ella, y no los pesos, a menudo limita el rendimiento — y las estrategias de batching que amortizan ese coste: batching estático, dinámico y continuo (en vuelo). A continuación se aborda el conjunto de herramientas esencial para el servicio: PagedAttention y vLLM para la gestión eficiente en memoria de la caché KV, FlashAttention para la atención consciente de la E/S, cuantización (int8/int4, GPTQ, AWQ, GGUF, solo pesos vs. pesos y activaciones) y sus compromisos de precisión, decodificación especulativa/asistida para la latencia, y paralelismo de tensores para modelos demasiado grandes para una sola GPU. Realizará los cálculos de memoria GPU (parámetros, caché KV, activaciones), razonará sobre las métricas de latencia que importan — TTFT, TPOT/ITL y de extremo a extremo — y navegará el compromiso entre rendimiento y latencia. Finalmente operará el servicio: autoescalado y balanceo de carga, elección de un stack de servicio (vLLM / TGI / TensorRT-LLM), caché de prompts y prefijos, optimización de costes, monitoreo y observabilidad, y salvaguardas en tiempo de servicio. Al finalizar podrá dimensionar, desplegar, ajustar y defender un despliegue real de inferencia de LLM.

Course outline

The Inferencia de LLM y Despliegue a Gran Escala — Guía de Estudio course covers:

  1. Del Entrenamiento a la Inferencia — Por qué servir es un problema diferente: el bucle de decodificación solo hacia adelante, la división prefill/decode y el caché KV que define la… (3 lessons)
  2. El Caché KV y las Matemáticas de Memoria GPU — Por qué existe el caché KV, qué cuesta y cómo dimensionar pesos + KV + activaciones para un despliegue real. (3 lessons)
  3. Procesamiento por Lotes y Kernels de Atención — Procesamiento por lotes estático, dinámico y continuo; PagedAttention con KV paginado; y FlashAttention con atención exacta consciente de E/S. (3 lessons)
  4. Cuantización y Decodificación Más Rápida — Cuantización de pesos y activaciones Int8/Int4 (GPTQ, AWQ, GGUF), el compromiso de precisión y la decodificación especulativa. (3 lessons)
  5. Servicio a Escala — Métricas de latencia, compromisos rendimiento/latencia, paralelismo de tensores, stacks de servicio, caché, autoescalado, costo, observabilidad y… (4 lessons)

Prerequisites

Frequently asked questions

Is the Inferencia de LLM y Despliegue a Gran Escala certificate verifiable?
Yes. Every certificate issued by BC Skills Academy carries a unique credential ID that anyone can check on the public verification page.
How is the Inferencia de LLM y Despliegue a Gran Escala exam structured?
It is a timed, randomized multiple-choice exam of 75 questions in 105 minutes, graded instantly; you need 75% to pass.
Can I get a refund?
Full refund within 7 days of purchase if you have not started the exam. Once the exam has been started or completed, the purchase is no longer refundable.

Related certifications