Entrenamiento y Ajuste Fino de LLM — Guía de Estudio

Una guía de estudio ilustrada y alineada con el examen que cubre todo el ciclo de vida de los LLM: objetivos de preentrenamiento y datos, leyes de escalado, entrenamiento distribuido y precisión mixta, ajuste fino supervisado, alineación RLHF y DPO, y ajuste fino eficiente en parámetros (LoRA/QLoRA). Diagramas, tablas comparativas y ejemplos resueltos en todo momento.

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: Entrenamiento y Ajuste Fino de LLM
• 6 modules · 18 lessons · about 4 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. Objetivos de Preentrenamiento y Datos — Cómo aprenden los modelos base: LM causal vs enmascarado, predicción del siguiente token y la curación de datos que define un corpus.
   • Modelado de lenguaje causal vs. enmascarado
   • Perplejidad y la pérdida que optimiza
   • Curación de datos: filtrar, deduplicar, descontaminar
2. Tokenizadores y Leyes de Escalado — Construcción del vocabulario en el que piensa el modelo y las matemáticas de Chinchilla que indican qué tan grande y por cuánto tiempo entrenar.
   • Entrenamiento de un tokenizador (BPE y afines)
   • Chinchilla: Cómputo, datos y parámetros
   • Lectura de la curva de pérdida
3. Entrenamiento Distribuido a Escala — Dividir un modelo entre múltiples GPUs: paralelismo de datos, tensores y pipeline, más ZeRO/FSDP, acumulación y checkpointing.
   • Paralelismo de Datos, Tensores y Tuberías
   • ZeRO / FSDP: Fragmentando la Huella
   • Acumulación y Puntos de Control de Activaciones
4. Precisión Mixta y Optimización — fp16 vs bf16, escalado de pérdida, pesos maestros fp32 y los programas de calentamiento/decaimiento que mantienen estable el entrenamiento.
   • fp16 vs bf16 y escalado de pérdida
   • ¿Por qué una copia maestra fp32?
   • Calentamiento, decaimiento y AdamW
5. Ajuste Fino y Alineación — De modelo base a asistente útil: SFT y plantillas de chat, RLHF con modelos de recompensa y PPO, y el DPO más simple.
   • El pipeline de alineación y SFT
   • RLHF: Modelos de Recompensa y PPO
   • DPO: Alineación sin el Bucle de RL
6. PEFT, Olvido y Evaluación — Adaptar económicamente con LoRA/QLoRA, evitar el olvido catastrófico y la contaminación, y evaluar modelos ajustados honestamente.
   • LoRA y el Adaptador de Bajo Rango
   • QLoRA y la familia PEFT
   • Olvido, contaminación y evaluación honesta