Entraînement et Ajustement des LLM — Guide d'étude

Un guide d'étude illustré et aligné sur l'examen couvrant l'ensemble du cycle de vie des LLM : objectifs et données de pré-entraînement, lois de passage à l'échelle, entraînement distribué et précision mixte, ajustement supervisé, alignement RLHF et DPO, et ajustement efficace en paramètres (LoRA/QLoRA). Diagrammes, tableaux comparatifs et exemples détaillés tout au long.

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: Entraînement & Fine-Tuning de LLM
• 6 modules · 18 lessons · about 4 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. Objectifs de pré-entraînement et données — Comment les modèles de base apprennent : LM causal vs masqué, prédiction du token suivant, et la curation des données qui fait ou défait un corpus.
   • Modélisation causale vs masquée du langage
   • Perplexité et la perte que vous optimisez
   • Curation des données : filtrer, dédupliquer, décontaminer
2. Tokeniseurs et lois de passage à l'échelle — Construire le vocabulaire dans lequel le modèle pense, et les mathématiques Chinchilla qui vous disent à quel point et combien de temps entraîner.
   • Entraînement d'un tokenizer (BPE et autres)
   • Chinchilla : calcul, données et paramètres
   • Lecture de la courbe de perte
3. Entraînement distribué à grande échelle — Diviser un modèle sur plusieurs GPU : parallélisme de données, de tenseurs et de pipeline, plus ZeRO/FSDP, accumulation et point de contrôle.
   • Parallélisme des données, des tenseurs et des pipelines
   • ZeRO / FSDP : fragmenter l'empreinte mémoire
   • Accumulation et points de contrôle d'activation
4. Précision mixte et optimisation — fp16 vs bf16, mise à l'échelle de la perte, poids maîtres fp32, et les programmes d'échauffement/decay qui maintiennent l'entraînement stable.
   • fp16 vs bf16 et mise à l'échelle de la perte
   • Pourquoi une copie maître fp32 ?
   • Échauffement, décroissance et AdamW
5. Ajustement fin et alignement — Du modèle de base à l'assistant utile : SFT et modèles de chat, RLHF avec modèles de récompense et PPO, et le DPO plus simple.
   • Le pipeline d'alignement et le SFT
   • RLHF : Modèles de récompense et PPO
   • DPO : Alignement sans la boucle RL
6. PEFT, oubli et évaluation — S'adapter à moindre coût avec LoRA/QLoRA, éviter l'oubli catastrophique et la contamination, et évaluer honnêtement les modèles ajustés.
   • LoRA et l'adaptateur de bas rang
   • QLoRA et la famille PEFT
   • Oubli, contamination et évaluation honnête