LLM 训练与微调 — 学习指南

一份图解式、与考试对齐的学习指南，涵盖 LLM 的完整生命周期：预训练目标与数据、缩放定律、分布式训练与混合精度、监督微调、RLHF 与 DPO 对齐，以及参数高效微调（LoRA/QLoRA）。包含图表、对比表格和示例。

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: LLM 训练与微调
• 6 modules · 18 lessons · about 4 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. 预训练目标与数据 — 基础模型如何学习：因果语言模型与掩码语言模型、下一个词元预测，以及决定语料库质量的数据整理。
   • 因果语言模型与掩码语言模型
   • 困惑度与优化的损失函数
   • 数据策展：过滤、去重、去污染
2. 分词器与缩放定律 — 构建模型思考所用的词汇表，以及告诉你训练多大和多久的Chinchilla数学。
   • 训练分词器（BPE 及其同类）
   • Chinchilla：计算、数据与参数
   • 读取损失曲线
3. 大规模分布式训练 — 将模型拆分到多个GPU：数据并行、张量并行和流水线并行，以及ZeRO/FSDP、梯度累积和检查点。
   • 数据、张量与流水线并行
   • ZeRO / FSDP：分片内存占用
   • 梯度累积与激活检查点
4. 混合精度与优化 — fp16与bf16、损失缩放、fp32主权重，以及保持训练稳定的预热/衰减调度。
   • fp16 与 bf16 及损失缩放
   • 为什么需要 fp32 主副本？
   • 预热、衰减与 AdamW
5. 微调与对齐 — 从基础模型到有用助手：SFT和聊天模板、带奖励模型和PPO的RLHF，以及更简单的DPO。
   • 对齐流程与 SFT
   • RLHF：奖励模型与PPO
   • DPO：无需强化学习循环的对齐
6. PEFT、遗忘与评估 — 使用LoRA/QLoRA低成本适配、避免灾难性遗忘和污染，并诚实评估微调后的模型。
   • LoRA 与低秩适配器
   • QLoRA 与 PEFT 家族
   • 遗忘、污染与诚实评估