LLM 推理与大规模部署 — 学习指南

一份图解式、与考试对齐的学习指南，针对在生产环境中服务大语言模型：推理与训练的区别、预填充/解码拆分与 KV 缓存、批处理（静态/动态/连续）、PagedAttention 与 FlashAttention、量化（int8/int4、GPTQ/AWQ/GGUF）、推测解码、张量并行、GPU 内存计算、延迟指标（TTFT/TPOT）、服务栈、缓存、自动缩放、成本、可观测性和护栏。包含图表、对比表格和 GPU 内存示例。

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: LLM 推理与大规模部署
• 5 modules · 16 lessons · about 3 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. 从训练到推理 — 为什么服务是一个不同的问题：仅前向的解码循环、预填充/解码拆分，以及定义LLM推理的KV缓存。
   • 推理不是训练
   • 自回归解码循环
   • 预填充 vs 解码：两个阶段，两个瓶颈
2. KV缓存与GPU内存计算 — KV缓存为何存在、其成本，以及如何为实际部署计算权重+KV+激活的内存大小。
   • 为什么存在KV缓存
   • KV缓存内存：公式
   • 规划部署规模：权重 + KV + 激活
3. 批处理与注意力内核 — 静态、动态和连续批处理；PagedAttention的分页KV；以及FlashAttention的IO感知精确注意力。
   • 静态、动态与连续批处理
   • PagedAttention：KV 缓存分页
   • FlashAttention：精确、IO感知的注意力机制
4. 量化与更快的解码 — Int8/Int4权重和激活量化（GPTQ、AWQ、GGUF）、精度权衡，以及推测解码。
   • 量化：方法与权衡
   • 解码的内存带宽视角
   • 推测解码与辅助解码
5. 大规模服务 — 延迟指标、吞吐量/延迟权衡、张量并行、服务栈、缓存、自动缩放、成本、可观测性和护栏。
   • 延迟指标与吞吐量权衡
   • 模型扩展：张量并行与服务栈
   • 缓存、自动扩缩容与成本
   • 可观测性与服务时护栏