BC Skills Academy

LLM 推理与大规模部署

以低成本、高速度、高可靠性在规模上服务大型语言模型

Key facts

About the LLM 推理与大规模部署 certification

将训练好的模型转变为一项在真实流量下快速、经济且可靠的生产服务。本专业认证涵盖推理与训练在本质上的区别、自回归解码循环，以及主导成本的两个阶段：计算密集型的预填充（Prefill）与内存密集型的解码（Decode）。你将深入掌握KV缓存——它为何存在、在GPU显存中的开销，以及为何它（而非模型权重）往往才是限制吞吐量的瓶颈——以及分摊该成本的各种批处理策略：静态批处理、动态批处理与连续（在途）批处理。 核心服务工具链随后展开：用于高效KV显存管理的PagedAttention与vLLM、用于IO感知注意力计算的FlashAttention、量化（int8/int4、GPTQ、AWQ、GGUF，以及纯权重量化与权重+激活量化）及其精度权衡、用于降低延迟的推测/辅助解码，以及用于单GPU无法容纳的大模型的张量并行。你将进行GPU显存数学计算（参数、KV缓存、激活值），分析真正重要的延迟指标——TTFT、TPOT/ITL与端到端延迟——并在吞吐量与延迟之间做出合理权衡。 最后你将学习如何运营该服务：自动扩缩容与负载均衡、选择服务栈（vLLM / TGI / TensorRT-LLM）、提示词与前缀缓存、成本优化、监控与可观测性，以及服务端护栏。学完后，你将能够规划、部署、调优并为真实的LLM推理部署方案进行辩护。

Course outline

The LLM 推理与大规模部署 — 学习指南 course covers:

  1. 从训练到推理 — 为什么服务是一个不同的问题：仅前向的解码循环、预填充/解码拆分，以及定义LLM推理的KV缓存。 (3 lessons)
  2. KV缓存与GPU内存计算 — KV缓存为何存在、其成本，以及如何为实际部署计算权重+KV+激活的内存大小。 (3 lessons)
  3. 批处理与注意力内核 — 静态、动态和连续批处理；PagedAttention的分页KV；以及FlashAttention的IO感知精确注意力。 (3 lessons)
  4. 量化与更快的解码 — Int8/Int4权重和激活量化（GPTQ、AWQ、GGUF）、精度权衡，以及推测解码。 (3 lessons)
  5. 大规模服务 — 延迟指标、吞吐量/延迟权衡、张量并行、服务栈、缓存、自动缩放、成本、可观测性和护栏。 (4 lessons)

Prerequisites

Frequently asked questions

Is the LLM 推理与大规模部署 certificate verifiable?
Yes. Every certificate issued by BC Skills Academy carries a unique credential ID that anyone can check on the public verification page.
How is the LLM 推理与大规模部署 exam structured?
It is a timed, randomized multiple-choice exam of 75 questions in 105 minutes, graded instantly; you need 75% to pass.
Can I get a refund?
Full refund within 7 days of purchase if you have not started the exam. Once the exam has been started or completed, the purchase is no longer refundable.

Related certifications