LLM 추론 및 대규모 배포 — 학습 가이드
프로덕션에서 대규모 언어 모델을 서빙하기 위한 그림과 시험에 맞춘 학습 가이드입니다: 추론이 학습과 어떻게 다른지, 프리필/디코드 분할 및 KV 캐시, 배칭(정적/동적/연속), PagedAttention 및 FlashAttention, 양자화(int8/int4, GPTQ/AWQ/GGUF), 추측 디코딩, 텐서 병렬화, GPU 메모리 계산, 지연 시간 지표(TTFT/TPOT), 서빙 스택, 캐싱, 오토스케일링, 비용, 관찰 가능성 및 가드레일. 다이어그램, 비교 표 및 실제 GPU 메모리 예제가 전체에 걸쳐 포함됩니다.
Key facts
- Course price: $195 (one-time payment)
- Field: Artificial Intelligence & LLMs
- Prepares for: LLM 추론 & 대규모 배포
- 5 modules · 16 lessons · about 3 hours of lessons
- Self-paced, online, illustrated lessons
Course outline
- 훈련에서 추론으로 — 서빙이 다른 문제인 이유: 순전파 전용 디코드 루프, 프리필/디코드 분할 및 LLM 추론을 정의하는 KV-캐시입니다.
- 추론은 훈련이 아니다
- 자기회귀 디코드 루프
- 프리필 vs 디코드: 두 단계, 두 병목
- KV-캐시 및 GPU 메모리 계산 — KV-캐시가 존재하는 이유, 비용 및 실제 배포를 위한 가중치 + KV + 활성화 크기 계산 방법입니다.
- KV-캐시가 존재하는 이유
- KV-캐시 메모리: 공식
- 배포 크기 조정: 가중치 + KV + 활성화
- 배칭 및 어텐션 커널 — 정적, 동적 및 연속 배칭; PagedAttention의 페이징된 KV; FlashAttention의 IO 인식 정확 어텐션입니다.
- 정적, 동적 및 연속 배치
- PagedAttention: KV-캐시 페이징
- FlashAttention: 정확한 IO 인식 어텐션
- 양자화 및 더 빠른 디코딩 — Int8/int4 가중치 및 활성화 양자화(GPTQ, AWQ, GGUF), 정확도 트레이드오프 및 추측 디코딩입니다.
- 양자화: 방법 및 트레이드오프
- 디코딩의 메모리 대역폭 관점
- 추측 디코딩 및 보조 디코딩
- 대규모 서빙 — 지연 시간 지표, 처리량/지연 시간 트레이드오프, 텐서 병렬 처리, 서빙 스택, 캐싱, 자동 스케일링, 비용, 관찰 가능성 및 가드레일입니다.
- 지연 시간 메트릭과 처리량 트레이드오프
- 모델 확장: 텐서 병렬 처리 및 스택
- 캐싱, 오토스케일링 및 비용
- 관찰 가능성 및 서빙 타임 가드레일