LLM 추론 & 대규모 배포
대형 언어 모델을 대규모 환경에서 빠르고 저렴하고 안정적으로 서비스하기
Key facts
- Level: Professional
- Field: Artificial Intelligence & LLMs
- Certification price: $194 (one-time payment)
- Online course: LLM 추론 및 대규모 배포 — 학습 가이드 — $195
- Course + exam bundle: $389
- Exam: 75 multiple-choice questions · 105 minutes · passing score 75% · up to 3 attempts
- Estimated study time: about 38 hours
- Validity: 24 months
- Certification language: English
About the LLM 추론 & 대규모 배포 certification
학습된 모델을 실제 트래픽 환경에서 빠르고, 경제적이며, 안정적인 프로덕션 서비스로 전환합니다. 이 전문가 자격증은 추론이 학습과 근본적으로 다른 이유, 자기회귀 디코딩 루프, 그리고 비용을 지배하는 두 단계: 컴퓨팅 병목인 프리필과 메모리 병목인 디코드를 다룹니다. KV-캐시 — 그것이 존재하는 이유, GPU 메모리에서 소모하는 비용, 그리고 가중치가 아닌 KV-캐시가 종종 처리량을 제한하는 이유 — 와 그 비용을 분산하는 배칭 전략: 정적, 동적, 연속(인-플라이트) 배칭을 마스터합니다. 핵심 서빙 도구 모음이 이어집니다: 메모리 효율적인 KV 관리를 위한 PagedAttention 및 vLLM, IO 인식 어텐션을 위한 FlashAttention, 양자화(int8/int4, GPTQ, AWQ, GGUF, 가중치 전용 대 가중치+활성화)와 그 정확도 트레이드오프, 레이턴시를 위한 투기적/보조 디코딩, 그리고 GPU 한 개에 담기지 않는 모델을 위한 텐서 병렬 처리. GPU 메모리 계산(파라미터, KV-캐시, 활성화)을 수행하고, 중요한 레이턴시 지표 — TTFT, TPOT/ITL, 엔드-투-엔드 — 를 분석하며, 처리량-레이턴시 트레이드오프를 탐색합니다. 마지막으로 서비스를 운영합니다: 자동 확장 및 로드 밸런싱, 서빙 스택 선택(vLLM / TGI / TensorRT-LLM), 프롬프트 및 프리픽스 캐싱, 비용 최적화, 모니터링 및 관찰 가능성, 서빙 시점 가드레일. 수료 후에는 실제 LLM 추론 배포를 사이징하고, 배포하고, 튜닝하고, 논리적으로 방어할 수 있게 됩니다.
Course outline
The LLM 추론 및 대규모 배포 — 학습 가이드 course covers:
- 훈련에서 추론으로 — 서빙이 다른 문제인 이유: 순전파 전용 디코드 루프, 프리필/디코드 분할 및 LLM 추론을 정의하는 KV-캐시입니다. (3 lessons)
- KV-캐시 및 GPU 메모리 계산 — KV-캐시가 존재하는 이유, 비용 및 실제 배포를 위한 가중치 + KV + 활성화 크기 계산 방법입니다. (3 lessons)
- 배칭 및 어텐션 커널 — 정적, 동적 및 연속 배칭; PagedAttention의 페이징된 KV; FlashAttention의 IO 인식 정확 어텐션입니다. (3 lessons)
- 양자화 및 더 빠른 디코딩 — Int8/int4 가중치 및 활성화 양자화(GPTQ, AWQ, GGUF), 정확도 트레이드오프 및 추측 디코딩입니다. (3 lessons)
- 대규모 서빙 — 지연 시간 지표, 처리량/지연 시간 트레이드오프, 텐서 병렬 처리, 서빙 스택, 캐싱, 자동 스케일링, 비용, 관찰 가능성 및 가드레일입니다. (4 lessons)
Prerequisites
Frequently asked questions
- Is the LLM 추론 & 대규모 배포 certificate verifiable?
- Yes. Every certificate issued by BC Skills Academy carries a unique credential ID that anyone can check on the public verification page.
- How is the LLM 추론 & 대규모 배포 exam structured?
- It is a timed, randomized multiple-choice exam of 75 questions in 105 minutes, graded instantly; you need 75% to pass.
- Can I get a refund?
- Full refund within 7 days of purchase if you have not started the exam. Once the exam has been started or completed, the purchase is no longer refundable.