LLM 학습 및 미세 조정 — 학습 가이드

LLM 전체 수명 주기를 다루는 그림과 시험에 맞춘 학습 가이드입니다: 사전 학습 목표 및 데이터, 스케일링 법칙, 분산 학습 및 혼합 정밀도, 지도 미세 조정, RLHF 및 DPO 정렬, 파라미터 효율적 미세 조정(LoRA/QLoRA). 다이어그램, 비교 표 및 실제 예제가 전체에 걸쳐 포함됩니다.

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: LLM 학습 & 파인튜닝
• 6 modules · 18 lessons · about 4 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. 사전 훈련 목표 및 데이터 — 기본 모델이 학습하는 방법: 인과적 대 마스크된 언어 모델, 다음 토큰 예측 및 코퍼스를 만들거나 망가뜨리는 데이터 큐레이션입니다.
   • 인과 언어 모델링 vs 마스크 언어 모델링
   • 혼란도와 최적화하는 손실
   • 데이터 큐레이션: 필터링, 중복 제거, 오염 제거
2. 토크나이저 및 스케일링 법칙 — 모델이 생각하는 어휘 구축 및 얼마나 크고 오래 훈련할지 알려주는 친칠라 수학입니다.
   • 토크나이저 훈련 (BPE 및 관련 기법)
   • Chinchilla: 계산, 데이터 및 매개변수
   • 손실 곡선 읽기
3. 대규모 분산 훈련 — 모델을 여러 GPU에 분할: 데이터, 텐서 및 파이프라인 병렬 처리와 ZeRO/FSDP, 누적 및 체크포인팅입니다.
   • 데이터, 텐서 및 파이프라인 병렬 처리
   • ZeRO / FSDP: 메모리 사용량 샤딩
   • 누적 및 활성화 체크포인팅
4. 혼합 정밀도 및 최적화 — fp16 대 bf16, 손실 스케일링, fp32 마스터 가중치 및 훈련을 안정적으로 유지하는 워밍업/감쇠 스케줄입니다.
   • fp16 vs bf16 및 손실 스케일링
   • fp32 마스터 복사본이 필요한 이유
   • 워밍업, 감쇠 및 AdamW
5. 파인튜닝 및 정렬 — 기본 모델에서 유용한 어시스턴트로: SFT 및 채팅 템플릿, 보상 모델 및 PPO를 사용한 RLHF, 더 간단한 DPO입니다.
   • 정렬 파이프라인 및 SFT
   • RLHF: 보상 모델 및 PPO
   • DPO: RL 루프 없는 정렬
6. PEFT, 망각 및 평가 — LoRA/QLoRA로 저렴하게 적응, 파국적 망각 및 오염 방지, 파인튜닝된 모델의 정직한 평가입니다.
   • LoRA 및 저랭크 어댑터
   • QLoRA 및 PEFT 제품군
   • 망각, 오염 및 정직한 평가