Inférence des LLM et Déploiement à grande échelle — Guide d'étude

Un guide d'étude illustré et aligné sur l'examen pour servir les grands modèles de langage en production : en quoi l'inférence diffère de l'entraînement, la division préremplissage/décodage et le cache KV, le traitement par lots (statique/dynamique/continu), PagedAttention et FlashAttention, la quantification (int8/int4, GPTQ/AWQ/GGUF), le décodage spéculatif, le parallélisme tensoriel, le calcul de la mémoire GPU, les métriques de latence (TTFT/TPOT), les piles de service, la mise en cache, l'auto-adaptation, le coût, l'observabilité et les garde-fous. Diagrammes, tableaux comparatifs et exemples de calcul de mémoire GPU tout au long.

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: Inférence LLM & Déploiement à Grande Échelle
• 5 modules · 16 lessons · about 3 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. De l'entraînement à l'inférence — Pourquoi le service est un problème différent : la boucle de décodage avant uniquement, la division préremplissage/décodage, et le cache KV qui définit l'inférence des LLM.
   • L'inférence n'est pas l'entraînement
   • La boucle de décodage autorégressif
   • Prefill vs Decode : deux phases, deux goulots d'étranglement
2. Le cache KV et le calcul mémoire GPU — Pourquoi le cache KV existe, ce qu'il coûte, et comment dimensionner les poids + KV + activations pour un déploiement réel.
   • Pourquoi le cache KV existe
   • Mémoire du cache KV : la formule
   • Dimensionnement d'un déploiement : poids + KV + activations
3. Traitement par lots et noyaux d'attention — Traitement par lots statique, dynamique et continu ; KV paginé de PagedAttention ; et attention exacte consciente des E/S de FlashAttention.
   • Traitement par lots statique, dynamique et continu
   • PagedAttention : pagination du cache KV
   • FlashAttention : Attention exacte et consciente des E/S
4. Quantification et décodage plus rapide — Quantification des poids et activations en int8/int4 (GPTQ, AWQ, GGUF), le compromis sur la précision, et le décodage spéculatif.
   • Quantification : Méthodes et compromis
   • La vue du décodage par la bande passante mémoire
   • Décodage spéculatif et assisté
5. Service à grande échelle — Métriques de latence, compromis débit/latence, parallélisme de tenseurs, piles de service, mise en cache, mise à l'échelle automatique, coût, observabilité et garde-fous.
   • Métriques de latence et compromis avec le débit
   • Mise à l'échelle du modèle : parallélisme tensoriel et piles
   • Mise en cache, mise à l'échelle automatique et coûts
   • Observabilité et garde-fous en production