BC Skills Academy

Inférence LLM & Déploiement à Grande Échelle

Servir des grands modèles de langage rapidement, à moindre coût et de façon fiable à grande échelle

Key facts

About the Inférence LLM & Déploiement à Grande Échelle certification

Transformez un modèle entraîné en un service de production rapide, abordable et fiable sous un trafic réel. Cette certification professionnelle couvre les différences fondamentales entre l'inférence et l'entraînement, la boucle de décodage autorégressif, et les deux phases qui dominent le coût : le prefill limité par le calcul et le decode limité par la mémoire. Vous maîtriserez le cache KV — pourquoi il existe, ce qu'il coûte en mémoire GPU, et pourquoi c'est lui, et non les poids, qui limite souvent le débit — ainsi que les stratégies de batching qui amortissent ce coût : statique, dynamique et continu (en-vol). La boîte à outils de service principale suit : PagedAttention et vLLM pour la gestion efficace de la mémoire KV, FlashAttention pour l'attention IO-aware, la quantification (int8/int4, GPTQ, AWQ, GGUF, poids seuls vs poids-et-activations) et ses compromis en précision, le décodage spéculatif/assisté pour la latence, et le parallélisme de tenseurs pour les modèles trop grands pour un seul GPU. Vous effectuerez le calcul de la mémoire GPU (paramètres, cache KV, activations), raisonnerez sur les métriques de latence qui comptent — TTFT, TPOT/ITL et bout en bout — et naviguerez le compromis débit-vs-latence. Enfin, vous opérerez le service : autoscaling et équilibrage de charge, choix d'un stack de service (vLLM / TGI / TensorRT-LLM), mise en cache des invites et des préfixes, optimisation des coûts, monitoring et observabilité, et garde-fous au moment du service. À l'issue, vous serez capable de dimensionner, déployer, régler et défendre un vrai déploiement d'inférence LLM.

Course outline

The Inférence des LLM et Déploiement à grande échelle — Guide d'étude course covers:

  1. De l'entraînement à l'inférence — Pourquoi le service est un problème différent : la boucle de décodage avant uniquement, la division préremplissage/décodage, et le cache KV qui… (3 lessons)
  2. Le cache KV et le calcul mémoire GPU — Pourquoi le cache KV existe, ce qu'il coûte, et comment dimensionner les poids + KV + activations pour un déploiement réel. (3 lessons)
  3. Traitement par lots et noyaux d'attention — Traitement par lots statique, dynamique et continu ; KV paginé de PagedAttention ; et attention exacte consciente des E/S de FlashAttention. (3 lessons)
  4. Quantification et décodage plus rapide — Quantification des poids et activations en int8/int4 (GPTQ, AWQ, GGUF), le compromis sur la précision, et le décodage spéculatif. (3 lessons)
  5. Service à grande échelle — Métriques de latence, compromis débit/latence, parallélisme de tenseurs, piles de service, mise en cache, mise à l'échelle automatique, coût… (4 lessons)

Prerequisites

Frequently asked questions

Is the Inférence LLM & Déploiement à Grande Échelle certificate verifiable?
Yes. Every certificate issued by BC Skills Academy carries a unique credential ID that anyone can check on the public verification page.
How is the Inférence LLM & Déploiement à Grande Échelle exam structured?
It is a timed, randomized multiple-choice exam of 75 questions in 105 minutes, graded instantly; you need 75% to pass.
Can I get a refund?
Full refund within 7 days of purchase if you have not started the exam. Once the exam has been started or completed, the purchase is no longer refundable.

Related certifications