استدلال LLM ونشره على نطاق واسع — دليل دراسة

دليل دراسة مصوّر ومتوافق مع الامتحان لخدمة نماذج اللغة الكبيرة في الإنتاج: كيف يختلف الاستدلال عن التدريب، تقسيم prefill/decode وذاكرة التخزين المؤقت KV، التجميع (ثابت/ديناميكي/مستمر)، PagedAttention وFlashAttention، التكميم (int8/int4، GPTQ/AWQ/GGUF)، فك الترميز التخميني، التوازي الموتر، رياضيات ذاكرة GPU، مقاييس زمن الوصول (TTFT/TPOT)، مكدسات الخدمة، التخزين المؤقت، التوسع التلقائي، التكلفة، قابلية المراقبة، والحواجز. رسوم بيانية، جداول مقارنة، وأمثلة محلولة لرياضيات ذاكرة GPU في جميع الأنحاء.

Key facts

• Course price: $195 (one-time payment)
• Field: Artificial Intelligence & LLMs
• Prepares for: استنتاج LLM والنشر على نطاق واسع
• 5 modules · 16 lessons · about 3 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. من التدريب إلى الاستدلال — لماذا الخدمة مشكلة مختلفة: حلقة فك الترميز الأمامية فقط، تقسيم التعبئة/فك الترميز، وذاكرة التخزين المؤقت KV التي تحدد استدلال LLM.
   • الاستدلال ليس تدريبًا
   • حلقة فك الترميز الذاتي التراجعي
   • الملء المسبق مقابل فك الترميز: مرحلتان، اختناقان
2. ذاكرة التخزين المؤقت KV وحساب ذاكرة GPU — لماذا توجد ذاكرة التخزين المؤقت KV، ما تكلفته، وكيفية تحديد حجم الأوزان + KV + التنشيطات لنشر حقيقي.
   • لماذا توجد ذاكرة التخزين المؤقت KV
   • ذاكرة التخزين المؤقت KV: الصيغة
   • تحديد حجم النشر: الأوزان + ذاكرة التخزين المؤقت KV + التنشيطات
3. التجميع ونوى الانتباه — التجميع الثابت والديناميكي والمستمر؛ الترحيل المقسم لـ PagedAttention؛ وانتباه FlashAttention الدقيق الواعي بالإدخال/الإخراج.
   • التجميع الثابت والديناميكي والمستمر
   • PagedAttention: ترحيل ذاكرة التخزين المؤقت KV
   • FlashAttention: انتباه دقيق وواعٍ بالإدخال/الإخراج
4. الكمية وفك الترميز الأسرع — كمية الأوزان والتنشيطات Int8/Int4 (GPTQ، AWQ، GGUF)، مفاضلة الدقة، وفك الترميز التخميني.
   • القياس الكمي: الطرق والمقايضات
   • منظور عرض النطاق الترددي للذاكرة لفك الترميز
   • فك الترميز التخميني والمساعد
5. الخدمة على نطاق واسع — مقاييس زمن الوصول، مفاضلات الإنتاجية/زمن الوصول، توازي التوتر، حزم الخدمة، التخزين المؤقت، التوسع التلقائي، التكلفة، المراقبة، والحواجز.
   • مقاييس الكمون ومقايضة الإنتاجية
   • توسيع النموذج: التوازي الموتر والمكدسات
   • التخزين المؤقت، التوسع التلقائي والتكلفة
   • المراقبة والضوابط الوقائية أثناء الخدمة