Why Inference Matters 12x More Than Training | YC Paper Club
بينما تُسلّط الأضواء عادةً على عمليات تدريب النماذج اللغوية، تُظهر بيانات DeepSeek حقيقةً مذهلة: خلال دورة حياة نموذج ما، تُمثّل عمليات الاستدلال ستة أضعاف عمليات التدريب سنويًا، وتصل إلى 12 ضعفًا على مدى عامين. مع ازدياد انتشار الذكاء الاصطناعي وارتفاع تكاليف تشغيل النماذج، يُصبح الاستدلال الفعّال الفاصل بين الربح والخسارة. كيف تُحقّق شركات مثل Together AI وOllama وLuminal وSGLang معدلات نقل بيانات تصل إلى 1.5 مليون رمز مميز في الثانية، وكيف تُواجه التحديات الناشئة من تعدد مزودي الخدمة وتنوع البنى المعمارية؟
Points clés
عمليات الاستدلال تفوق عمليات التدريب بمقدار 12 ضعفًا على مدى عامين، مما يجعل تحسين الاستدلال أكثر أهمية من تحسين التدريب للربحية طويلة الأمد.
التخزين المؤقت لـ KV يُحقق معدلات نجاح تصل إلى 96%، مما يُقلل التكلفة بما يصل إلى خمسة أضعاف، لكنه يتطلب بنية تحتية معقدة للإدارة عبر مزودي الخدمة.
تفاوت جودة مزودي الاستدلال للنماذج المفتوحة أكبر من الفجوة بين النماذج المغلقة والمفتوحة، مما يُشكّل تحديًا كبيرًا للتطبيقات الإنتاجية.
التكميم الدقيق يُمكّن من تشغيل نماذج بـ 38 دولارًا لكل ساعة GPU مع الحفاظ على جودة النموذج الأصلي، لكنه يتطلب حلقات اختبار صارمة.
جدولة التداخل والبحث القائم على تشبع المساواة يُمكن أن تُضاعف معدل نقل البيانات على معالجات Blackwell مقارنةً بالجدولة التقليدية.
En bref
الاستدلال ليس مجرد تشغيل للنموذج، بل نظام معقد يتطلب ابتكارات على مستوى النواة والتوازي والتكميم والتخزين المؤقت، حيث تُحدّد كفاءته قدرة الشركات على تحقيق الربح من نماذج المصادر المفتوحة في عالمٍ يتطلب تريليونات الرموز شهريًا.
الاستدلال يفوق التدريب بـ 12 ضعفًا
بيانات DeepSeek تكشف أن عمليات الاستدلال تفوق التدريب بكثير.
تعقيد الاستدلال: من الطلب إلى الرمز المميز
رحلة طلب واحد عبر ستة مراحل معقدة تحدد الأداء.
التوجيه تحديد نسخة GPU والمنطقة المناسبة مع مراعاة التخزين المؤقت لـ KV لتحسين معدل النجاح
التجزئة التحقق من صحة استدعاءات الأدوات والمعلمات وضمان توافق المخطط
الجدولة والدفعات تجميع الطلبات بترتيب مدرك لذاكرة التخزين المؤقت لتقليل عمليات التعبئة المسبقة
التعبئة المسبقة (Prefill) معالجة السياق الأولي بكثافة حسابية عالية واستخدام معامل FP8 حوالي 50%
فك التشفير (Decode) توليد رمز واحد في كل مرة بمعدل نقل 14,000 رمز/ثانية، يعتمد على عرض النطاق الترددي
إدارة ذاكرة التخزين المؤقت الاحتفاظ بذاكرة KV لمدة تصل إلى 72 ساعة (DeepSeek) لتحقيق معدلات نجاح عالية
«في النهاية، أفضل نموذج تكلفة هو عدم وجود نموذج تكلفة على الإطلاق»
Luminal تعتمد على القياس الفعلي للأجهزة بدلاً من النماذج النظرية.
“في النهاية، أفضل نموذج تكلفة هو عدم وجود نموذج تكلفة على الإطلاق، ويجب علينا ببساطة تشغيل هذه الأشياء على الأجهزة الحقيقية التي سنستخدمها لنرى كمدة زمنية تستغرقها.”
Ultimately, the best cost model is no cost model at all, and we simply need to run these things on the real hardware that we will use to see how long they take.
ابتكارات الاستدلال عبر ثلاث فئات
التحدي الخفي: تفاوت جودة مزودي الخدمة
الفجوة بين أفضل وأسوأ مزود أكبر من فجوة النماذج المفتوحة-المغلقة.
كشفت أبحاث 2024 التي اختبرت 31 نقطة نهاية مختلفة لـ Llama عن مشكلة مُثيرة للقلق: الفجوة في الأداء بين أفضل وأسوأ مزود لنفس النموذج المفتوح تفوق الفجوة بين النماذج المغلقة مثل GPT والنماذج المفتوحة. قد يكون أداء بعض النماذج أقرب إلى GPT-3.5 منه إلى Llama آخر من نفس النوع، مع افتراض تطابق الأوزان تمامًا.
تتفاقم هذه المشكلة مع وكلاء البرمجة، حيث قد تصل نسبة الخطأ إلى 79%إذا كان هناك انحراف بنسبة 10%عن الناتج المصمم للنموذج خلال 15 خطوة برمجة. تشمل أسباب التفاوت: التكميم غير الدقيق، اختلاف تقنيات أخذ العينات، أخطاء استدعاء الأدوات، واختلاف محركات الاستدلال. يقترح Ollama حلولاً تشمل اختبارات التوزيع، احتمالات السجل (Log Probs)، وتحليل شكل الطلبات لرصد الانحرافات مبكرًا.
التوازي الخبير: من 8 إلى 72 GPU
تقنية GB Racks تُتيح توزيع الخبراء على 72 GPU بنطاق ترددي عالٍ.
التوازي الخبير: من 8 إلى 72 GPU
تُمثّل تقنية GB Racks من Nvidia قفزة نوعية، حيث تسمح لـ 72 وحدة معالجة رسومية بالتواصل بنطاق ترددي عالٍ، مقارنةً بـ 8 وحدات فقط في رقائق Blackwell السابقة. هذا يُمكّن من توزيع جميع الخبراء في نماذج MoE على وحدات مختلفة، مما يُحوّل عملية ضرب المصفوفة إلى عملية ضخمة تُجيد وحدات GPU تنفيذها، ويرفع الإنتاجية بشكل ملحوظ.
SGLang: شجرة Radix موحدة لإدارة الذاكرة الهجينة
بنية موحدة تُدير الرموز الكاملة والنوافذ المنزلقة والحالات المتكررة.
واجه SGLang تحديًا معقدًا مع تنوع بنى المحولات: كيفية إدارة ذاكرة التخزين المؤقت بكفاءة عبر الرموز الكاملة والنوافذ المنزلقة والحالات المتكررة (مثل Mamba وKDA) في نظام موحد. الحل كان شجرة Radix موحدة مبنية على الرموز الدلالية، تُنسّق جميع المكونات دون الحاجة لبروتوكولات منفصلة.
أضاف SGLang أيضًا مجموعات ذاكرة موحدة تنمو ديناميكيًا بدلاً من التخصيص المسبق بنسب ثابتة، مع عملية «ضغط» لإعادة تنظيم الذاكرة الفعلية وتجنب التجزئة. هذا يُتيح خدمة أحمال عمل متنوعة (من 128 رمزًا إلى مليون رمز) بكفاءة على نفس المحرك، مع تقليل زمن الاستجابة بنسبة 56%بفضل التخزين المؤقت الهرمي L1/L2/L3.
جدولة التداخل: حل فقاعات CPU/GPU
تقنية SGLang تُضاعف الإنتاجية على Blackwell بتشغيل دفعات متوازية.
Personnes
Glossaire
Avertissement : Ceci est un résumé généré par IA d'une vidéo YouTube à des fins éducatives et de référence. Il ne constitue pas un conseil en investissement, financier ou juridique. Vérifiez toujours les informations auprès des sources originales avant de prendre des décisions. TubeReads n'est pas affilié au créateur de contenu.