TubeReads

Why Inference Matters 12x More Than Training | YC Paper Club

بينما تُسلّط الأضواء عادةً على عمليات تدريب النماذج اللغوية، تُظهر بيانات DeepSeek حقيقةً مذهلة: خلال دورة حياة نموذج ما، تُمثّل عمليات الاستدلال ستة أضعاف عمليات التدريب سنويًا، وتصل إلى 12 ضعفًا على مدى عامين. مع ازدياد انتشار الذكاء الاصطناعي وارتفاع تكاليف تشغيل النماذج، يُصبح الاستدلال الفعّال الفاصل بين الربح والخسارة. كيف تُحقّق شركات مثل Together AI وOllama وLuminal وSGLang معدلات نقل بيانات تصل إلى 1.5 مليون رمز مميز في الثانية، وكيف تُواجه التحديات الناشئة من تعدد مزودي الخدمة وتنوع البنى المعمارية؟

Video length: 1:50:49·Published Oct 24, 2026·Video language: en-US
4–5 min read·14,239 spoken words → summarized to 856 words (17x)·

1 —

Key Takeaways

1

عمليات الاستدلال تفوق عمليات التدريب بمقدار 12 ضعفًا على مدى عامين، مما يجعل تحسين الاستدلال أكثر أهمية من تحسين التدريب للربحية طويلة الأمد.

2

التخزين المؤقت لـ KV يُحقق معدلات نجاح تصل إلى 96%، مما يُقلل التكلفة بما يصل إلى خمسة أضعاف، لكنه يتطلب بنية تحتية معقدة للإدارة عبر مزودي الخدمة.

3

تفاوت جودة مزودي الاستدلال للنماذج المفتوحة أكبر من الفجوة بين النماذج المغلقة والمفتوحة، مما يُشكّل تحديًا كبيرًا للتطبيقات الإنتاجية.

4

التكميم الدقيق يُمكّن من تشغيل نماذج بـ 38 دولارًا لكل ساعة GPU مع الحفاظ على جودة النموذج الأصلي، لكنه يتطلب حلقات اختبار صارمة.

5

جدولة التداخل والبحث القائم على تشبع المساواة يُمكن أن تُضاعف معدل نقل البيانات على معالجات Blackwell مقارنةً بالجدولة التقليدية.

In a Nutshell

الاستدلال ليس مجرد تشغيل للنموذج، بل نظام معقد يتطلب ابتكارات على مستوى النواة والتوازي والتكميم والتخزين المؤقت، حيث تُحدّد كفاءته قدرة الشركات على تحقيق الربح من نماذج المصادر المفتوحة في عالمٍ يتطلب تريليونات الرموز شهريًا.


2 —

الاستدلال يفوق التدريب بـ 12 ضعفًا

بيانات DeepSeek تكشف أن عمليات الاستدلال تفوق التدريب بكثير.

نسبة عمليات الاستدلال إلى التدريب سنويًا
6 أضعاف
بناءً على بيانات DeepSeek V3 التي استغرقت 2.8 مليون ساعة H1800 للتدريب
نسبة عمليات الاستدلال إلى التدريب على مدى عامين
12 ضعفًا
مع افتراض عمر افتراضي للنموذج يبلغ عامين
هوامش ربح DeepSeek
80%
نتيجة للابتكارات الكبيرة في جانب الاستدلال
إنتاجية Together AI الشهرية
400 تريليون رمز مميز
تمثل ثُمن حركة مرور Gemini من Google
معدل نقل البيانات لكل GPU عند التعبئة المسبقة
1.5 مليون رمز/ثانية
مع معدل وصول إلى ذاكرة التخزين المؤقت 96%

3 —

تعقيد الاستدلال: من الطلب إلى الرمز المميز

رحلة طلب واحد عبر ستة مراحل معقدة تحدد الأداء.

1

التوجيه تحديد نسخة GPU والمنطقة المناسبة مع مراعاة التخزين المؤقت لـ KV لتحسين معدل النجاح

2

التجزئة التحقق من صحة استدعاءات الأدوات والمعلمات وضمان توافق المخطط

3

الجدولة والدفعات تجميع الطلبات بترتيب مدرك لذاكرة التخزين المؤقت لتقليل عمليات التعبئة المسبقة

4

التعبئة المسبقة (Prefill) معالجة السياق الأولي بكثافة حسابية عالية واستخدام معامل FP8 حوالي 50%

5

فك التشفير (Decode) توليد رمز واحد في كل مرة بمعدل نقل 14,000 رمز/ثانية، يعتمد على عرض النطاق الترددي

6

إدارة ذاكرة التخزين المؤقت الاحتفاظ بذاكرة KV لمدة تصل إلى 72 ساعة (DeepSeek) لتحقيق معدلات نجاح عالية


4 —

«في النهاية، أفضل نموذج تكلفة هو عدم وجود نموذج تكلفة على الإطلاق»

Luminal تعتمد على القياس الفعلي للأجهزة بدلاً من النماذج النظرية.

“في النهاية، أفضل نموذج تكلفة هو عدم وجود نموذج تكلفة على الإطلاق، ويجب علينا ببساطة تشغيل هذه الأشياء على الأجهزة الحقيقية التي سنستخدمها لنرى كمدة زمنية تستغرقها.”

Ultimately, the best cost model is no cost model at all, and we simply need to run these things on the real hardware that we will use to see how long they take.

— جو فياتي، Luminal


5 —

ابتكارات الاستدلال عبر ثلاث فئات

🧠
ابتكارات النموذج
MoE لتقليل عمليات الفاصلة العائمة بمقدار 1/K، نماذج SSM لتقليل الانتباه، التكميم إلى 2-بت، والتقطير إلى نماذج أصغر.
⚙️
ابتكارات النواة والتشغيل
FlashAttention وPagedAttention للتجانب الفعّال، انتباه الجذر للتخزين المؤقت، ومُجمّعات تعتمد على تشبع المساواة لتوليد نوى مُحسّنة تلقائيًا.
🔀
ابتكارات تسخير الذاكرة
التوجيه الذكي، فك التشفير التخميني، النماذج التكرارية لتقليل حجم KV، والضغط لإعادة تنظيم الذاكرة الفعلية.

6 —

التحدي الخفي: تفاوت جودة مزودي الخدمة

الفجوة بين أفضل وأسوأ مزود أكبر من فجوة النماذج المفتوحة-المغلقة.

كشفت أبحاث 2024 التي اختبرت 31 نقطة نهاية مختلفة لـ Llama عن مشكلة مُثيرة للقلق: الفجوة في الأداء بين أفضل وأسوأ مزود لنفس النموذج المفتوح تفوق الفجوة بين النماذج المغلقة مثل GPT والنماذج المفتوحة. قد يكون أداء بعض النماذج أقرب إلى GPT-3.5 منه إلى Llama آخر من نفس النوع، مع افتراض تطابق الأوزان تمامًا.

تتفاقم هذه المشكلة مع وكلاء البرمجة، حيث قد تصل نسبة الخطأ إلى 79%إذا كان هناك انحراف بنسبة 10%عن الناتج المصمم للنموذج خلال 15 خطوة برمجة. تشمل أسباب التفاوت: التكميم غير الدقيق، اختلاف تقنيات أخذ العينات، أخطاء استدعاء الأدوات، واختلاف محركات الاستدلال. يقترح Ollama حلولاً تشمل اختبارات التوزيع، احتمالات السجل (Log Probs)، وتحليل شكل الطلبات لرصد الانحرافات مبكرًا.


7 —

التوازي الخبير: من 8 إلى 72 GPU

تقنية GB Racks تُتيح توزيع الخبراء على 72 GPU بنطاق ترددي عالٍ.

💡

التوازي الخبير: من 8 إلى 72 GPU

تُمثّل تقنية GB Racks من Nvidia قفزة نوعية، حيث تسمح لـ 72 وحدة معالجة رسومية بالتواصل بنطاق ترددي عالٍ، مقارنةً بـ 8 وحدات فقط في رقائق Blackwell السابقة. هذا يُمكّن من توزيع جميع الخبراء في نماذج MoE على وحدات مختلفة، مما يُحوّل عملية ضرب المصفوفة إلى عملية ضخمة تُجيد وحدات GPU تنفيذها، ويرفع الإنتاجية بشكل ملحوظ.


8 —

SGLang: شجرة Radix موحدة لإدارة الذاكرة الهجينة

بنية موحدة تُدير الرموز الكاملة والنوافذ المنزلقة والحالات المتكررة.

واجه SGLang تحديًا معقدًا مع تنوع بنى المحولات: كيفية إدارة ذاكرة التخزين المؤقت بكفاءة عبر الرموز الكاملة والنوافذ المنزلقة والحالات المتكررة (مثل Mamba وKDA) في نظام موحد. الحل كان شجرة Radix موحدة مبنية على الرموز الدلالية، تُنسّق جميع المكونات دون الحاجة لبروتوكولات منفصلة.

أضاف SGLang أيضًا مجموعات ذاكرة موحدة تنمو ديناميكيًا بدلاً من التخصيص المسبق بنسب ثابتة، مع عملية «ضغط» لإعادة تنظيم الذاكرة الفعلية وتجنب التجزئة. هذا يُتيح خدمة أحمال عمل متنوعة (من 128 رمزًا إلى مليون رمز) بكفاءة على نفس المحرك، مع تقليل زمن الاستجابة بنسبة 56%بفضل التخزين المؤقت الهرمي L1/L2/L3.


9 —

جدولة التداخل: حل فقاعات CPU/GPU

تقنية SGLang تُضاعف الإنتاجية على Blackwell بتشغيل دفعات متوازية.

الجدولة التقليدية
فقاعات GPU تصل إلى 10%
تحضير الدفعة الأولى، تشغيلها، الحصول على البيانات، ثم تحضير الدفعة الثانية. مع تسارع GPU، تصبح فقاعات CPU/GPU ملحوظة وتُهدر الموارد.
جدولة التداخل
تشغيل متزامن للدفعات
تأخير عمليات المزامنة المضيفة وتشغيل الدفعة الثانية أثناء تنفيذ الأولى. تُحقق تحسنًا بنسبة 1.1-1.5× على Hopper، وتصل إلى 2× على Blackwell في إعدادات GB.

10 —

People

فرانسوا
مُقدّم ومُحلّل، YC
host
دان فو
رئيس الأبحاث، Together AI
guest
جيف مورغان
المؤسس والرئيس التنفيذي، Ollama
guest
جو فياتي
المؤسس المشارك والرئيس التنفيذي، Luminal
guest
لانغ شانغ
رئيس SGLang
guest

Glossary
COGS (Cost of Goods Sold)تكلفة البضائع المباعة؛ في سياق الاستدلال، تشمل تكاليف GPU والبنية التحتية لخدمة النماذج.
Prefill (التعبئة المسبقة)معالجة السياق الأولي للمطالبة بكثافة حسابية عالية قبل توليد الرموز المميزة.
KV Cache (ذاكرة التخزين المؤقت للقيم والمفاتيح)تخزين القيم والمفاتيح المُحسَّبة مسبقًا لإعادة استخدامها وتجنب إعادة الحساب في الطلبات اللاحقة.
MFU (Model FLOPs Utilization)معدل الأداء الأقصى؛ نسبة عمليات الفاصلة العائمة الفعلية إلى الذروة النظرية لـ GPU.
E-graph (الرسم البياني الإلكتروني)بنية بيانات تُطبق قواعد إعادة كتابة غير مُتلفة، تحتفظ بجميع الأشكال المكافئة للبرنامج حتى التشبع.
Speculative Decoding (فك التشفير التخميني)استخدام نموذج صغير لتوليد رموز مُرشَّحة، ثم التحقق منها بواسطة نموذج كبير للحصول على رموز مجانية.

Disclaimer: This is an AI-generated summary of a YouTube video for educational and reference purposes. It does not constitute investment, financial, or legal advice. Always verify information with original sources before making any decisions. TubeReads is not affiliated with the content creator.