نشرت شركة Thinking Machines Lab، وهي شركة الأبحاث التي أسستها ميرا موراتي، مديرة التكنولوجيا السابقة في OpenAI، شرحًا تقنيًا مفصلاً لكيفية تدريب نماذج اللغات الكبيرة بشكل كامل تقريبًا بدقة 4 بت - وهي تقنية تقول الشركة إنها تفتح سرعة كبيرة ووفورات في الذاكرة على أحدث أجهزة مركز البيانات من Nvidia.
يستعرض منشور المدونة، الذي يحمل عنوان "التدريب الشامل على 4 بت" والذي تم نشره على موقع الشركة على الويب في 13 نوفمبر، المفاضلات الرقمية وراء التدريب منخفض الدقة ويصف كيف تمكن الفريق من إدارتها أثناء تدريب نموذج Inkling 2 Small. بالنسبة للقراء الذين يتابعون أحدث تطورات الذكاء الاصطناعي، يقدم هذا المنشور نظرة عامة نادرة على القرارات الهندسية التي تحدد التكلفة الفعلية للتدريب على المستوى الحدودي.
لماذا يعني عدد أقل من البتات تدريبًا أسرع
يتضمن تدريب نموذج لغة كبير حساب وتخزين كميات هائلة من الأرقام. يؤدي استخدام عدد أقل من البتات لكل قيمة إلى تقليل استخدام الذاكرة ويتيح لوحدات معالجة الرسومات إجراء العمليات الحسابية بشكل أسرع. والتكلفة هي الدقة: عدد البتات الأقل يعني عددًا أقل من الأرقام القابلة للتمثيل، لذلك يجب تقريب القيم بشكل أكثر قوة.
توضح الشركة المشكلة بمثال بسيط. إذا كان التنسيق يمكن أن يمثل الرقمين 3 و4 فقط، فإن تخزين 3.2 يتطلب التقريب إلى 3، مما يؤدي إلى حدوث خطأ تكميم قدره 0.2. يعد خطأ التقريب الفردي أمرًا تافهًا، ولكن أثناء التدريب، تتراكم هذه الأخطاء عبر الطبقات وخطوات التحسين، ويمكن أن تتداخل مع عملية التعلم نفسها.
"هذا هو التحدي الرئيسي للتدريب منخفض الدقة: كيف يمكننا الاستفادة من العمليات الحسابية الأسرع دون حدوث أخطاء تتداخل مع التعلم؟" كتبت الشركة في هذا المنصب.
ثلاثة أشكال، جولة تدريب واحدة
بدلاً من الالتزام بمستوى دقة واحد، تستخدم Thinking Machines ثلاثة تنسيقات رقمية في مراحل مختلفة من التدريب: BF16، وMXFP8، وNVFP4. يتمتع كل تنسيق بدقة ثابتة، لكن سرعته تعتمد على الجهاز الذي يقوم بتشغيله.
تتدرب الشركة على منصة Nvidia's Grace Blackwell Ultra، GB300، والتي تم تصميمها خصيصًا لتسريع عمليات ضرب المصفوفات في NVFP4. وفقًا للمنشور، يقوم NVFP4 بتخزين القيم بمعدل بتات أقل بمقدار 3.6 مرات من BF16 بينما يعمل بشكل أسرع بما يصل إلى 6 مرات على أنظمة GB300. من حيث الإنتاجية الأولية، تدرج الشركة أداء GB300 عند حوالي 15 PFLOPS في NVFP4، و5 PFLOPS في MXFP8، و2.5 PFLOPS في BF16.
المشكلة هي أن الضغط القوي لـ NVFP4 يقدم أخطاء تكميمية أكبر بكثير من التنسيقات الأوسع. ويكون ذلك الخطأ مقبولاً في بعض مراحل التدريب وغير مقبول في أخرى، ولهذا السبب تتعامل الشركة مع كل مرحلة على حدة.
مراحل مختلفة، قواعد مختلفة
يقسم منشور المدونة التدريب إلى أربع مراحل - التمريرات الأمامية والخلفية للتدريب المسبق، وعينات التعلم المعزز، ومدرب RL - ويخصص لكل منها توازنًا مختلفًا في الأولويات بين تقليل الخطأ، وتقليل التحيز، وزيادة السرعة، وتقليل استخدام الذاكرة.
السرعة هي الأكثر أهمية في الخطوات ذات الحجم الكبير: التدريب المسبق، الذي يمتد على تريليونات من الرموز، وأخذ عينات RL، الذي يولد كميات كبيرة من عمليات الطرح. لكن التمريرات الخلفية هي حالة خاصة. يوضح المنشور أن التمريرات العكسية للمتوسط على العديد من الرموز المميزة دفعة واحدة، مما يخفف من تأثير أخطاء التقريب الموزعة عشوائيًا - ولكنها حساسة للغاية للتحيز الكمي، وهو الانجراف المنهجي الذي يحدث عندما تدور القيم باستمرار في اتجاه واحد. وعلى عكس الضوضاء العشوائية، يمكن أن يتفاقم هذا التحيز عبر الطبقات والعينات وخطوات التدريب.
وتقول الشركة إنها تمكنت من إدارة هذه المقايضات أثناء تدريب Inkling 2 Small، وهو نموذج خليط من الخبراء مفتوح الوزن أطلقته في وقت سابق من هذا الشهر بموجب ترخيص Apache 2.0. لا يدعي المنشور أن كل جزء من التشغيل تم تشغيله في 4 بتات؛ بل يصف استراتيجية شاملة يتم فيها اختيار دقة كل مكون بشكل متعمد بدلاً من توريثها بشكل افتراضي.
ما أهمية التدريب منخفض الدقة؟
الاقتصاد هنا واضح ومباشر. الحوسبة هي التكلفة السائدة في تطوير النماذج الرائدة، ويتسابق بائعو الأجهزة لإضافة تسريع منخفض الدقة إلى كل جيل جديد من الرقائق. وضعت شركة Nvidia دعم NVFP4 في منصة Blackwell Ultra الخاصة بها كميزة رئيسية، وتعلن المسرعات المنافسة من AMD وGoogle وغيرهما عن تنسيقاتها ذات الدقة المنخفضة.
إذا تمكنت مختبرات الأبحاث من دفع المزيد من مسارات التدريب بأمان إلى العمليات الحسابية ذات 4 بتات، فإن ميزانية الأجهزة نفسها ستشتري المزيد من التجارب، أو المزيد من الرموز المميزة، أو نماذج أكبر. وهذه ميزة ذات مغزى في سوق حيث الوصول إلى المسرعات المتطورة نادر ومكلف. كما أنه يتزامن مع التوجه الأوسع للصناعة نحو تقنيات الكفاءة مثل الاستدلال المدرك للتكميم وفك التشفير التخميني، وكلاهما يضغطان على المزيد من القدرات من الأجهزة الثابتة.
يعد هذا المنشور أيضًا إشارة إلى الاتجاه الذي يتجه إليه مجتمع البحث. كان يُنظر لفترة طويلة إلى التدريب منخفض الدقة على أنه محفوف بالمخاطر للغاية بالنسبة لأي شيء يتجاوز الاستدلال، لأنه كان من المفترض أن تؤدي أخطاء التقريب إلى إفساد التعلم. إن التحليل الدقيق خطوة بخطوة - مثل التحليل الذي نشرته شركة Thinking Machines - هو الطريقة التي يتم بها اختبار هذا الافتراض، وإلغاءه حيثما أمكن ذلك.
من مشاركة المدونة إلى الأوزان المفتوحة
ما يجعل الكشف ملحوظًا هو أنه ليس نظريًا بحتًا. وربطت الشركة هذه التقنية مباشرة بالنموذج الذي قامت بشحنه بالفعل. تم إصدار Inkling 2 Small مع أوزان قابلة للتنزيل في أوائل نوفمبر، ويشرح المنشور الجديد الإستراتيجية العددية وراء التدريب الخاص بها. في الواقع، يحصل الممارسون الذين يقومون بتنزيل النموذج على قطعة أثرية عاملة من المنهجية منخفضة الدقة التي تصفها الشركة.
كانت شركة Thinking Machines مفتوحة على نحو غير معتاد لمختبر على نطاق حدودي، حيث كانت تنشر منشورات مدونة تقنية جنبًا إلى جنب مع إصدارات نماذجها. تمنح هذه الشفافية الباحثين الخارجيين شيئًا نادرًا: وصف موثق وقابل للتكرار لكيفية تعامل التدريب الحديث مع الحقائق الرقمية الفوضوية للحسابات المختلطة الدقة.
بالنسبة للصناعة الأوسع، الرسالة هي أن التدريب على تقنية 4 بت قد انتقل من الفضول البحثي إلى تقنية الإنتاج. ومع اعتماد المزيد من المختبرات لاستراتيجيات مماثلة، ستضيق الفجوة بين ذروة أداء الأجهزة النظرية وإنتاجية التدريب المحققة - وستستمر تكلفة النماذج القادرة على التدريب في الانخفاض.
البقاء في صدارة الذكاء الاصطناعي
تتطور التقنيات الكامنة وراء النماذج الحدودية أسبوعيًا. تابع AI Buzz Wire للحصول على تقارير واضحة ومعتمدة على مصادر حول الأبحاث التي تشكل هذا المجال.
اقرأ المزيد من أخبار الذكاء الاصطناعي →
