يجذب فريق Qwen التابع لشركة Alibaba اهتمامًا جديدًا هذا الأسبوع لـ QwenGyre، وهو إطار عمل للتعلم المعزز مصمم لتدريب عملاء الذكاء الاصطناعي على المهام التي تستمر لساعات في المرة الواحدة. تم وصف النظام في ورقة بحثية بعنوان "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents"، والتي كتبها ثلاثة عشر باحثًا في Qwen وتم نشرها على arXiv في أواخر سبتمبر، مع تغطية مفصلة عبر صحافة الذكاء الاصطناعي في 12 و13 أكتوبر.
يستهدف إطار العمل فئة من أعباء العمل يسميها الفريق مهام "xLong-horizon"، حيث يمتد التنفيذ الواحد لساعات، ويتضمن مئات التفاعلات بين النموذج وبيئته، ويستهلك ما يقرب من مليون رمز مميز لكل عملية طرح. ومن الأمثلة النموذجية على ذلك وكلاء الترميز الذين يعملون من خلال مستودع كامل، أو المساعدين الذين ينفذون عمليات متعددة الخطوات نيابة عن المستخدم. لقد كانت نماذج التدريب للقيام بذلك بشكل جيد من خلال التعلم المعزز عبر الإنترنت واحدة من أصعب مشكلات البنية التحتية في هذا المجال - وهي أولوية طبيعية للفريق الذي يقف وراء نماذج وكيل Qwen ذات الوزن المفتوح المستخدمة على نطاق واسع. بالنسبة للقراء الذين يتتبعون أخبار الذكاء الاصطناعي العاجلة حول البنية التحتية للتدريب، يقدم QwenGyre نظرة على كيفية قيام أحد أكبر فرق النماذج المفتوحة بإعادة هندسة خط أنابيب RL الخاص به حول أعباء عمل الوكلاء.
عنق الزجاجتان في Long-Horizon RL
تحدد الورقة مشكلتين أساسيتين في تطبيق التعلم المعزز عبر الإنترنت على مهام الوكيل الطويلة للغاية.
الأول هو تباطؤ GPU. نظرًا لأن عمليات الطرح تختلف بشكل كبير في وقت التنفيذ - قد ينتهي تشغيل أحد العملاء في دقائق بينما يستمر آخر في العمل لساعات - فإن الجانب التدريبي من المسار ينتظر باستمرار المتطرفين. والنتيجة، وفقًا للمؤلفين، هي وقت خمول هائل عبر أساطيل GPU باهظة الثمن، والتي تعد أكبر تكلفة منفردة في أي تدريب على RL.
والثاني هو التكرار المسار. لا تستمر مهام الوكيل الطويلة في خط مستقيم. إنهم يتفرعون: يحاول الوكيل اتباع نهج ما، ثم يتراجع، ويحاول نهجًا آخر، ويتضاعف التفرع عندما تصبح المهام أطول وأكثر تعقيدًا. الكثير من هذا التاريخ المتفرع لا لزوم له، والتدريب عليه كله يهدر الحوسبة ويزعزع استقرار التعلم. ويصف المؤلفون هذا التكرار بأنه يعوق كفاءة التدريب على نطاق واسع.
كيف يخاطبهم QwenGyre
QwenGyre هو إطار عمل شامل لـ RL طويل المدى عبر الإنترنت مبني على آليتين أساسيتين.
الأول هو إعادة تخصيص وحدة معالجة الرسومات المرنة. ينقل إطار العمل وحدات معالجة الرسومات بين جانب الطرح (حيث يعمل الوكلاء ويولدون الخبرة) وجانب التدريب (حيث يتم تحديث النموذج) دون مقاطعة عمليات التنفيذ المباشرة. في الإعدادات التقليدية، يتم إصلاح الانقسام بين موارد الطرح والتدريب، بحيث يتوقف أحد الجانبين عن العمل بينما يعمل الجانب الآخر. إن جعل الحدود مرنة يعني أن مرحلة الطرح الثقيلة يمكن أن تستعير أجهزة التدريب، والعكس صحيح، مع تغير عبء العمل.
والثاني هو معالج المسار الذي يروض مشكلة التفرع. فهو يعيد بناء تواريخ التفرع بحيث لا يتم التعامل مع البادئات المشتركة كبيانات غير ذات صلة، ويسجل تقدمًا جزئيًا في المحاولات غير المكتملة - وهو أمر مهم عندما تنتهي معظم عمليات الطرح الطويلة بالفشل - ويلغي المسارات المتكررة لتكاليف التدريب المقيدة.
الاقتصاد هنا واضح ومباشر. في التعلم المعزز للنماذج الكبيرة، تعد الحوسبة هي التكلفة المهيمنة، ويحدد تقسيم التدريب التمهيدي مقدار أسطول وحدات معالجة الرسومات الذي يكسب فعليًا الاحتفاظ به في أي لحظة معينة. يعمل إطار العمل الذي يحافظ على عمل وحدات معالجة الرسومات بشكل مفيد بدلاً من الخمول على مضاعفة إنتاجية نفس الأجهزة بشكل فعال. بالنسبة لتدريب العملاء على المدى الطويل - حيث تصف الورقة التباطؤ بأنه "ضخم" - يمكن للفرق بين الانقسام الثابت والمرن أن يقرر ما إذا كان برنامج التدريب عمليًا على الإطلاق.
سبب أهمية النظام البيئي للوكيل
لقد انتقلت منتجات الوكلاء من العروض التوضيحية إلى عمليات النشر، وتتسابق تقنيات التدريب التي تقف وراءها لمواكبة ذلك. قد يحتاج وكيل التشفير الذي يكمل تذكرة حقيقية، أو المساعد الذي يدير سير عمل متعدد الخطوات، إلى مئات التفاعلات قبل أن يصل إلى نتيجة يقبلها الإنسان - وتكون إشارات المكافأة لهذه النتائج متفرقة ويصعب تحديدها. يظل التعلم المعزز عبر الإنترنت هو النهج السائد لشحذ سلوك الوكيل، مما يجعل إنتاجية خط أنابيب RL عائقًا مباشرًا على مدى سرعة قيام المختبر بتحسين عوامله.
ولهذا السبب فإن أطر العمل مثل QwenGyre مهمة خارج نطاق Alibaba. إذا أصبح برنامج Long Horizon RL أرخص بشكل كبير لكل نقطة قدرة مكتسبة، فسيصبح بإمكان المزيد من الفرق تدريب الوكلاء على المهام الطويلة الفوضوية التي تشبه العمل الحقيقي، بدلاً من تدريبهم على حلقات اصطناعية قصيرة رخيصة الثمن ولكنها ضعيفة كبديل. ستكون الفرق التي تحل مشكلة الإنتاجية قادرة على تكرار القدرة الوكيلة بشكل أسرع بكثير من أي شخص آخر.
النتائج المبلغ عنها
النتيجة الأبرز في الورقة تأتي من توسيع نطاق QwenGyre إلى نموذج Qwen الرئيسي، Qwen 3.8 2.4T، مع طرح 700000 رمز مميز. حقق التدريب باستخدام إطار العمل مكاسب مطلقة بنسبة 6.0 بالمائة في NL2RepoBench - وهو معيار لترجمة طلبات اللغة الطبيعية إلى تغييرات التعليمات البرمجية على مستوى المستودع - مما أدى إلى رفع النموذج من 52.5 بالمائة إلى 58.5 بالمائة في 48 خطوة فقط من خطوات RL.
فيما يتعلق بالكفاءة، أفاد الفريق أن QwenGyre يوفر سرعات تصل إلى 1.85 مرة عبر خط أساس RL محدد الموقع و1.78 مرة عبر إعداد غير متزامن، عبر التقييمات التي تغطي مجالات التدريب المتنوعة. هذه أرقام كبيرة في مجال يتم فيه عادةً قياس مكاسب الإنتاجية بنسب مئوية مكونة من رقم واحد.
التحذيرات والتوافر
كما هو الحال مع أي نتيجة منشورة في المختبر، يتم الإبلاغ عن الأرقام ذاتيًا من قبل فريق كوين ولم يتم إعادة إنتاجها بشكل مستقل بعد. أحد الأسئلة العملية للباحثين الخارجيين هو الوصول: في حين أن بعض التغطية وصفت QwenGyre بأنه مفتوح المصدر، لم يظهر إصدار كود عام واضح في وقت كتابة هذا التقرير، لذا فإن التحقق المستقل من عمليات التسريع المبلغ عنها ليس ممكنًا بعد. سيتم تحديث AI Buzz Wire مع توفر المزيد من التفاصيل.
ومع ذلك، تعتبر هذه الورقة إشارة مفيدة حول الاتجاه الذي يتجه إليه تدريب العملاء. نظرًا لأن الوكلاء يتولى مهام أطول وأكثر قيمة، فإن البنية التحتية اللازمة لتدريبهم تختلف بشكل حاد عن خط أنابيب RL في عصر الدردشة - وستزداد الفجوة بين الاثنين.
---
ابقَ في طليعة الذكاء الاصطناعياحصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.
اقرأ المزيد من أخبار الذكاء الاصطناعي →
