قدم فريق بحث من FAIR في Meta وجامعة أكسفورد وكلية لندن الجامعية نماذج تفضيلات أبحاث الذكاء الاصطناعي (RPMs)، وهي طريقة لتحديد تجارب التعلم الآلي التي يجب على وكيل البحث المستقل إجراؤها فعليًا. بدلًا من التنبؤ بكيفية نتيجة التجربة، يقوم RPM بتصنيف المرشحين غير المنفذين واختيار المرشح الأكثر واعدة، وهو تحول يقول الفريق إنه يعالج عنق الزجاجة الحقيقي في الأبحاث المعتمدة على الذكاء الاصطناعي: حوسبة التحقق، وفقًا لتقرير MarkTechPost حول العمل.

تصل الفكرة إلى لحظة يستطيع فيها وكلاء الأبحاث بالفعل اقتراح تجاربهم الخاصة وتنفيذها وتسجيلها. توليد الأفكار رخيص؛ التنفيذ ليس كذلك. يمكن أن يستهلك تدريب مرشح واحد ساعات إلى أيام من وقت وحدة معالجة الرسومات، لذلك يقترح الوكيل حتماً تجارب أكثر بكثير مما يمكنه تحمل تكاليف إجرائها. إن اختيار المرشحين الذين يتم تنفيذهم هو، كما يضعه الفريق، الرافعة الحقيقية لتقدم البحث. بالنسبة للمختبرات التي تراقب ارتفاع فواتيرها الحاسوبية، فإن هذا التأطير هو بالضبط السبب وراء جذب هذا العمل الانتباه عبر أحدث تطورات الذكاء الاصطناعي في أتمتة الأبحاث.

لماذا يعتبر اختيار التجربة هو عنق الزجاجة؟

وجد الفريق أن النماذج اللغوية لا يمكن الاعتماد عليها في التنبؤ بالمقاييس المطلقة أو نتائج التنفيذ. لا يمكن للنموذج أن ينظر إلى تجربة مرشحة ويتنبأ بدقة بالنتيجة التي سيحققها. ووجد الباحثون أن ما يمكن أن يفعله هو الحكم على أي من المرشحين هو الرهان الأفضل – مقارنة نسبية بدلاً من التنبؤ المطلق. تم إنشاء RPMs بالكامل حول هذا التمييز: فهي لا تتوقع أبدًا النتيجة، بل تقوم فقط بالترتيب.

يعمل النظام داخل AIRA-dojo، وهي عبارة عن سقالة بحث تطورية مفتوحة المصدر تولد تجارب التعلم الآلي من خلال اختيار الوالدين الجشعين ومشغلي المسودة والتحسين والتصحيح، مما يؤدي إلى إرجاع العقدة ذات أعلى درجة من التحقق في النهاية. المعيار، AIRS-Bench، هو أيضًا مفتوح المصدر. يستخدم كل من السقالة والنموذج المفضل Qwen3.6-27B كعمود فقري، والذي لاحظ الفريق أنه أوزان مفتوحة.

كيف تعمل بطولة خروج المغلوب

بدلاً من إنشاء تجربة فرعية واحدة وتنفيذها، يطبق الوكيل عامل التشغيل 15 مرة بالتوازي لإنتاج 15 مرشحًا غير منفذ. ثم يقوم RPM بمقارنتهما بشكل ثنائي في دورة خروج المغلوب، ويتم إعدام الفائز فقط. ترتكز كل مقارنة على عقد السياق التي تم جمعها من خلال مسيرة العرض الأولى للشجرة المستكشفة، مع عرض كل مرشح جنبًا إلى جنب مع درجات التحقق من صحة أسلافه، وبالتالي فإن الحكم يستنتج من تاريخ البحث الفعلي للوكيل وليس في الفراغ.

تصف الورقة متغيرين بميزانيات حسابية مختلفة:

  • RPM للاستدلال فقط — دورة ماجستير في إدارة الأعمال (LLM) كحكم تقارن بين خطط المرشحين، والتعليمات البرمجية، وسجل البحث في مسار واحد. تم تحسين موجهه باستخدام MIPROv2 من إطار عمل DSPy وتقارب مع ما يسميه الفريق نموذج تقييم الباحث الرئيسي: فهو يتحمل الأخطاء القابلة للإصلاح، ويكافئ القابلية للتوسعة ويعاقب توجيهات البحث الزائدة عن الحاجة. تم قياس دقة المقارنة دون الاتصال بالإنترنت من 57.7 إلى 59.0 بالمائة.
  • Agentic RPM — نفس القاضي بالإضافة إلى وضع الحماية الذي يستنسخ بيئة الوكيل، بما في ذلك وحدة معالجة الرسومات H200 واحدة، مع أدوات تقتصر على Python وBash وإجراء إرسال الحل. فهو يجري تجارب تجريبية صغيرة الحجم، ثم يقترح نموذج التغذية الراجعة التجربة التالية الأكثر إفادة أو ينهي الحلقة. يتم تحديد الحد الأقصى لعدد الطيارين بـ 30 ثانية مع حد 60 ثانية، ويتم المبالغة في تقدير ميزانية الوقت المتبقي عمدًا - تم الإبلاغ عن 2700 ثانية مقابل 300 ثانية حقيقية - لذلك لا يتوقف الوكيل عن التحسين مبكرًا.

قاضٍ يشبه المحقق الرئيسي

إن تأطير المحقق الرئيسي هو الجزء المثير للاهتمام بهدوء. بدلاً من مكافأة المرشحين الذين يبدون مثيرين للإعجاب إلى الحد الأقصى، يعكس نموذج التقييم المحسّن كيف يقوم باحث ذو خبرة بفرز الأفكار: الكود البرمجي الذي يمكن إصلاحه يتفوق على الكود المصقول الذي يسعى إلى طريق مسدود، والاتجاهات التي تكرر الشجرة الحالية تساوي أقل من التوجيهات الجديدة. تشير استنتاجات الفريق إلى أن نموذج التقييم هذا، الذي تم تعلمه من خلال التحسين الفوري بدلاً من الضبط اليدوي، هو ما يحمل على التحسين.

النتائج المعيارية على AIRS-Bench

غطى التقييم 20 مهمة نصية وجدولية عامة، مع إعطاء كل مهمة 24 ساعة على H200 واحد و10 بذور عشوائية. والأهم من ذلك، أن نفس العمود الفقري Qwen3.6-27B هو الذي يدعم مشغلي التجربة ونموذج التفضيل، وبالتالي فإن المكاسب تأتي من طبقة الاختيار بدلاً من نموذج القاضي الأقوى. متوسط ​​الدرجات الطبيعية:

  • لا يوجد دورة في الدقيقة (اختيار عشوائي): 0.684
  • عدد الدورات في الدقيقة للاستدلال فقط: 0.711
  • عدد الدورات في الدقيقة للوكيل: 0.729
  • أوراكل التحقق (السقف): 0.748
  • اختبار أوراكل (السقف): 0.759

كان احتمال التحسن على الاختيار العشوائي هو 0.5923 لمتغير الاستدلال فقط، و0.5913 للمتغير الوكيل، مع حدود أدنى لفاصل الثقة بنسبة 95% تبلغ 0.5066 و0.5018 - أعلى من عتبة 0.5 للأهمية الإحصائية، على الرغم من أن الفريق صريح في أن الهوامش متواضعة وليست تحويلية.

الكفاءة هي النتيجة الأكثر عملية. وصل RPM للاستدلال فقط إلى النتيجة النهائية لخط الأساس العشوائي وهي 0.684 في 14.88 ساعة، أي تسريع بمقدار 1.61x، بينما احتاج المتغير الوكيل إلى 15.50 ساعة، أي تسريع بمقدار 1.55x. وحتى مع الأخذ في الاعتبار النفقات العامة لاستنتاج القاضي المستضاف ذاتيًا، ظلت الأرقام المعدلة مواتية.

##أوزان مفتوحة ومحاذير صادقة

الفريق صريح في أن RPMs قابلة للنشر جزئيًا فقط اليوم. المكونات مفتوحة - أعمدة أساسية مجمدة مُدربة مسبقًا دون أي ضبط دقيق، وسقالة ومعيار مفتوح المصدر، ونماذج أساسية ذات أوزان مفتوحة - ولكن متطلبات صندوق الحماية الخاص بالمتغير الوكيل ونفقات التجربة التجريبية الخاصة به تعني أن معظم المختبرات ستبدأ بإصدار الاستدلال فقط. لاحظ الباحثون أيضًا أن خطوات التصحيح تعود إلى الاختيار العشوائي في متغير الوكيل لأن الوقت التجريبي يتنافس مع ساعة الوكيل الخاصة.

قد تكون الأهمية الأكبر اتجاهية. مع انتقال وكلاء الأبحاث المستقلين من العروض التوضيحية إلى الاستخدام اليومي في المختبرات الصناعية، لم يعد المورد النادر هو الأفكار، بل ساعات وحدة معالجة الرسومات، والأساليب التي تحقق المزيد من التقدم من مجمع ميزانية الحوسبة الثابتة بمرور الوقت. إن التصنيف قبل الركض هو فكرة بسيطة، وتشير أرقام AIRS-Bench إلى أنها فكرة تعمل بشكل جيد بما يكفي لتكون مهمة.

ابق في صدارة الذكاء الاصطناعي

تابع الأبحاث التي تشكل نماذج المستقبل على AI Buzz Wire.

اقرأ المزيد من أخبار الذكاء الاصطناعي →