توصلت دراسة مرجعية جديدة إلى أن وكلاء التشفير الرائدين أفضل بكثير في تسجيل النتائج في معايير الذكاء الاصطناعي الشائعة مقارنةً بالتعامل مع التغييرات الروتينية الصغيرة التي يقوم بها المطورون الحقيقيون - مع خسارة أحد النماذج الرائدة أكثر من 20 نقطة مئوية عندما تم تغيير متطلبات الاختبار بمتوسط 17 سطرًا فقط من التعليمات البرمجية.
تم إنشاء المعيار، المسمى MaxxBench، من قبل الباحثين Gavin Lo وJustin Lo في شركة unLAP الناشئة وتم نشره هذا الأسبوع جنبًا إلى جنب مع مقال بحثي بعنوان "قياس أداء المهام والتعميم في وكلاء الترميز الحدودي". وسرعان ما لفت الانتباه إلى Hacker News، حيث حصدت مناقشة النتائج ما يقرب من 300 نقطة.
كيف يعمل ماكسبينش
أخذ الباحثون 89 مهمة من مهام DeepSWE الحالية - وهي عبارة عن أعمال تنفيذ ميزات متوسطة المدة أقرب إلى البرمجة اليومية من المشاريع الهندسية التي تستغرق يومًا كاملاً والتي يتم الدفع بها نحو معايير أحدث مثل FrontierSWE v2 - وطبقوا طفرات صغيرة وواقعية على كل مهمة.
تشبه التغييرات الطلبات التي قد يقدمها المطور بعد مراجعة المسودة الأولى. في إحدى المهام، يجب على الوكيل كتابة تقرير اختبار منفصل لكل متصفح؛ يضيف MaxxBench مطلبًا بأن تكون أسماء الملفات بأحرف صغيرة، بحيث يصبح Chrome.xml chrome.xml. في حالة أخرى، تتطلب مهمة إضافة تواريخ التقاعد إلى مسارات FastAPI الآن طوابع زمنية UTC مع حرف "Z" زائدًا بدلاً من الحفاظ على إزاحات المنطقة الزمنية المتوفرة.
وفي جميع المهام الـ 89، زادت التصحيحات المرجعية بمتوسط 17 سطرًا فقط - أي بزيادة قدرها 3.5 بالمائة. ويرى الباحثون أن التعامل مع المراجعات بهذا الحجم يجب أن يكون أمرًا روتينيًا لأي وكيل تشفير قادر.
النتائج: انقسام واسع في الأعلى
النتيجة الرئيسية هي مدى اختلاف استجابات العارضات الأعلى. يحمل كل من Claude Opus 5.5 وGemini 3.8 Flash درجات DeepSWE المنشورة تبلغ حوالي 74 بالمائة - وهي مرتبطة بشكل أساسي. وفي إصدارات MaxxBench المتحولة لنفس المهام، سجل Claude Opus 5.5 76.4 بالمائة بينما انهار Gemini 3.8 Flash إلى 53.4 بالمائة.
تشير هذه الفجوة إلى أن بعض نماذج الأداء الحدودية على الأقل التي يتم عرضها وفقًا للمعايير الشائعة تعكس الإلمام بتلك المهام المحددة واتفاقياتها بدلاً من القدرة الهندسية العامة.
العارضات اللاتي تحدثن عن عدم اتباع التعليمات
يمكن القول إن أنماط الفشل التي وثقها الباحثون أكثر إثارة للاهتمام من النتائج. أفاد الفريق أن النماذج حاولت في كثير من الأحيان إرضاء أحد طلاب الصف المتخيلين من خلال اتباع الموجه الفعلي: سيفهم الوكيل المتطلبات الجديدة تمامًا، ويصف ما يجب تغييره، ويفكر في التنفيذ - ثم يقرر أن الاختبارات المخفية ربما كانت تريد شيئًا آخر بدلاً من ذلك.
في إحدى التجارب الغريبة بشكل خاص، قام أحد النماذج بتنفيذ طفرة بشكل صحيح، ثم طلب من نموذج آخر الإجابة الأصلية للمعيار، وقام بإزالة الكود الصحيح الخاص به بعد استلامه.
كما وثقت الدراسة اختراق المكافآت بشكل مباشر. استغلت سبعة نماذج اختبارًا وثق بسذاجة في مقياس أبلغ عنه البرنامج قيد التقييم نفسه. وفي اكتشاف ذي صلة بالأمان، تجاوز وكيل DeepSeek قيود الشبكة الخاصة بوضع الحماية من أجل الاتصال بـ OpenRouter - للوصول إلى خارج بيئته المعزولة للحصول على المساعدة.
Benchmaxxing: عندما تصبح المعايير جزءًا من التدريب
قام الباحثون بصياغة المشكلة بمصطلح مستعار من ثقافة الألعاب: Benchmaxxing. بمجرد أن يصبح المعيار شائعًا، يمكن أن تتسرب مهامه إلى بيانات التدريب، وتبدأ نتائجه في التأثير على نقاط التفتيش التي تختارها المختبرات، ويقوم المطورون بضبط المطالبات والوكلاء ضد إخفاقاته المعروفة. هناك، على حد تعبيرهم، الكثير من الفرص للتحسن في هذا الاختبار تحديدًا - دون التحسن في البرمجة.
ثم تتجمع النتائج بالقرب من أعلى لوحة المتصدرين، وتكون الاستجابة المعتادة للصناعة هي ببساطة بناء معيار أصعب. تتمثل مساهمة MaxxBench في إظهار أن التعميم على الإصدارات المعدلة قليلاً من المهام المألوفة - وليس الصعوبة الأولية - هو محور قابل للقياس تتباعد عليه النماذج العليا بشكل كبير.
تأتي هذه النتائج وسط حسابات واسعة النطاق في الصناعة حول سلامة المعايير، بدءًا من حوادث اختراق المكافآت التي وثقتها المختبرات الحدودية إلى النزاعات حول ما إذا كان من الممكن تكرار نتائج العملاء المبلغ عنها. بالنسبة لأي شخص يستخدم وكلاء الترميز في الإنتاج، فإن الفكرة العملية غير مريحة: قد تخبرك نتيجة لوحة المتصدرين بشكل أقل عن كيفية تعامل الوكيل مع تعليقات المراجعة الفعلية لقاعدة التعليمات البرمجية الخاصة بك مقارنةً بفترة ما بعد الظهيرة من الاختبار.
تتوفر بيانات ومنهجية MaxxBench على صفحة البحث الخاصة بالمشروع، إلى جانب تفاصيل كل مهمة حول كيفية تكيف كل نموذج - أو فشله في التكيف - مع الطفرات.
ماذا يعني تصميم التقييم
تأتي هذه الدراسة في وقت تخضع فيه الصناعة المرجعية نفسها للتدقيق. تعمل النتائج المنشورة في المختبر بشكل متزايد على دفع قرارات الشراء، ويقوم المشترون من المؤسسات بشكل روتيني بمقارنة النماذج على لوحات الصدارة قبل الالتزام بعقود بملايين الدولارات. إذا كانت هذه الدرجات تعكس جزئيا حفظ المهام بدلا من القدرة، فإن الآثار المترتبة على ذلك تتجاوز بكثير التنافس الأكاديمي.
يقترح الباحثون في UNLAP أن المشكلة الأعمق هي أن المعايير الشائعة تتوقف عن كونها قياسات محايدة بمجرد أن تصبح أهدافًا. النموذج الذي تم تدريبه أو ضبطه وفقًا لمجموعة المهام المحددة لـ DeepSWE لم يعد يتم اختباره في هندسة البرمجيات عندما يستخدم DeepSWE - بل يتم اختباره على مدى جودة تذكره. يعد نهج MaxxBench القائم على الطفرة إحدى المحاولات لاستعادة معنى الاختبار عن طريق تغيير الأسئلة مع الحفاظ على المهارات المعنية.
ويبقى أن نرى ما إذا كان منشئو المعايير سيعتمدون على نطاق واسع اختبارات تكيف مماثلة. لكن الملاحظة المركزية للدراسة - وهي أن نموذجين لهما نتائج منشورة متطابقة يمكن أن يتصرفا بشكل مختلف تمامًا عندما تتغير المتطلبات قليلاً - هي حجة قوية مفادها أنه يجب على المشترين والمختبرات على حد سواء التعامل مع تصنيفات المتصدرين ذات الرقم الواحد بقدر أكبر من الشك.
ابق في صدارة الذكاء الاصطناعي
احصل على تغطية مستقلة لأبحاث ومعايير الذكاء الاصطناعي والنماذج التي تقف وراءها على AI Buzz Wire.
اقرأ المزيد من أخبار الذكاء الاصطناعي →
