يتحدى معيار جديد يسمى Real-SWE كيفية قياس صناعة الذكاء الاصطناعي لقدرة البرمجة، وكانت النتائج الأولى متواضعة للمختبرات الرائدة. Anthropic's Fable 5.1، الذي يعمل داخل مجموعة Claude Code، يتصدر اللوحة بمعدل دقة 38.8% في المهام المستمدة من قواعد التعليمات البرمجية الخاصة بالمؤسسات الواقعية. لم يقم أي نموذج تم اختباره بمسح نسبة 40 بالمائة.

يقوم المعيار، الذي أصدرته شركة Specifique Labs هذا الشهر، بتقييم نماذج الذكاء الاصطناعي الرائدة على قواعد كود الإنتاج الخاص التي رخصها الفريق من شركات حقيقية. ويزعم مبتكروها أن المهام التي ينشئها الخبراء أو المهام الاصطناعية، مهما كانت مصممة بشكل جيد، ليست العمل الحرفي الذي يقوم به المهندسون في الشركات الحقيقية بالفعل. لمزيد من السياق حول هذه القصة، راجع أحدث تطورات الذكاء الاصطناعي.

لماذا تغير قواعد التعليمات البرمجية الخاصة الصورة؟

يختلف Real-SWE عن المعايير المعمول بها مثل SWE-bench في محورين، وفقًا لمؤلفيه: عنصر التشفير الأساسي وخصوصية التعليمات. تأتي كل مهمة من نظام خاص لا تتوفر أكواده وحلوله على الإنترنت العام، مما يعني أن الوكلاء لا يمكنهم الاعتماد على الإجابات المحفوظة التي يتم سحبها من المستودعات العامة.

تحمل المهام أيضًا عواقب تجارية. تتضمن المهام النموذجية للمعيار إعداد الفواتير بشكل صحيح، وحساب الضرائب، وترحيل العملاء - وهي التغييرات التي تؤثر على كيفية إدارة الأعمال، غالبًا عبر خدمات متعددة. كل شركة لديها اتفاقياتها وطرقها الخاصة لكتابة التعليمات البرمجية، ويجب على الوكلاء فهم تلك المعايير وإجراء تغييرات تتوافق مع ما هو موجود بالفعل.

"هل يمكن لوكيل الترميز أن يقوم فعليًا بعمل مهندس برمجيات في العالم الحقيقي؟" تسأل مقدمة المعيار. تشير لوحة المتصدرين إلى أن الإجابة في الوقت الحالي هي: حوالي ثلث الوقت فقط في أحسن الأحوال.

لوحة المتصدرين الكاملة

قامت مختبرات محددة بتقييم ثماني مجموعات من النماذج والأدوات الحدودية، وقياس معدل الدقة بمتوسط تمرير @ 1 على مدى ثمانية عمليات تشغيل مستقلة لكل مهمة، مع فواصل ثقة بنسبة 95 بالمائة:

1. الحكاية 5.1 (كلود كود) — 38.8%
2. GPT-6 Astra (Codex CLI) — 33.8%
3. Gemini 3.8 Flash (Gemini CLI) — 31.2%
4. GLM 5.3 (كود كلود) — 28.8%
5. (تعادل) Grok 4.6 (Grok Build) — 23.8%
5. (ربطة عنق) Muse Spark 1.3 (Muse Code) — 23.8%
7. كيمي كيه 3 (كيمي كود) — 18.8%
8. GPT-5.6 Sol (Codex CLI) — 16.2%

تمت مناقشة النتائج على نطاق واسع في Hacker News خلال عطلة نهاية الأسبوع، حيث اجتذب المعيار عدة مئات من الأصوات المؤيدة ونقاشًا حيويًا حول ما إذا كان تقييم قاعدة التعليمات البرمجية الخاصة هو المقياس الصحيح لتقدم الوكيل.

انتشار ضيق ولكن ذو معنى في الأعلى

إن الفجوة بين الأنظمة الأربعة الأولى ملحوظة لما تقوله عن المشهد التنافسي الحالي. إن تقدم Fable 5.1 بخمس نقاط على GPT-6 Astra من OpenAI له معنى في معيار حيث تكون كل مهمة مشكلة إنتاج حقيقية. يعتبر Gemini 3.8 Flash الذي يحتل المركز الثالث أمرًا ملفتًا للنظر، حيث تم وضع النموذج كعمود عمل سريع ومنخفض التكلفة بدلاً من كونه نظام تفكير رائد. إن Z.ai's GLM 5.3، الذي تم تقييمه من خلال Claude Code، وهبوطه ضمن خمس نقاط من القائد يؤكد مدى تنافسية النماذج ذات الوزن المفتوح في العمل الهندسي العملي.

ويقال بنفس القدر هو انتشار في القاع. يحل GPT-5.6 Sol، وهو إصدار سابق من OpenAI، أقل من نصف عدد المهام التي يحلها Fable 5.1 - وهو تذكير بمدى سرعة تحرك الحدود، ومدى الانحدار الذي يمكن أن يحدثه جيل واحد فقط من النماذج.

السروج مهمة بقدر أهمية النماذج

أحد الخيارات المنهجية للمعيار هو لفت الانتباه: فبدلاً من تقييم النماذج بشكل منفصل، تستخدم Real-SWE أدوات أصلية - Claude Code، وCodex CLI، وGemini CLI، وGrok Build - لتعكس كيفية عمل مهندسي المؤسسات فعليًا في الممارسة العملية. تقوم لوحة المتصدرين بتصنيف مجموعات النماذج والأدوات بشكل واضح، مع الاعتراف بأن السقالات والوصول إلى الأدوات وحلقات التكرار أصبحت الآن لا يمكن فصلها عن قدرة النموذج في عمليات النشر الحقيقية.

هذا التأطير مهم للمؤسسات التي تختار الأنظمة. يمكن أن يؤدي النموذج نفسه بشكل مختلف تمامًا اعتمادًا على مجموعة الأدوات الملتفة حوله، وقد يحصل المشترون الذين يقومون بتقييم مساعدي البرمجة على أرقام قياسية عامة على صورة مشوهة لكيفية تصرف تلك الأنظمة على قواعد التعليمات البرمجية الخاصة بهم.

ماذا يعني بالنسبة للصناعة

وقد تم اتهام المعايير مراراً وتكراراً بالتشبع، حيث سجلت النماذج الحدودية درجات شبه مثالية في الاختبارات العامة التي تتسرب إلى بيانات التدريب. يحاول تصميم Real-SWE مواجهة كلتا المشكلتين في وقت واحد: فالرمز خاص ومرخص، والمهام هي منتجات عمل حقيقية لفرق الهندسة العاملة، والتعليمات تعكس الخصوصية الفوضوية للتذاكر الحقيقية بدلاً من بيانات المشكلة المصقولة.

الوجبات الجاهزة الواقعية هي المستوى المطلق. حتى أفضل الأنظمة تحل أقل من أربع من كل عشر مهام مؤسسية حقيقية في المحاولة الأولى، بمتوسط ​​أكثر من ثماني عمليات تشغيل. على الرغم من كل التقدم في البرمجة الوكيلة، يشير المعيار إلى أن هندسة البرمجيات المستقلة على أنظمة الإنتاج الحقيقية تظل نشاطًا خاضعًا للإشراف - حيث يقوم المهندسون البشريون بمراجعة وإعادة توجيه وإصلاح في كثير من الأحيان أكثر مما تشير إليه العروض التوضيحية للبائعين.

بالنسبة للمؤسسات التي تختار بين مساعدي الترميز، يقدم المعيار قائمة مرجعية عملية: تفضيل الأنظمة التي يتم تقييمها بناءً على كود خاص، والإصرار على فترات الثقة بدلاً من الأرقام الرئيسية التي يتم تشغيلها مرة واحدة، وجودة تسخير الوزن بشكل كبير مثل قدرة النموذج الخام. لن تكون لوحة المتصدرين الأولى لـ Real-SWE هي الكلمة الأخيرة - ولكنها الإجابة الأكثر مباشرة حتى الآن على السؤال الذي يطرحه كل قائد هندسي حول التشفير الوكيل.

لمعرفة المزيد عن وكلاء الترميز وإصدارات النماذج والأبحاث التي تشكلها، تابع آخر أخبار الذكاء الاصطناعي مع وصول الجولة التالية من النتائج المعيارية.

---

ابق على اطلاع بأخبار الذكاء الاصطناعي

آخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →