لقد حقق المعيار الذي يطلب من النماذج اللغوية الكبيرة كتابة روبوتات StarCraft التنافسية في ساعة واحدة نتائجه الأكثر تفصيلاً حتى الآن، وانقسم الحكم: يهيمن GPT-6 Astra من OpenAI على مجال الذكاء الاصطناعي، لكن أقوى الروبوتات المكتوبة بواسطة الإنسان لا تزال تتفوق على أفضل نموذج بنسبة 93٪ من الوقت.

يقوم الإصدار 0.2 من StarSkirmish Bench، الذي نشره المطور Kai McPheeters في 15 أكتوبر، بتقييم مدى قوة روبوت StarCraft: Brood War الذي يمكن أن ينتجه كل LLM في ساعة واحدة من وقت ساعة الحائط. يكتب كل نموذج روبوت Protoss بلغة C++، والذي يتم بعد ذلك اللعب ضد الروبوتات التي كتبتها نماذج منافسة وضد المنافسين المعروفين الذين يكتبهم الإنسان. تم تصميم الاختبار لاستكشاف التفكير طويل المدى والتشفير الفاعل، حيث يجب أن تتضمن النماذج دروسًا من ألعاب التدريب لتحسين إبداعاتها. لمزيد من السياق حول هذه القصة، راجع أخبار الذكاء الاصطناعي.

كيف يعمل المعيار

القواعد بسيطة عمدا. ساعة واحدة، لغة واحدة، عرق واحد. نتيجة كل نموذج هي متوسط ​​معدل الفوز عبر خمس جولات مقابل قائمة من الروبوتات التنافسية المكتوبة بواسطة الإنسان والروبوتات التجريبية. أضاف الإصدار 0.2 تطورًا: كل نموذج رئيسي يعمل داخل أداة تشفير CLI الخاصة بالطرف الأول في مختبره الخاص، حيث يختبر حزمة الوكيل الكاملة بدلاً من حلقة واجهة برمجة التطبيقات (API) المبسطة.

هناك عدم تناسق واحد، أشار إليه المؤلف المعياري مقدمًا: يعمل Gemini 4 Argon عند "الأعلى" - أعلى جهد تفكير متاح له - بينما يعمل كل نموذج آخر بأقصى حد.

يتقدم GPT-6 Astra، ويفوز GPT-6.1 Sol بالقيمة

وضعت النتائج GPT-6 Astra في أعلى قائمة المتصدرين، والتي تصفها الكتابة بأنها خطوة واضحة قبل GPT-6.1 Sol في المركز الثاني. الهامش مهم بالنسبة للمراقبين المعياريين: في معظم مجموعات الترميز الوكيل، تتجمع النماذج الرئيسية ضمن نقاط قليلة من بعضها البعض، لذا فإن لوحة المتصدرين التي تفصل المجال إلى مستويات متميزة تقوم بعمل تشخيصي أكثر من العشرة الأوائل المزدحمة. Gemini 4 Argon وClaude Opus 5.5 وClaude Fable 5.1 مرتبطون وظيفيًا خلف نموذجي OpenAI، حيث سجلوا جميعًا ما بين 37 و39. واحتل Muse Wonder Full من Meta المركز السابع.

قد يكون تحليل التكلفة هو النتيجة الأكثر إثارة للدهشة. تم رسم GPT-6.1 Sol مقابل متوسط ​​تكلفة واجهة برمجة التطبيقات (API) لمدة ساعة واحدة، وهو يهبط بمفرده في الربع الأكثر جاذبية: المركز الثاني بما يزيد قليلاً عن عُشر تكلفة GPT-6 Astra لكل تشغيل. بالنسبة للفرق التي تزن أداء الوكيل مقابل الميزانية، فإن الفجوة بين نموذجي OpenAI هي العنوان العملي.

الروبوتات البشرية لا تزال في المقدمة

ضد أقوى الروبوتات التي كتبها الإنسان - Stardust وPurpleWave وBananaBrain - فازت GPT-6 Astra بنسبة 7% فقط من ألعابها. يشير مؤلف المعيار إلى أن حد الاستدلال لمدة ساعة واحدة يعد عاملاً، وأن ظروف البطولة للروبوتات الحقيقية المكتوبة بواسطة الإنسان أصعب بكثير من الخرائط الثلاث للاعبين المستخدمة في التقييم.

ومع ذلك، فإن هذه الفجوة تمثل تصحيحًا مفيدًا لسرديات الهيمنة الوشيكة للذكاء الاصطناعي على البرمجيات: في مهمة ذات شروط فوز واضحة، واستراتيجية عميقة وآفاق تخطيط طويلة، لا تزال عقود من الهندسة المجتمعية أعلى بكثير مما يمكن أن تنتجه ساعة من برمجة النماذج الحدودية.

لقد كانت لعبة StarCraft منذ فترة طويلة بمثابة أرض اختبار لممارسة الذكاء الاصطناعي على وجه التحديد لأنها تقاوم القوة الغاشمة. تتطلب استراتيجية الوقت الفعلي إدارة متزامنة للاقتصاد والاستكشاف والقتال في ظل معلومات جزئية، وقد حافظ مجتمع Brood War على بطولات الروبوت التنافسية لسنوات. هذا النظام البيئي المتراكم هو ما يجعل خط الأساس البشري للمعيار ذو معنى - Stardust وPurpleWave وBananaBrain ليسوا منافسين عاديين ولكنهم برامج محسنة ومعززة للبطولات.

السفن الرائدة الجديدة تدخل المعركة

كان الإصدار 0.2 أيضًا بمثابة لوحة نتائج مبكرة للنماذج التي تم إصدارها حديثًا. حل Google Gemini 4 Argon محل الإصدار 0.1 Gemini 3.8 Flash واحتل المركز الثالث في أول ظهور له، بينما حل Meta's Muse Wonder Full محل Muse Spark 1.3 واحتل المركز السابع. تم ترحيل GPT-6 Astra وClaude Opus 5.5 من تغطية الإصدار السابق.

يسجل المعيار تتبع الوكيل لكل تشغيل، ويسجل كيف قضى كل نموذج ساعته - وهي مجموعة بيانات تحول لوحة المتصدرين إلى دراسة سلوكية لكيفية قيام نماذج المختبرات المختلفة بتخصيص الوقت بين التخطيط والبرمجة واختبار اللعب. سواء أكان النموذج يحمل قرارات معمارية أمامية أو يتكرر بسرعة من خلال مسودات عربات التي تجرها الدواب، فهذا هو بالضبط نوع تفاصيل العملية التي تخفيها النتائج المجمعة، وهو المكان الذي تميل فيه الاختلافات الأكثر إثارة للاهتمام بين المختبرات إلى الظهور.

لماذا يهم

تتشبع معايير البرمجة الوكيلة بسرعة، حيث تتجمع النماذج الرئيسية بالقرب من قمة العديد من مجموعات هندسة البرمجيات. تقدم StarSkirmish بديلاً: بيئة يتم فيها تحديد السقف من قبل خبراء بشريين، ويتم قياس التقدم بمعدلات الفوز بدلاً من النقاط المئوية لحل التذكرة، وتعكس الميزانية الزمنية الممتدة على مدار الساعة قيود العالم الحقيقي على عمل الوكلاء.

ضربت النتائج على وتر حساس مع المطورين. اجتذب منشور Show HN أكثر من 200 تصويت مؤيد، حيث بحث المعلقون في آثار الوكلاء ومؤامرة فعالية التكلفة. تميل المناقشات المعيارية حول Hacker News إلى الانقسام بين مراوغات المنهجية ونقاط القدرة الساخنة؛ لقد اجتذب هذا الأمر كليهما، مع عدم تناسق جهد الاستدلال وحجم العينة المكون من خمس مجموعات من بين خيارات التصميم الأكثر تمحيصًا. مع ارتفاع مستويات الجهود المنطقية وتحسن الأدوات، يخطط مؤلف المعيار للتكرار المستمر - وفي الوقت الحالي، يحافظ مجتمع روبوتات StarCraft البشري على تقدمه المريح.

---

ابق على اطلاع بأخبار الذكاء الاصطناعي

آخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →