معیاری که از مدل‌های زبان بزرگ می‌خواهد ربات‌های StarCraft رقابتی را در یک ساعت بنویسند، جزئی‌ترین نتایج خود را ارائه کرده است، و حکم تقسیم شده است: GPT-6 Astra از OpenAI بر حوزه هوش مصنوعی تسلط دارد، اما قوی‌ترین ربات‌های نوشته شده توسط انسان هنوز هم در 93 درصد مواقع بهترین مدل را شکست می‌دهند.

StarSkirmish Bench نسخه 2، منتشر شده در 15 اکتبر توسط توسعه دهنده Kai McPheeters، ارزیابی می کند که یک ربات StarCraft: Brood War هر LLM با توجه به یک ساعت زمان ساعت دیواری چقدر می تواند تولید کند. هر مدل یک ربات Protoss را در C++ می‌نویسد، که سپس در برابر ربات‌هایی که توسط مدل‌های رقیب نوشته شده‌اند و در برابر رقبای معتبر نوشته شده توسط انسان بازی می‌شود. این آزمون برای بررسی استدلال افق بلند و کدگذاری عاملی طراحی شده است، زیرا مدل‌ها باید درس‌هایی از بازی‌های تمرینی را برای بهبود خلاقیت‌های خود ترکیب کنند. For more context on this story, see our ongoing more AI stories.

معیار چگونه کار می کند

قوانین عمدا ساده هستند. یک ساعت، یک زبان، یک مسابقه. امتیاز هر مدل، میانگین نرخ برد در پنج ران در برابر فهرستی از ربات‌ها و ربات‌های آزمایشی نوشته شده توسط انسان رقابتی است. نسخه 0.2 تغییری را اضافه کرد: هر مدل پرچم‌دار در داخل دسته برنامه‌نویسی CLI شخص اول آزمایشگاه خودش اجرا می‌شود و به جای یک حلقه API حذف‌شده، پشته کامل عامل را آزمایش می‌کند.

یک عدم تقارن وجود دارد که نویسنده معیار از قبل به آن اشاره می‌کند: Gemini 4 Argon در "بالا" - بالاترین تلاش استدلالی موجود - اجرا می‌شود در حالی که هر مدل دیگر حداکثر کار می‌کند.

GPT-6 Astra پیشتاز است، GPT-6.1 Sol برنده ارزش است

نتایج GPT-6 Astra را در صدر جدول امتیازات قرار می دهد، که نوشته آن را به عنوان یک گام واضح جلوتر از GPT-6.1 Sol در رتبه دوم توصیف می کند. حاشیه برای ناظران معیار مهم است: در اکثر مجموعه‌های کدنویسی نمایندگی، مدل‌های پرچم‌دار در چند نقطه از یکدیگر قرار می‌گیرند، بنابراین تابلوی امتیازی که زمینه را به لایه‌های مجزا جدا می‌کند، کار تشخیصی بیشتری نسبت به ده مورد برتر انجام می‌دهد. Gemini 4 Argon، Claude Opus 5.5 و Claude Fable 5.1 از نظر عملکردی در پشت دو مدل OpenAI قرار دارند که همگی بین 37 تا 39 امتیاز دارند. Muse Wonder Full از Meta هفتم شد.

تجزیه و تحلیل هزینه ممکن است یافته قابل توجه تر باشد. با توجه به میانگین هزینه API یک ساعته اجرا، GPT-6.1 Sol به تنهایی در جذاب ترین ربع قرار می گیرد: جایگاه دوم با کمی بیش از یک دهم هزینه GPT-6 Astra برای هر اجرا. برای تیم هایی که عملکرد نماینده را در مقابل بودجه می سنجند، شکاف بین دو مدل OpenAI سرفصل عملی است.

ربات های انسانی بسیار جلوتر می مانند

در مقابل قوی‌ترین ربات‌های نوشته‌شده توسط انسان - Stardust، PurpleWave و BananaBrain - GPT-6 Astra تنها ۷ درصد از بازی‌های خود را برنده می‌شود. نویسنده معیار اشاره می کند که محدودیت استدلال یک ساعته یک عامل است و شرایط مسابقات برای ربات های واقعی نوشته شده توسط انسان به طور قابل توجهی سخت تر از سه نقشه دو نفره مورد استفاده در ارزیابی است.

با این حال، این شکاف یک اصلاح مفید برای روایت‌های تسلط قریب‌الوقوع هوش مصنوعی در نرم‌افزار است: در کاری با شرایط پیروزی روشن، استراتژی عمیق و افق‌های برنامه‌ریزی طولانی، دهه‌ها مهندسی جامعه هنوز به خوبی بالاتر از آن چیزی است که یک ساعت کدگذاری مدل مرزی می‌تواند ایجاد کند.

StarCraft مدت‌هاست که به‌عنوان زمینه‌ای برای اثبات هوش مصنوعی بازی‌سازی عمل کرده است، دقیقاً به این دلیل که در برابر زور وحشیانه مقاومت می‌کند. استراتژی بلادرنگ مستلزم مدیریت همزمان اقتصاد، جستجو و نبرد تحت اطلاعات جزئی است و جامعه Brood War مسابقات ربات های رقابتی را برای سال ها حفظ کرده است. این اکوسیستم انباشته شده چیزی است که خط پایه انسانی این معیار را معنادار می کند - Stardust، PurpleWave و BananaBrain حریفان معمولی نیستند، بلکه برنامه های اصلاح شده و سخت شده مسابقات هستند.

پرچمداران جدید وارد میدان شدند

نسخه 0.2 همچنین به عنوان تابلوی امتیاز اولیه برای مدل های تازه منتشر شده استفاده می شود. Gemini 4 Argon گوگل جایگزین Gemini 3.8 Flash نسخه 1.1 شد و در اولین بازی در جایگاه سوم قرار گرفت، در حالی که Muse Wonder Full از Meta برای Muse Spark 1.3 قدم گذاشت و هفتم شد. GPT-6 Astra و Claude Opus 5.5 از پوشش نسخه قبلی منتقل شدند.

این معیار یک ردیابی عامل را برای هر اجرا ثبت می‌کند، و ثبت می‌کند که هر مدل ساعت خود را چگونه سپری کرده است - مجموعه داده‌ای که تابلوی امتیازات را به یک مطالعه رفتاری در مورد اینکه چگونه مدل‌های مختلف آزمایشگاه‌ها زمان بین برنامه‌ریزی، کدنویسی و تست پخش را اختصاص می‌دهند، تبدیل می‌کند. اینکه آیا یک مدل تصمیمات معماری را از جلو بارگذاری می‌کند یا به سرعت از طریق پیش‌نویس‌های باگ تکرار می‌شود، دقیقاً همان جزئیات فرآیندی است که امتیازات مجموع آن را پنهان می‌کند، و اینجاست که جالب‌ترین تفاوت‌های بین آزمایشگاهی ظاهر می‌شوند.

چرا مهم است

معیارهای کدنویسی عامل به سرعت اشباع می شوند، با مدل های شاخص که در بالای بسیاری از مجموعه های مهندسی نرم افزار قرار دارند. StarSkirmish یک جایگزین ارائه می دهد: محیطی که سقف آن توسط متخصصان انسانی تعیین می شود، پیشرفت در نرخ برد به جای درصد تفکیک بلیط اندازه گیری می شود، و بودجه یک ساعته منعکس کننده محدودیت های دنیای واقعی در کار نمایندگی است.

نتایج مورد توجه توسعه دهندگان قرار گرفت. پست Show HN بیش از 200 رای موافق را به همراه داشت و نظر دهندگان به دنبال ردیابی عامل و طرح مقرون به صرفه بودند. بحث‌های محک در مورد اخبار هکر تمایل دارند بین روش‌های متدولوژی و قابلیت‌های داغ تقسیم شوند. این یکی هر دو را با عدم تقارن استدلال – تلاش و اندازه نمونه پنج مرحله‌ای در میان دقیق‌ترین انتخاب‌های طراحی ترسیم کرد. با افزایش سطح تلاش استدلال و بهبود مهارها، نویسنده معیار تکرارهای مداوم را برنامه ریزی می کند - و در حال حاضر، جامعه ربات StarCraft انسانی پیشروی راحت خود را حفظ می کند.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →