मोठ्या भाषेतील मॉडेल्सना एका तासात स्पर्धात्मक StarCraft बॉट्स लिहिण्यास सांगणारा एक बेंचमार्क अद्याप त्याचे सर्वात तपशीलवार परिणाम वितरीत केले आहे, आणि निर्णय विभाजित आहे: OpenAI चे GPT-6 Astra AI फील्डवर वर्चस्व गाजवते, परंतु सर्वात मजबूत मानव-लिखित बॉट्स अजूनही सर्वोत्तम मॉडेलला 93% वेळा मागे टाकतात.

StarSkirmish खंडपीठ v0.2, डेव्हलपर Kai McPheeters द्वारे 15 ऑक्टोबर रोजी प्रकाशित, StarCraft: ब्रूड वॉर बॉट प्रत्येक LLM वॉल-क्लॉक वेळेच्या एका तासात किती मजबूत उत्पादन करू शकते याचे मूल्यांकन करते. प्रत्येक मॉडेल C++ मध्ये प्रोटॉस बॉट लिहितो, जो नंतर प्रतिस्पर्धी मॉडेलने लिहिलेल्या बॉट्स विरुद्ध आणि प्रस्थापित मानव-लिखित प्रतिस्पर्ध्यांविरुद्ध खेळला जातो. चाचणी दीर्घ-क्षितिज तर्क आणि एजंटिक कोडिंगची तपासणी करण्यासाठी डिझाइन केलेली आहे, कारण मॉडेल्सनी त्यांची निर्मिती सुधारण्यासाठी सराव गेममधील धडे समाविष्ट करणे आवश्यक आहे. For more context on this story, see our ongoing breaking AI news.

बेंचमार्क कसे कार्य करते

नियम मुद्दाम सोपे आहेत. एक तास, एक भाषा, एक वंश. प्रत्येक मॉडेलचा स्कोअर हा स्पर्धात्मक मानवी-लिखित बॉट्स आणि डेमो बॉट्सच्या रोस्टरच्या तुलनेत पाच धावांमध्ये सरासरी जिंकण्याचा दर आहे. आवृत्ती 0.2 ने एक ट्विस्ट जोडला: प्रत्येक फ्लॅगशिप मॉडेल त्याच्या स्वतःच्या लॅबच्या प्रथम-पक्ष CLI कोडिंग हार्नेसमध्ये चालते, स्ट्रिप-डाउन API लूपऐवजी संपूर्ण एजंटिक स्टॅकची चाचणी करते.

एक असममितता आहे, जी बेंचमार्क लेखकाने अगोदर नोंदवली आहे: जेमिनी 4 आर्गॉन "उच्च" वर चालते — त्याच्यासाठी उपलब्ध सर्वोच्च तर्क प्रयत्न — तर इतर प्रत्येक मॉडेल जास्तीत जास्त चालते.

GPT-6 Astra लीड्स, GPT-6.1 सोल व्हॅल्यूवर जिंकतो

परिणामांनी GPT-6 Astra ला लीडरबोर्डच्या शीर्षस्थानी ठेवले आहे, ज्याचे वर्णन GPT-6.1 Sol च्या दुसऱ्या स्थानावर असलेले स्पष्ट पाऊल आहे. बेंचमार्क वॉचर्ससाठी मार्जिन महत्त्वाचे आहे: बहुतेक एजंटिक कोडिंग सूटमध्ये, फ्लॅगशिप मॉडेल्स एकमेकांच्या काही बिंदूंमध्ये क्लस्टर होतात, म्हणून फील्डला वेगळ्या स्तरांमध्ये विभक्त करणारा लीडरबोर्ड गर्दीच्या टॉप टेनपेक्षा अधिक निदान कार्य करत आहे. Gemini 4 Argon, Claude Opus 5.5 आणि Claude Fable 5.1 हे दोन OpenAI मॉडेल्सच्या मागे कार्यात्मकपणे बांधले गेले आहेत, सर्व स्कोअर 37 आणि 39 दरम्यान आहेत. Meta's Muse Wonder Full ने सातवे स्थान मिळविले.

खर्चाचे विश्लेषण हा अधिक धक्कादायक शोध असू शकतो. एका तासाच्या धावण्याच्या सरासरी API खर्चाच्या तुलनेत, GPT-6.1 Sol सर्वात आकर्षक क्वाड्रंटमध्ये एकटा येतो: GPT-6 Astra च्या प्रति धावण्याच्या खर्चाच्या दहाव्या भागावर दुसरे स्थान. बजेटच्या तुलनेत एजंटच्या कामगिरीचे वजन करणाऱ्या संघांसाठी, दोन OpenAI मॉडेलमधील अंतर हे व्यावहारिक शीर्षक आहे.

मानवी बॉट्स खूप पुढे आहेत

सर्वात मजबूत मानवी लिखित बॉट्स विरुद्ध — Stardust, PurpleWave आणि BananaBrain — GPT-6 Astra त्याच्या फक्त 7% गेम जिंकते. बेंचमार्कच्या लेखकाने नमूद केले आहे की एक तासाची तर्क मर्यादा एक घटक आहे आणि वास्तविक मानवी-लिखित बॉट्ससाठी स्पर्धेची परिस्थिती मूल्यांकनामध्ये वापरल्या जाणाऱ्या तीन दोन-खेळाडू नकाशेपेक्षा लक्षणीय कठीण आहे.

तरीही, सॉफ्टवेअरमधील आसन्न AI वर्चस्वाच्या कथनासाठी हे अंतर एक उपयुक्त सुधारक आहे: स्पष्ट विजयाची परिस्थिती, सखोल धोरण आणि दीर्घ नियोजन क्षितिजे असलेल्या कार्यावर, समुदाय अभियांत्रिकीचे दशके एक तास फ्रंटियर-मॉडेल कोडिंग जे उत्पन्न करू शकतात त्यापेक्षा जास्त आहे.

स्टारक्राफ्टने दीर्घकाळापासून गेम-प्लेइंग AI साठी एक सिद्ध ग्राउंड म्हणून काम केले आहे कारण ते क्रूर फोर्सचा प्रतिकार करते. रिअल-टाइम स्ट्रॅटेजी अर्थव्यवस्थेचे एकाचवेळी व्यवस्थापन, स्काउटिंग आणि आंशिक माहितीच्या अंतर्गत लढाईची मागणी करते आणि ब्रूड वॉर समुदायाने वर्षानुवर्षे स्पर्धात्मक बॉट टूर्नामेंट राखले आहेत. ही संचित इकोसिस्टम बेंचमार्कची मानवी बेसलाइन अर्थपूर्ण बनवते — स्टारडस्ट, पर्पलवेव्ह आणि बनानाब्रेन हे प्रासंगिक विरोधक नसून परिष्कृत, स्पर्धा-कठोर कार्यक्रम आहेत.

नवीन फ्लॅगशिप मैदानात उतरले

आवृत्ती 0.2 ने नव्याने रिलीझ केलेल्या मॉडेल्ससाठी प्रारंभिक स्कोअरबोर्ड म्हणून देखील काम केले. Google च्या Gemini 4 Argon ने v0.1 च्या Gemini 3.8 Flash ची जागा घेतली आणि पदार्पण करताना तिसरे स्थान पटकावले, तर Meta's Muse Wonder Full ने Muse Spark 1.3 साठी प्रवेश केला आणि सातव्या स्थानावर राहिले. GPT-6 Astra आणि Claude Opus 5.5 पूर्वीच्या आवृत्तीच्या कव्हरेजमधून बाहेर पडले.

बेंचमार्क प्रत्येक रनसाठी एजंट ट्रेस नोंदवतो, प्रत्येक मॉडेलने आपला तास कसा घालवला हे लॉग केले जाते — एक डेटासेट जो लीडरबोर्डला वर्तणुकीच्या अभ्यासात बदलतो की नियोजन, कोडिंग आणि प्ले टेस्टिंग दरम्यान वेगवेगळ्या लॅबचे मॉडेल कसे बजेट करतात. एखादे मॉडेल फ्रंट-लोड आर्किटेक्चर निर्णय घेते किंवा बग्गी ड्राफ्ट्सद्वारे वेगाने पुनरावृत्ती करते हे नेमके अशा प्रकारचे प्रक्रिया तपशील आहे जे एकूण गुण लपवतात आणि येथेच सर्वात मनोरंजक क्रॉस-लॅब फरक समोर येतो.

हे महत्त्वाचे का आहे

एजंटिक कोडिंग बेंचमार्क जलद संतृप्त होत आहेत, फ्लॅगशिप मॉडेल अनेक सॉफ्टवेअर-अभियांत्रिकी सूट्सच्या शीर्षस्थानी क्लस्टर आहेत. StarSkirmish एक पर्याय ऑफर करते: एक वातावरण जिथे मानवी तज्ञांनी कमाल मर्यादा सेट केली आहे, प्रगती तिकीट रिझोल्यूशनच्या टक्केवारी ऐवजी विजयाच्या दरांमध्ये मोजली जाते आणि तासभर कालावधीचे बजेट एजंटिक कामावरील वास्तविक-जगातील मर्यादा दर्शवते.

परिणामांनी विकासकांसह एक जीव तोडला. एजंट ट्रेस आणि किमती-कार्यक्षमतेच्या प्लॉटमध्ये टिप्पणीकर्त्यांनी खोदून काढलेल्या HN पोस्टला 200 हून अधिक मते मिळाली. हॅकर न्यूजवरील बेंचमार्क चर्चा पद्धतशीर क्वबल आणि क्षमता हॉट टेक यांच्यात विभागली जाते; सर्वात छाननी केलेल्या डिझाईन निवडींपैकी तर्क-प्रयत्नाची विषमता आणि पाच-रन नमुना आकारासह हे दोन्ही काढले. तर्कशक्तीच्या प्रयत्नांची पातळी वाढत असताना आणि हार्नेस सुधारत असताना, बेंचमार्कच्या लेखकाने पुनरावृत्ती सुरू ठेवण्याची योजना आखली आहे — आणि आत्तासाठी, मानवी स्टारक्राफ्ट बॉट समुदाय आपले आरामदायी नेतृत्व करत आहे.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →