एक बेंचमार्क जो बड़े भाषा मॉडलों को एक घंटे में प्रतिस्पर्धी स्टारक्राफ्ट बॉट लिखने के लिए कहता है, उसने अब तक के सबसे विस्तृत परिणाम दिए हैं, और फैसला विभाजित है: ओपनएआई का जीपीटी -6 एस्ट्रा एआई क्षेत्र पर हावी है, लेकिन सबसे मजबूत मानव-लिखित बॉट अभी भी 93% समय में सर्वश्रेष्ठ मॉडल को हराते हैं।

डेवलपर काई मैकपीटर्स द्वारा 15 अक्टूबर को प्रकाशित स्टारस्किर्मिश बेंच v0.2, मूल्यांकन करता है कि स्टारक्राफ्ट: ब्रूड वॉर बॉट प्रत्येक एलएलएम दीवार-घड़ी के एक घंटे के समय में कितना मजबूत उत्पादन कर सकता है। प्रत्येक मॉडल C++ में एक प्रोटॉस बॉट लिखता है, जिसे बाद में प्रतिद्वंद्वी मॉडलों द्वारा लिखे गए बॉट्स और स्थापित मानव-लिखित प्रतिस्पर्धियों के खिलाफ खेला जाता है। परीक्षण को लंबी-क्षितिज तर्क और एजेंटिक कोडिंग की जांच करने के लिए डिज़ाइन किया गया है, क्योंकि मॉडल को अपनी रचनाओं को बेहतर बनाने के लिए अभ्यास खेलों से सबक शामिल करना होगा। For more context on this story, see our ongoing more AI stories.

बेंचमार्क कैसे काम करता है

नियम जानबूझकर सरल हैं. एक घंटा, एक भाषा, एक जाति। प्रत्येक मॉडल का स्कोर प्रतिस्पर्धी मानव-लिखित बॉट और डेमो बॉट के रोस्टर के खिलाफ पांच रनों की औसत जीत दर है। संस्करण 0.2 में एक मोड़ जोड़ा गया: प्रत्येक फ्लैगशिप मॉडल अपनी प्रयोगशाला के प्रथम-पक्ष सीएलआई कोडिंग हार्नेस के अंदर चलता है, एक स्ट्रिप्ड-डाउन एपीआई लूप के बजाय पूर्ण एजेंटिक स्टैक का परीक्षण करता है।

एक विषमता है, जिसे बेंचमार्क लेखक ने पहले ही नोट कर लिया है: जेमिनी 4 आर्गन "उच्च" पर चलता है - जो इसके लिए उपलब्ध उच्चतम तर्क प्रयास है - जबकि हर दूसरा मॉडल अधिकतम पर चलता है।

जीपीटी-6 एस्ट्रा आगे, जीपीटी-6.1 सोल ने मूल्य के आधार पर जीत हासिल की

परिणामों ने GPT-6 एस्ट्रा को लीडरबोर्ड के शीर्ष पर रखा, जिसे राइटअप में दूसरे स्थान पर GPT-6.1 Sol से एक स्पष्ट कदम आगे बताया गया है। बेंचमार्क पर नजर रखने वालों के लिए मार्जिन मायने रखता है: अधिकांश एजेंटिक कोडिंग सुइट्स में, फ्लैगशिप मॉडल एक-दूसरे के कुछ बिंदुओं के भीतर क्लस्टर होते हैं, इसलिए एक लीडरबोर्ड जो फ़ील्ड को अलग-अलग स्तरों में अलग करता है, भीड़ भरे शीर्ष दस की तुलना में अधिक नैदानिक ​​​​कार्य कर रहा है। जेमिनी 4 आर्गन, क्लाउड ओपस 5.5 और क्लाउड फैबल 5.1 कार्यात्मक रूप से दो ओपनएआई मॉडल से पीछे हैं, सभी का स्कोर 37 और 39 के बीच है। मेटा का म्यूज़ वंडर फुल सातवें स्थान पर रहा।

लागत विश्लेषण अधिक प्रभावशाली निष्कर्ष हो सकता है। एक घंटे की दौड़ की औसत एपीआई लागत के मुकाबले, जीपीटी-6.1 सोल सबसे आकर्षक चतुर्थांश में अकेले उतरता है: प्रति दौड़ जीपीटी-6 एस्ट्रा की लागत के दसवें हिस्से से थोड़ा अधिक पर दूसरे स्थान पर। बजट के आधार पर एजेंट के प्रदर्शन को तौलने वाली टीमों के लिए, दो ओपनएआई मॉडल के बीच का अंतर व्यावहारिक शीर्षक है।

इंसानी बोट्स बहुत आगे रहते हैं

सबसे मजबूत मानव-लिखित बॉट्स - स्टारडस्ट, पर्पलवेव और बनानाब्रेन के खिलाफ - जीपीटी-6 एस्ट्रा अपने केवल 7% गेम जीतता है। बेंचमार्क के लेखक का कहना है कि एक घंटे की तर्क सीमा एक कारक है, और वास्तविक मानव-लिखित बॉट्स के लिए टूर्नामेंट की स्थितियां मूल्यांकन में उपयोग किए जाने वाले तीन दो-खिलाड़ियों के मानचित्रों की तुलना में काफी कठिन हैं।

फिर भी, यह अंतर सॉफ्टवेयर में आसन्न एआई प्रभुत्व के आख्यानों के लिए एक उपयोगी सुधारात्मक है: स्पष्ट जीत की स्थिति, गहरी रणनीति और लंबी योजना क्षितिज वाले कार्य पर, दशकों की सामुदायिक इंजीनियरिंग अभी भी एक घंटे के फ्रंटियर-मॉडल कोडिंग से काफी ऊपर है।

स्टारक्राफ्ट ने लंबे समय से गेम खेलने वाले एआई के लिए एक सिद्ध मैदान के रूप में काम किया है, क्योंकि यह क्रूर बल का प्रतिरोध करता है। वास्तविक समय की रणनीति आंशिक जानकारी के तहत अर्थव्यवस्था, स्काउटिंग और युद्ध के एक साथ प्रबंधन की मांग करती है, और ब्रूड वॉर समुदाय ने वर्षों से प्रतिस्पर्धी बॉट टूर्नामेंट बनाए रखा है। वह संचित पारिस्थितिकी तंत्र ही बेंचमार्क की मानव आधार रेखा को सार्थक बनाता है - स्टारडस्ट, पर्पलवेव और बनानाब्रेन आकस्मिक प्रतिद्वंद्वी नहीं हैं बल्कि परिष्कृत, टूर्नामेंट-कठोर कार्यक्रम हैं।

नए फ्लैगशिप मैदान में उतरे

संस्करण 0.2 ने ताज़ा जारी मॉडलों के लिए प्रारंभिक स्कोरबोर्ड के रूप में भी काम किया। Google के जेमिनी 4 आर्गन ने v0.1 के जेमिनी 3.8 फ़्लैश को प्रतिस्थापित किया और पहली बार तीसरे स्थान पर रहा, जबकि मेटा के म्यूज़ वंडर फ़ुल ने म्यूज़ स्पार्क 1.3 के लिए कदम रखा और सातवें स्थान पर रहा। जीपीटी-6 एस्ट्रा और क्लाउड ओपस 5.5 पिछले संस्करण के कवरेज से आगे बढ़ाए गए हैं।

बेंचमार्क प्रत्येक रन के लिए एक एजेंट ट्रेस को रिकॉर्ड करता है, लॉगिंग करता है कि प्रत्येक मॉडल ने अपना घंटा कैसे बिताया - एक डेटासेट जो लीडरबोर्ड को एक व्यवहारिक अध्ययन में बदल देता है कि विभिन्न प्रयोगशालाओं के मॉडल योजना, कोडिंग और प्लेटेस्टिंग के बीच समय का बजट कैसे बनाते हैं। चाहे कोई मॉडल आर्किटेक्चर निर्णयों को फ्रंट-लोड करता है या छोटी-मोटी ड्राफ्ट के माध्यम से तेजी से पुनरावृत्त करता है, यह ठीक उसी तरह की प्रक्रिया विवरण है जो कुल स्कोर छिपाते हैं, और यह वह जगह है जहां सबसे दिलचस्प क्रॉस-लैब अंतर सतह पर आते हैं।

यह क्यों मायने रखती है

एजेंट कोडिंग बेंचमार्क तेजी से संतृप्त हो रहे हैं, प्रमुख मॉडल कई सॉफ्टवेयर-इंजीनियरिंग सुइट्स के शीर्ष के करीब हैं। स्टारस्किर्मिश एक विकल्प प्रदान करता है: एक ऐसा वातावरण जहां अधिकतम सीमा मानव विशेषज्ञों द्वारा निर्धारित की जाती है, प्रगति को टिकट समाधान के प्रतिशत अंकों के बजाय जीत दरों में मापा जाता है, और घंटे भर का बजट एजेंट के काम पर वास्तविक दुनिया की बाधाओं को दर्शाता है।

नतीजों ने डेवलपर्स को चौंका दिया। शो एचएन पोस्ट को 200 से अधिक अपवोट मिले, जिसमें टिप्पणीकारों ने एजेंट के निशान और लागत-दक्षता कथानक की गहराई से पड़ताल की। हैकर न्यूज़ पर बेंचमार्क चर्चाएं कार्यप्रणाली संबंधी विवादों और क्षमता संबंधी मुद्दों के बीच विभाजित होती हैं; इसने तर्क-प्रयास विषमता और सबसे अधिक जांचे गए डिज़ाइन विकल्पों में से पांच-रन नमूना आकार दोनों को आकर्षित किया। जैसे-जैसे तर्क प्रयास का स्तर बढ़ता है और हार्नेस में सुधार होता है, बेंचमार्क के लेखक ने निरंतर पुनरावृत्ति की योजना बनाई है - और अभी के लिए, मानव स्टारक्राफ्ट बॉट समुदाय अपनी आरामदायक बढ़त बनाए हुए है।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →