ایک بینچ مارک جو بڑے زبان کے ماڈلز سے مسابقتی اسٹار کرافٹ بوٹس کو ایک گھنٹے میں لکھنے کے لیے کہتا ہے اس نے ابھی تک اپنے سب سے زیادہ تفصیلی نتائج پیش کیے ہیں، اور فیصلہ منقسم ہے: OpenAI کا GPT-6 Astra AI فیلڈ پر حاوی ہے، لیکن سب سے مضبوط انسانی تحریری بوٹس اب بھی بہترین ماڈل کو 93٪ وقت میں مات دیتے ہیں۔
StarSkirmish Bench v0.2، جو 15 اکتوبر کو ڈویلپر Kai McPheeters کے ذریعہ شائع ہوا، اس بات کا اندازہ کرتا ہے کہ StarCraft: Brood War bot ہر LLM دیوار گھڑی کے ایک گھنٹے کے وقت میں کتنا مضبوط بنا سکتا ہے۔ ہر ماڈل C++ میں ایک Protoss بوٹ لکھتا ہے، جسے پھر حریف ماڈلز کے لکھے ہوئے بوٹس اور انسانی تحریری حریفوں کے خلاف کھیلا جاتا ہے۔ ٹیسٹ کو طویل افق استدلال اور ایجنٹی کوڈنگ کی تحقیقات کے لیے ڈیزائن کیا گیا ہے، کیونکہ ماڈلز کو اپنی تخلیقات کو بہتر بنانے کے لیے پریکٹس گیمز کے اسباق کو شامل کرنا چاہیے۔ For more context on this story, see our ongoing AI news.
بینچ مارک کیسے کام کرتا ہے۔
اصول جان بوجھ کر آسان ہیں۔ ایک گھنٹہ، ایک زبان، ایک نسل۔ ہر ماڈل کا سکور مسابقتی انسانی تحریری بوٹس اور ڈیمو بوٹس کے روسٹر کے مقابلے میں پانچ رنز پر اوسط جیت کی شرح ہے۔ ورژن 0.2 میں ایک موڑ شامل کیا گیا: ہر فلیگ شپ ماڈل اپنی لیب کے فرسٹ پارٹی سی ایل آئی کوڈنگ ہارنس کے اندر چلتا ہے، سٹرپڈ-ڈاؤن API لوپ کے بجائے مکمل ایجنٹ اسٹیک کی جانچ کرتا ہے۔
ایک غیر متناسب ہے، جسے بینچ مارک مصنف نے پیشگی نوٹ کیا ہے: Gemini 4 Argon "اعلی" پر چلتا ہے - اس کے لیے سب سے زیادہ استدلال کی کوشش دستیاب ہے - جبکہ ہر دوسرا ماڈل زیادہ سے زیادہ چلتا ہے۔
GPT-6 Astra Leads, GPT-6.1 Sol Wins on Value
نتائج نے GPT-6 Astra کو لیڈر بورڈ کے سب سے اوپر رکھا ہے، جسے تحریر نے GPT-6.1 Sol سے دوسرے مقام پر ایک واضح قدم کے طور پر بیان کیا ہے۔ بینچ مارک پر نظر رکھنے والوں کے لیے مارجن اہمیت رکھتا ہے: زیادہ تر ایجنٹی کوڈنگ سویٹس میں، فلیگ شپ ماڈلز ایک دوسرے کے چند پوائنٹس کے اندر کلسٹر ہوتے ہیں، اس لیے ایک لیڈر بورڈ جو فیلڈ کو الگ الگ درجوں میں الگ کرتا ہے ایک پرہجوم ٹاپ ٹین سے زیادہ تشخیصی کام کر رہا ہے۔ Gemini 4 Argon، Claude Opus 5.5 اور Claude Fable 5.1 فعال طور پر دو OpenAI ماڈلز کے پیچھے بندھے ہوئے ہیں، تمام کا سکور 37 اور 39 کے درمیان ہے۔ Meta's Muse Wonder Full نے ساتواں مقام حاصل کیا۔
لاگت کا تجزیہ زیادہ حیرت انگیز تلاش ہوسکتا ہے۔ ایک گھنٹے کی دوڑ کی اوسط API لاگت کے مقابلہ میں، GPT-6.1 Sol سب سے زیادہ پرکشش کواڈرینٹ میں اکیلا اترتا ہے: GPT-6 Astra کی فی رن لاگت کے صرف دسویں حصے پر دوسرے نمبر پر۔ بجٹ کے خلاف ایجنٹ کی کارکردگی کا وزن کرنے والی ٹیموں کے لیے، اوپن اے آئی کے دو ماڈلز کے درمیان فرق عملی سرخی ہے۔
انسانی بوٹس بہت آگے ہیں۔
مضبوط ترین انسانی تحریری بوٹس کے خلاف — Stardust, PurpleWave اور BananaBrain — GPT-6 Astra اپنی گیمز کا صرف 7% جیتتا ہے۔ بینچ مارک کے مصنف نے نوٹ کیا ہے کہ ایک گھنٹے کی استدلال کی حد ایک عنصر ہے، اور یہ کہ حقیقی انسانی تحریری بوٹس کے لیے ٹورنامنٹ کے حالات تشخیص میں استعمال ہونے والے تین دو کھلاڑیوں کے نقشوں سے نمایاں طور پر سخت ہیں۔
پھر بھی، یہ خلا سافٹ ویئر میں AI کے آسنن غلبہ کی داستانوں کے لیے ایک مفید اصلاحی ہے: واضح جیت کے حالات، گہری حکمت عملی اور طویل منصوبہ بندی کے افق کے ساتھ کام پر، کمیونٹی انجینئرنگ کی دہائیوں کی فرنٹیئر-ماڈل کوڈنگ ایک گھنٹہ جو کچھ پیدا کر سکتی ہے۔
سٹار کرافٹ نے طویل عرصے سے گیم کھیلنے والے AI کے لیے ایک ثابت قدم کے طور پر کام کیا ہے کیونکہ یہ بری طاقت کے خلاف مزاحمت کرتا ہے۔ حقیقی وقت کی حکمت عملی معیشت کے بیک وقت انتظام، جزوی معلومات کے تحت سکاؤٹنگ اور لڑائی کا مطالبہ کرتی ہے، اور بروڈ وار کمیونٹی نے برسوں سے مسابقتی بوٹ ٹورنامنٹس کو برقرار رکھا ہے۔ یہ جمع شدہ ایکو سسٹم ہے جو بینچ مارک کی انسانی بنیاد کو معنی خیز بناتا ہے — سٹارڈسٹ، پرپل ویو اور کینا برین آرام دہ اور پرسکون مخالف نہیں ہیں بلکہ بہتر، ٹورنامنٹ کے سخت پروگرام ہیں۔
نئے پرچم بردار میدان میں داخل ہوئے۔
ورژن 0.2 نے تازہ جاری کردہ ماڈلز کے لیے ابتدائی سکور بورڈ کے طور پر بھی کام کیا۔ Google کے Gemini 4 Argon نے v0.1 کے Gemini 3.8 Flash کی جگہ لے لی اور ڈیبیو پر تیسرے نمبر پر، جبکہ Meta's Muse Wonder Full نے Muse Spark 1.3 کے لیے قدم رکھا اور ساتویں نمبر پر رہا۔ GPT-6 Astra اور Claude Opus 5.5 کو پہلے والے ورژن کی کوریج سے آگے بڑھایا گیا۔
بینچ مارک ہر رن کے لیے ایک ایجنٹ کا سراغ لگاتا ہے، اس میں لاگ ان کرتا ہے کہ ہر ماڈل نے اپنا گھنٹہ کیسے گزارا — ایک ڈیٹا سیٹ جو لیڈر بورڈ کو طرز عمل کے مطالعے میں بدل دیتا ہے کہ مختلف لیبز کے ماڈلز منصوبہ بندی، کوڈنگ اور پلے ٹیسٹنگ کے درمیان کس طرح وقت کا بجٹ بناتے ہیں۔ چاہے کوئی ماڈل آرکیٹیکچر کے فیصلوں کو فرنٹ لوڈ کرتا ہے یا بگی ڈرافٹ کے ذریعے تیزی سے اعادہ کرتا ہے بالکل اسی قسم کی کارروائی کی تفصیل ہے جو مجموعی اسکور چھپاتی ہے، اور یہ وہ جگہ ہے جہاں کراس لیب کے سب سے زیادہ دلچسپ اختلافات سامنے آتے ہیں۔
یہ کیوں اہمیت رکھتا ہے۔
ایجنٹ کوڈنگ بینچ مارکس تیزی سے سیر ہو رہے ہیں، فلیگ شپ ماڈلز بہت سے سافٹ ویئر انجینئرنگ سویٹس کے اوپری حصے کے قریب ہیں۔ StarSkirmish ایک متبادل پیش کرتا ہے: ایک ایسا ماحول جہاں انسانی ماہرین کی طرف سے زیادہ سے زیادہ حد مقرر کی جاتی ہے، ترقی کو ٹکٹوں کے حل کے فیصد پوائنٹس کی بجائے جیت کی شرحوں میں ماپا جاتا ہے، اور گھنٹے بھر کا بجٹ ایجنٹ کے کام پر حقیقی دنیا کی رکاوٹوں کا آئینہ دار ہوتا ہے۔
نتائج نے ڈویلپرز کے ساتھ ایک راگ مارا۔ شو HN پوسٹ نے 200 سے زیادہ ووٹ حاصل کیے، تبصرہ کرنے والوں نے ایجنٹ کے نشانات اور لاگت کی کارکردگی کے پلاٹ کو کھود لیا۔ ہیکر نیوز پر بینچ مارک کی بحثیں طریقہ کار کے جھگڑوں اور قابلیت کے درمیان تقسیم ہوتی ہیں۔ اس نے دونوں کو اپنی طرف متوجہ کیا، استدلال کی کوشش کی مطابقت اور پانچ رنز کے نمونے کے سائز کے ساتھ سب سے زیادہ جانچ پڑتال کے ڈیزائن کے انتخاب میں۔ جیسے جیسے استدلال کی کوششوں کی سطح میں اضافہ ہوتا ہے اور استعمال میں بہتری آتی ہے، بینچ مارک کے مصنف نے تکرار کو جاری رکھنے کا منصوبہ بنایا ہے - اور ابھی کے لیے، انسانی StarCraft بوٹ کمیونٹی اپنی آرام دہ برتری کو برقرار رکھتی ہے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
