Real-SWE نامی ایک نیا بینچ مارک چیلنج کر رہا ہے کہ AI انڈسٹری کس طرح کوڈنگ کی صلاحیت کو ماپتی ہے، اور پہلے نتائج فرنٹیئر لیبز کے لیے عاجز ہیں۔ Anthropic's Fable 5.1، Claude Code harness کے اندر چل رہا ہے، 38.8% ریزولوشن ریٹ کے ساتھ پرائیویٹ، حقیقی دنیا کے انٹرپرائز کوڈ بیس سے تیار کردہ کاموں پر بورڈ کی قیادت کرتا ہے۔ ٹیسٹ شدہ کوئی بھی ماڈل 40 فیصد صاف نہیں کرتا۔

مخصوص لیبز کے ذریعہ اس ماہ جاری کردہ بینچ مارک، نجی پروڈکشن کوڈ بیسز پر فرنٹیئر AI ماڈلز کا جائزہ لیتا ہے جنہیں ٹیم نے حقیقی کمپنیوں سے لائسنس دیا تھا۔ اس کے تخلیق کاروں کا استدلال ہے کہ ماہر کی طرف سے تیار کردہ یا مصنوعی کام، اگرچہ اچھی طرح سے ڈیزائن کیے گئے ہیں، وہ لفظی کام نہیں ہیں جو حقیقی کمپنیوں کے انجینئرز کرتے ہیں۔ For more context on this story, see our ongoing more AI stories.

پرائیویٹ کوڈ بیس تصویر کیوں بدلتے ہیں۔

اصلی-SWE دو محوروں پر SWE-bench جیسے قائم کردہ بینچ مارکس سے مختلف ہے، اس کے مصنفین کے مطابق: بنیادی کوڈنگ آرٹفیکٹ اور ہدایات کی خصوصیت۔ ہر کام ایک ملکیتی نظام سے آتا ہے جس کا کوڈ اور حل عوامی انٹرنیٹ پر دستیاب نہیں ہیں، جس کا مطلب ہے کہ ایجنٹ عوامی ذخیروں سے حاصل کردہ یادداشت جوابات پر انحصار نہیں کر سکتے۔

کاموں کے کاروباری نتائج بھی ہوتے ہیں۔ بینچ مارک کے مثالی کاموں میں بلنگ کا حق حاصل کرنا، ٹیکسوں کا حساب لگانا، اور صارفین کو منتقل کرنا شامل ہیں — ایسی تبدیلیاں جو کاروبار کے چلنے کے طریقے کو متاثر کرتی ہیں، اکثر متعدد سروسز میں۔ ہر کمپنی کے اپنے کنونشنز اور کوڈ لکھنے کے طریقے ہوتے ہیں، اور ایجنٹوں کو ان اصولوں کو سمجھنا چاہیے اور ایسی تبدیلیاں کرنی چاہیے جو پہلے سے موجود چیزوں کے ساتھ کام کرتی ہوں۔

"کیا ایک کوڈنگ ایجنٹ حقیقی دنیا میں سافٹ ویئر انجینئر کا کام کر سکتا ہے؟" بینچ مارک کا تعارف پوچھتا ہے۔ لیڈر بورڈ جواب تجویز کرتا ہے، ابھی کے لیے، یہ ہے: بہترین وقت کا صرف ایک تہائی۔

مکمل لیڈر بورڈ

مخصوص لیبز نے آٹھ فرنٹیئر ماڈل اور ہارنس کے امتزاج کا جائزہ لیا، ریزولوشن ریٹ کو پاس @ 1 کی اوسط آٹھ آزاد رنز فی ٹاسک سے زیادہ، 95 فیصد اعتماد کے وقفوں کے ساتھ:

1. Fable 5.1 (Claude Code) — 38.8%
2. GPT-6 Astra (Codex CLI) — 33.8%
3. جیمنی 3.8 فلیش (جیمنی CLI) — 31.2%
4. GLM 5.3 (Claude Code) — 28.8%
5. (ٹائی) گروک 4.6 (گروک بلڈ) - 23.8%
5. (ٹائی) Muse Spark 1.3 (Muse Code) — 23.8%
7. Kimi K3 (Kimi Code) — 18.8%
8. GPT-5.6 Sol (Codex CLI) — 16.2%

نتائج پر ہفتے کے آخر میں ہیکر نیوز پر بڑے پیمانے پر تبادلہ خیال کیا گیا، جہاں بینچ مارک نے کئی سو ووٹ حاصل کیے اور اس بارے میں ایک جاندار بحث ہوئی کہ آیا ایجنٹ کی پیشرفت کے لیے پرائیویٹ کوڈ بیس کی تشخیص صحیح معیار ہے۔

اوپر ایک تنگ لیکن معنی خیز پھیلاؤ

موجودہ مسابقتی زمین کی تزئین کے بارے میں جو کچھ کہتا ہے اس کے لئے سب سے اوپر چار نظاموں کے درمیان فرق قابل ذکر ہے۔ OpenAI کے GPT-6 Astra پر Fable 5.1 کی پانچ نکاتی برتری ایک ایسے بینچ مارک پر معنی خیز ہے جہاں ہر کام ایک حقیقی پیداواری مسئلہ ہے۔ جیمنی 3.8 فلیش لینے والا تیسرا حیران کن ہے، کیونکہ ماڈل کو فلیگ شپ ریجننگ سسٹم کے بجائے ایک تیز، کم لاگت والے ورک ہارس کے طور پر رکھا گیا ہے۔ Z.ai کا GLM 5.3، Claude Code کے ذریعے جانچا گیا، لیڈر کے پانچ پوائنٹس کے اندر اترنا اس بات کی نشاندہی کرتا ہے کہ کس طرح مسابقتی اوپن ویٹ ماڈل عملی انجینئرنگ کے کام پر بن گئے ہیں۔

یکساں طور پر بتانا نچلے حصے میں پھیلاؤ ہے۔ GPT-5.6 Sol، ایک پہلے کی OpenAI ریلیز، Fable 5.1 کے مقابلے میں آدھے سے بھی کم کاموں کو حل کرتی ہے - اس بات کی یاددہانی کہ سرحد کتنی تیزی سے آگے بڑھی ہے، اور ڈراپ آف صرف ایک ماڈل جنریشن واپس آسکتا ہے۔

ہارنسز اتنا ہی اہم ہے جتنا کہ ماڈلز

بینچ مارک کے طریقہ کار کے انتخاب میں سے ایک توجہ مبذول کر رہا ہے: الگ تھلگ ماڈلز کا جائزہ لینے کے بجائے، Real-SWE مقامی ہارنسز کا استعمال کرتا ہے — Claude Code, Codex CLI, Gemini CLI, Grok Build — اس بات کی عکاسی کرنے کے لیے کہ انٹرپرائز انجینئر عملی طور پر کس طرح کام کرتے ہیں۔ لیڈر بورڈ واضح طور پر ماڈل اور ہارنس کے امتزاج کی درجہ بندی کرتا ہے، اس بات کو تسلیم کرتے ہوئے کہ سہاروں، ٹول تک رسائی اور تکراری لوپس اب حقیقی تعیناتیوں میں ماڈل کی صلاحیت سے الگ نہیں ہو سکتے۔

اداروں کو منتخب کرنے والے نظاموں کے لیے یہ فریمنگ اہمیت رکھتی ہے۔ ایک ہی ماڈل اپنے ارد گرد لپٹے ہوئے ایجنٹ کے استعمال کے لحاظ سے بہت مختلف طریقے سے کارکردگی کا مظاہرہ کر سکتا ہے، اور عوامی بینچ مارک نمبروں پر کوڈنگ اسسٹنٹس کا جائزہ لینے والے خریداروں کو ایک مسخ شدہ تصویر مل سکتی ہے کہ وہ سسٹم اپنے کوڈ بیس پر کیسے برتاؤ کریں گے۔

صنعت کے لیے اس کا کیا مطلب ہے۔

بینچ مارکس پر بار بار سنترپتی کا الزام لگایا گیا ہے، فرنٹیئر ماڈلز عوامی ٹیسٹوں پر قریب قریب کامل اسکور پوسٹ کرتے ہیں جو تربیتی ڈیٹا میں لیک ہوتے ہیں۔ Real-SWE کا ڈیزائن دونوں مسائل کا ایک ساتھ مقابلہ کرنے کی کوشش کرتا ہے: کوڈ نجی اور لائسنس یافتہ ہے، کام کام کرنے والی انجینئرنگ ٹیموں کے حقیقی کام کی مصنوعات ہیں، اور ہدایات پالش شدہ مسئلہ بیانات کی بجائے حقیقی ٹکٹوں کی گندگی کی عکاسی کرتی ہیں۔

سوبرنگ ٹیک وے مطلق سطح ہے۔ یہاں تک کہ بہترین نظام پہلی کوشش میں دس میں سے چار سے کم حقیقی انٹرپرائز کاموں کو حل کرتا ہے، جس کا اوسط آٹھ رنز سے زیادہ ہے۔ ایجنٹی کوڈنگ میں تمام پیش رفت کے لیے، بینچ مارک تجویز کرتا ہے کہ حقیقی پروڈکشن سسٹم پر خود مختار سافٹ ویئر انجینئرنگ ایک زیر نگرانی سرگرمی بنی ہوئی ہے - جہاں انسانی انجینئرز وینڈر ڈیمو سے کہیں زیادہ کثرت سے جائزہ، ری ڈائریکٹ اور مرمت کرتے ہیں۔

کوڈنگ اسسٹنٹس میں سے انتخاب کرنے والے کاروباری اداروں کے لیے، بینچ مارک ایک عملی چیک لسٹ پیش کرتا ہے: پرائیویٹ کوڈ پر جانچے گئے سسٹمز کو ترجیح دیں، سنگل رن ہیڈلائن نمبرز کے بجائے اعتماد کے وقفوں پر اصرار کریں، اور خام ماڈل کی صلاحیت کے طور پر وزن کم کرنے کا معیار۔ Real-SWE کا پہلا لیڈر بورڈ آخری لفظ نہیں ہوگا — لیکن یہ اس سوال کا سب سے سیدھا جواب ہے جو ہر انجینئرنگ لیڈر ایجنٹ کوڈنگ کے بارے میں پوچھ رہا ہے۔

کوڈنگ ایجنٹس، ماڈل ریلیزز اور ان کی تشکیل کرنے والی تحقیق کے بارے میں مزید معلومات کے لیے، بینچ مارک کے نتائج کے اگلے دور کے طور پر تازہ ترین AI خبروں کی پیروی کریں۔

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →