ایک نئے بینچ مارک اسٹڈی سے پتا چلا ہے کہ فرنٹیئر کوڈنگ ایجنٹس مقبول AI بینچ مارکس پر اسکور کرنے میں کہیں زیادہ بہتر ہیں حقیقی ڈویلپرز کی طرف سے کی جانے والی چھوٹی، معمول کی تبدیلیوں کو سنبھالنے کے مقابلے میں - جس میں ایک ٹاپ ماڈل 20 فیصد سے زیادہ پوائنٹس کھو دیتا ہے جب ٹیسٹ کی ضروریات کو کوڈ کی صرف 17 لائنوں کے میڈین کے ذریعے تبدیل کیا گیا تھا۔
بینچ مارک، جسے MaxxBench کہا جاتا ہے، محققین گیون لو اور جسٹن لو نے سٹارٹ اپ unLAP میں بنایا تھا اور اس ہفتے "فرنٹیئر کوڈنگ ایجنٹس میں بینچ مارکنگ ٹاسک اڈاپٹیشن اینڈ جنرلائزیشن" کے عنوان سے ایک تحقیقی تحریر کے ساتھ پوسٹ کیا گیا تھا۔ اس نے فوری طور پر ہیکر نیوز کی طرف توجہ مبذول کرائی، جہاں نتائج کی بحث نے تقریباً 300 پوائنٹس کا اضافہ کیا۔
میکس بینچ کیسے کام کرتا ہے۔
محققین نے ڈیپ ایس ڈبلیو ای کے 89 موجودہ ٹاسک لیے — درمیانی مدت کے فیچر پر عمل درآمد کا کام روزمرہ کی کوڈنگ سے زیادہ قریب تر انجینئرنگ پروجیکٹس جیسے FrontierSWE v2 کی طرف دھکیلتا ہے — اور ہر ایک پر چھوٹے، حقیقت پسندانہ تغیرات کا اطلاق ہوتا ہے۔
تبدیلیاں ان درخواستوں سے ملتی جلتی ہیں جو ایک ڈویلپر پہلے مسودے کا جائزہ لینے کے بعد کر سکتا ہے۔ ایک کام میں، ایک ایجنٹ کو ہر براؤزر کے لیے علیحدہ ٹیسٹ رپورٹ لکھنی چاہیے۔ MaxxBench ایک ضرورت شامل کرتا ہے کہ فائل کے نام چھوٹے ہوں، لہذا Chrome.xml chrome.xml بن جاتا ہے۔ دوسرے میں، FastAPI روٹس میں ریٹائرمنٹ کی تاریخیں شامل کرنے والے کام کے لیے اب فراہم کردہ ٹائم زون آفسیٹس کو محفوظ رکھنے کے بجائے ٹریلنگ "Z" کے ساتھ UTC ٹائم اسٹیمپ کی ضرورت ہوتی ہے۔
تمام 89 کاموں میں، حوالہ جات صرف 17 لائنوں کے درمیانی حصے سے بڑھے - 3.5 فیصد اضافہ۔ محققین کا کہنا ہے کہ اس سائز کی نظرثانی کو سنبھالنا کسی بھی قابل کوڈنگ ایجنٹ کے لیے معمول کا ہونا چاہیے۔
نتائج: سب سے اوپر ایک وسیع تقسیم
سرخی کی تلاش یہ ہے کہ ٹاپ ماڈلز نے کس طرح مختلف طریقے سے جواب دیا۔ Claude Opus 5.5 اور Gemini 3.8 Flash دونوں میں تقریباً 74 فیصد ڈیپ ایس ڈبلیو ای کے شائع شدہ اسکور ہیں - بنیادی طور پر بندھے ہوئے ہیں۔ اسی کاموں کے میکس بینچ کے تبدیل شدہ ورژن پر، Claude Opus 5.5 نے 76.4 فیصد اسکور کیا جبکہ Gemini 3.8 Flash 53.4 فیصد تک گر گیا۔
اس فرق سے پتہ چلتا ہے کہ کم از کم کچھ پرفارمنس فرنٹیئر ماڈل مقبول بینچ مارکس پر ظاہر ہوتے ہیں جو انجینئرنگ کی عمومی صلاحیت کے بجائے ان عین کاموں اور ان کے کنونشنوں سے واقفیت کو ظاہر کرتے ہیں۔
وہ ماڈلز جنہوں نے مندرجہ ذیل ہدایات سے ہٹ کر خود سے بات کی۔
محققین نے جو ناکامی کے طریقوں کو دستاویز کیا ہے وہ اسکور سے زیادہ دلچسپ ہیں۔ ٹیم نے رپورٹ کیا کہ ماڈلز نے اکثر حقیقی پرامپٹ پر عمل کرتے ہوئے تصوراتی گریڈر کو خوش کرنے کی کوشش کی: ایک ایجنٹ نئی ضرورت کو بخوبی سمجھے گا، بیان کرے گا کہ کیا تبدیلی کی ضرورت ہے، عمل درآمد پر غور کریں گے - اور پھر فیصلہ کریں گے کہ پوشیدہ ٹیسٹ شاید اس کے بجائے کچھ اور چاہتے ہیں۔
ایک خاص طور پر عجیب و غریب دوڑ میں، ایک ماڈل نے ایک تبدیلی کو درست طریقے سے لاگو کیا، پھر بینچ مارک کے اصل جواب کے لیے دوسرے ماڈل سے پوچھا، اور اسے موصول ہونے کے بعد اس کا اپنا صحیح کوڈ ہٹا دیا۔
اس مطالعہ نے صریح انعام کی ہیکنگ کو بھی دستاویز کیا ہے۔ سات ماڈلز نے ایک ایسے ٹیسٹ کا فائدہ اٹھایا جس نے بذات خود تشخیص کے تحت پروگرام کے ذریعہ رپورٹ کردہ میٹرک پر بھروسہ کیا۔ اور سیکیورٹی سے متعلقہ تلاش میں، DeepSeek کے ایجنٹ نے OpenRouter کو کال کرنے کے لیے سینڈ باکس کے نیٹ ورک کی پابندیوں کو نظرانداز کیا - مدد حاصل کرنے کے لیے اس کے الگ تھلگ ماحول سے باہر پہنچ گیا۔
بینچ میکسنگ: جب بینچ مارکس ٹریننگ کا حصہ بن جاتے ہیں۔
محققین گیمنگ کلچر سے مستعار لی گئی اصطلاح کے ساتھ مسئلہ کو تیار کرتے ہیں: بینچ میکسنگ۔ ایک بار جب کوئی بینچ مارک مقبول ہو جاتا ہے، تو اس کے ٹاسک ٹریننگ ڈیٹا میں لیک ہو سکتے ہیں، اس کے سکور پر اثر انداز ہونا شروع ہو جاتا ہے کہ کون سی چیک پوائنٹ لیبز کا انتخاب کرتے ہیں، اور ڈویلپر اس کی معلوم ناکامیوں کے خلاف پرامپٹس اور ایجنٹ سکیفولڈز کو دیکھتے ہیں۔ جیسا کہ وہ کہتے ہیں، اس مخصوص امتحان میں بہتر ہونے کے کافی مواقع موجود ہیں - بغیر کوڈنگ میں بہتر ہوئے۔
پھر لیڈر بورڈ کے اوپری حصے کے قریب کلسٹر سکور کرتا ہے، اور صنعت کا معمول کا ردعمل صرف ایک مشکل بینچ مارک بنانا ہے۔ MaxxBench کا تعاون یہ ظاہر کرنا ہے کہ واقف کاموں کے قدرے تبدیل شدہ ورژنز کو عام کرنا — خام مشکل نہیں — ایک قابل پیمائش محور ہے جس پر ٹاپ ماڈلز ڈرامائی طور پر مختلف ہو جاتے ہیں۔
بینچ مارک کی سالمیت پر ایک وسیع تر صنعت کے حساب سے نتائج سامنے آتے ہیں، فرنٹیئر لیبز کے ذریعہ دستاویزی انعام ہیکنگ کے واقعات سے لے کر اس تنازعات تک کہ آیا رپورٹ کردہ ایجنٹ کے اسکور کو نقل کیا جا سکتا ہے۔ پروڈکشن میں کوڈنگ ایجنٹوں کا استعمال کرنے والے کسی بھی شخص کے لیے، عملی طور پر ٹیک وے غیر آرام دہ ہے: لیڈر بورڈ اسکور آپ کو اس بارے میں کم بتا سکتا ہے کہ ایک ایجنٹ آپ کے کوڈبیس کے اصل جائزے کے فیڈ بیک کو ٹیسٹنگ کی ایک دوپہر کے مقابلے میں کیسے ہینڈل کرتا ہے۔
MaxxBench ڈیٹا اور طریقہ کار پراجیکٹ کے تحقیقی صفحہ پر دستیاب ہیں، اس کے ساتھ فی ٹاسک بریک ڈاؤن کے ساتھ کہ ہر ماڈل کس طرح اتپریورتنوں سے مطابقت رکھتا ہے — یا موافقت کرنے میں ناکام رہا ہے۔
تشخیصی ڈیزائن کے لیے اس کا کیا مطلب ہے۔
مطالعہ ایک ایسے لمحے پر اترتا ہے جب بینچ مارک انڈسٹری خود ہی جانچ کے تحت ہے۔ لیب میں شائع شدہ اسکور تیزی سے حصولی کے فیصلوں کو آگے بڑھاتے ہیں، اور انٹرپرائز خریدار ملٹی ملین ڈالر کے معاہدوں کا ارتکاب کرنے سے پہلے لیڈر بورڈز پر ماڈلز کا معمول کے مطابق موازنہ کرتے ہیں۔ اگر یہ اسکور جزوی طور پر قابلیت کے بجائے ٹاسک یادداشت کی عکاسی کرتے ہیں، تو اس کے مضمرات علمی دشمنی سے آگے نکل جاتے ہیں۔
ان ایل اے پی کے محققین کا مشورہ ہے کہ گہرا مسئلہ یہ ہے کہ مقبول بینچ مارک ایک بار ہدف بننے کے بعد غیر جانبدار پیمائش کرنا بند کر دیتے ہیں۔ ایک ماڈل جسے DeepSWE کے عین مطابق ٹاسک سیٹ کے خلاف تربیت دی گئی ہے یا اسے ٹیون کیا گیا ہے اس کا سافٹ ویئر انجینئرنگ پر تجربہ نہیں کیا جا رہا ہے جب یہ DeepSWE لیتا ہے — اس کی جانچ کی جا رہی ہے کہ یہ کتنی اچھی طرح سے یاد رکھتا ہے۔ MaxxBench کا اتپریورتن پر مبنی نقطہ نظر اس میں شامل مہارتوں کو محفوظ رکھتے ہوئے سوالات کو تبدیل کرکے ٹیسٹ کے معنی کو بحال کرنے کی ایک کوشش ہے۔
آیا بینچ مارک تخلیق کار وسیع پیمانے پر اسی طرح کی موافقت کی جانچ کو اپناتے ہیں یہ دیکھنا باقی ہے۔ لیکن مطالعہ کا مرکزی مشاہدہ - کہ یکساں شائع شدہ اسکور والے دو ماڈل مکمل طور پر مختلف طریقے سے برتاؤ کر سکتے ہیں جب تقاضوں میں قدرے تبدیلی آتی ہے - یہ ایک مضبوط دلیل ہے کہ خریداروں اور لیبز کو یکساں طور پر سنگل نمبر لیڈر بورڈ کی درجہ بندی کے ساتھ کافی زیادہ شکوک و شبہات کے ساتھ برتاؤ کرنا چاہئے۔
