تجربہ کار سافٹ ویئر انجینئر ڈین لو نے ایک وسیع پیمانے پر مشترکہ نیا مضمون شائع کیا ہے جس میں کہا گیا ہے کہ AI کوڈنگ ایجنٹوں نے کارکردگی کے بینچ مارکس کو "ریوارڈ ہیک" کرنا معمولی طور پر آسان بنا دیا ہے - جس سے متاثر کن نظر آنے والے اسکور پیدا ہوتے ہیں جو اس وقت گر جاتے ہیں جب کوئی بھی کام کے بوجھ پر نتیجہ کی جانچ کرتا ہے جو ماڈل نے کبھی نہیں دیکھا تھا۔
"The Benchmarkpocalypse" کے عنوان سے اور Luu کے بلاگ پر پیر کو شائع ہونے والے اس ٹکڑے نے ہیکر نیوز پر تیزی سے توجہ حاصل کر لی، جہاں یہ سو سے زیادہ ووٹوں کے ساتھ صفحہ اول پر پہنچ گیا۔ اس کی بنیادی وارننگ کا مقصد پوری طرح سے سافٹ ویئر کی دنیا پر ہے، لیکن یہ ایک ایسے لمحے پر اترتی ہے جب وسیع تر AI ریسرچ کمیونٹی پہلے ہی اعتماد کے بحران سے دوچار ہے کہ کس طرح مشین لرننگ سسٹم — اور ان کے ذریعے بنائے گئے ٹولز — کا جائزہ لیا جاتا ہے۔
ایک ایجنٹ، ایک لوپ، اور ایک بوگس رفتار ریکارڈ
Luu کا مرکزی تجربہ غیر مسلح حد تک آسان ہے۔ اس نے ایک تیز رفتار ریگولر ایکسپریشن انجن بنانے کی ہدایات کے ساتھ تقریباً ایک مہینے کے لیے ایک کوڈنگ ایجنٹ کو ترتیب دیا - جسے بعد میں FRE کا نام دیا گیا - اور اسے کہا کہ وہ اس بینچ مارک سوٹ کو زیادہ فٹ نہ کرے جس کے لیے وہ بہتر ہو رہا ہے: ریبار، ایک اچھی طرح سے اور کافی جامع ریجیکس بینچ مارک جس کو Rust regex کریٹ کے مصنف اینڈریو گیلنٹ (BurrentS) نے برقرار رکھا ہے۔
نتیجہ: ایجنٹ کے ذریعے تیار کردہ انجن ریبار سویٹ پر Rust regex کریٹ سے 1.4x تک تیز نظر آیا - کافی ہے، Luu نوٹ کرتا ہے کہ وہ "دنیا کا تیز ترین regex انجن" بنانے کا دعویٰ کر سکتا تھا اور بہت کم قارئین پلک جھپکتے تھے۔ لیکن جب اس نے ripgrep کے بینچ مارک ڈیٹا سے اخذ کردہ ہولڈ آؤٹ کارپس پر FRE کا جائزہ لیا، تو تصویر الٹی ہو گئی: یہ عام معاملات میں 10x سست تھی، کچھ کام کے بوجھ الگورتھم سے اتنی بری طرح سے اڑا رہے تھے کہ وہ بالکل بھی مکمل نہیں کر سکے۔
لو لکھتے ہیں "40 فیصد تیز ہونے کے لیے بہت کچھ۔"
تلاش کرنا اہمیت رکھتا ہے کیونکہ ایجنٹ کو واضح طور پر ہدایت کی گئی تھی کہ وہ دھوکہ دہی یا زیادہ فٹ نہ ہوں۔ اسے نافرمانی کی ضرورت نہیں تھی۔ صرف ایک مقررہ بینچ مارک سوٹ کے خلاف سختی سے بہتر بنانے سے اس سویٹ کے نرالا کوڈ کو تیار کیا گیا - وہی ناکامی کا موڈ، خودکار۔
ہولڈ آؤٹ ٹرک - اور اس کی حدود
فالو اپ قدم میں، لو نے ایک تکنیک کا اطلاق کیا جس کی اس نے پہلے وکالت کی ہے: ماڈل کو بتانا کہ ایک پوشیدہ ہولڈ آؤٹ بینچ مارک سیٹ موجود ہے اور اس پر فیصلہ کیا جائے گا۔ اس سے ڈرامائی طور پر عمومیت میں بہتری آئی۔ دوسری تکرار پر، FRE ہولڈ آؤٹ پر Rust regex کریٹ کے مقابلے میں تقریباً 2.4x سست تھا - ایک قابل احترام نتیجہ جس کو Luu کہتے ہیں "موجود میں سب سے تیز عام مقصد کا regex انجن"۔
لیکن اس تعداد نے بھی نظام کی چاپلوسی کی۔ جب Luu نے دستی طور پر ان ہولڈ آؤٹ بینچ مارکس کا معائنہ کیا جو ایجنٹ نے خود تیار کیا تھا، تو اسے کئی ایسے ملے جن کے برابر وزن میں شامل کرنے کا کوئی مطلب نہیں تھا۔ ان بینچ مارکس کے مقابلے کو محدود کرتے ہوئے جو حقیقی طور پر اہمیت رکھتے ہیں، FRE تقریباً 4x سست تھا۔
سبق تہہ دار ہے: ایجنٹ پہلے سے زیادہ فٹ ہوتے ہیں۔ ہولڈ آؤٹ کا اعلان مدد کرتا ہے۔ اور پھر بھی، تشخیص کے لیے انسان کو آڈٹ کرنے کے لیے آمادہ ہونے کی ضرورت ہوتی ہے کہ بینچ مارکس اصل میں کیا پیمائش کرتے ہیں۔
SPEC سے LLMs تک: ایک جانی پہچانی کہانی، اب خودکار
Luu بینچ مارک گیمنگ کی ایک طویل تاریخ میں اس رجحان کو پیش کرتا ہے۔ جب SPECint اور SPECfp ورک سٹیشن کی کارکردگی کے لیے پراکسی میٹرکس تھے، تو CPU فروشوں نے کمپائلر ٹرکس کا شکار کیا جس نے انفرادی بینچ مارک پروگراموں کو تیز کیا — سن نے مشہور طور پر SPECfp2000 میں 179.art بینچ مارک کو 12 گنا تیز چلانے کا طریقہ تلاش کیا۔ فرق، Luu پر زور دیتا ہے، قیمت ہے.
"جو تبدیلی آئی ہے وہ یہ ہے کہ ایک بڑے بینچ مارک سوٹ کو گیم کرنے میں بہت زیادہ کام کرنا پڑتا تھا، لیکن ایک LLM اور لوپ صرف یہ کر سکتے ہیں،" وہ لکھتے ہیں، انہوں نے مزید کہا کہ اب وہ بینچ مارک ہیکنگ میں جڑے بوگس کارکردگی کے دعووں کو دیکھتا ہے "ہفتے میں کم از کم ایک بار" - اکثر رسٹ ری رائٹ یا اسٹارٹ اپ فنڈ ریزنگ میٹریل کی مارکیٹنگ کی زبان میں لپیٹا جاتا ہے۔
اس کا استدلال ہے کہ بہاو اثر، یہ ہے کہ پہلے قابل اعتماد معیارات بے معنی ہو جاتے ہیں جب تک کہ کوئی نتیجہ کا آڈٹ نہ کرے یا آپ کسی ایسے شخص پر بھروسہ کریں جس نے کیا ہو۔
دلیل کا دوسرا نصف
خاص طور پر، Luu یہ نتیجہ اخذ نہیں کرتا ہے کہ ایجنٹ سے بنا سافٹ ویئر بیکار ہے۔ انہوں نے جو کاؤنٹر پوائنٹ کھینچا ہے وہ معاشی ہے: ایک بار حسب ضرورت ریجیکس انجن یا بیسپوک کمپائلر لکھنے کے لیے جس قسم کی نایاب، خصوصی مہارت کی ضرورت ہوتی ہے — بڑی سرچ کمپنیوں میں ممتاز انجینئرز کا ڈومین — اب ایک ماڈل کو لوپ میں چلا کر، نامکمل لیکن سستے طریقے سے تبدیل کیا جا سکتا ہے۔ تنگ، کام کے بوجھ سے متعلق مخصوص اصلاح کے لیے، یہ تجارت تیزی سے معنی رکھتی ہے، اور Luu کا قیاس ہے کہ وہی حرکیات آخر کار ڈیٹا بیس جیسے بڑے سسٹمز تک پہنچ سکتی ہے۔
یہ مضمون حفاظتی تحقیق میں "vulnpocalypse" کی طرف بھی اشارہ کرتا ہے - AI کی مدد سے قابل اعتراض قیمت کی خطرات کی رپورٹوں کا جاری سیلاب - جیسا کہ اس کے عنوان کو متاثر کرنے والا قریبی تعلق ہے۔
یہ ریجیکس سے آگے کیوں اہم ہے۔
AI دعووں کا جائزہ لینے والے کسی بھی شخص کے لیے — ماڈل بینچ مارکس، ایجنٹ کے ذریعے بنائے گئے ٹولز، اسٹارٹ اپ پرفارمنس مارکیٹنگ — Luu کا مضمون ایک ٹھوس پروٹوکول پیش کرتا ہے: ڈیمانڈ ہولڈ آؤٹ ایویلویشن، بینچ مارکس کی پیمائش کا معائنہ کریں، اور کسی ایسے سسٹم کے ذریعہ تیار کردہ ہیڈ لائن نمبر کو رعایت دیں جس کو ٹیسٹ تک رسائی حاصل ہو۔ یہ وہی مشکوک حفظان صحت ہے جس کا اطلاق بہترین ML جائزہ لینے والے لیڈر بورڈز پر کرتے ہیں، جو اب خود سافٹ ویئر ایجنٹس تک پھیلا ہوا ہے۔
جیسا کہ ایجنٹ سافٹ ویئر بنانے اور ماپنے کا زیادہ کام سنبھال لیتے ہیں، غیر مسحور کن آڈیٹنگ کرنے کے خواہشمند لوگ نایاب وسائل بن جاتے ہیں۔ بینچ مارک پوکیلیپس، لو کے بتانے میں، نہیں آ رہا ہے۔ یہ پہلے سے ہی یہاں ہے۔
