میٹا، یونیورسٹی آف آکسفورڈ اور یونیورسٹی کالج لندن میں FAIR کی ایک تحقیقی ٹیم نے AI ریسرچ ترجیحی ماڈلز (RPMs) متعارف کرائے ہیں، جو یہ فیصلہ کرنے کا ایک طریقہ ہے کہ ایک خود مختار ریسرچ ایجنٹ کو اصل میں کون سے مشین لرننگ کے تجربات چلائے جائیں۔ یہ اندازہ لگانے کے بجائے کہ ایک تجربہ کس طرح اسکور کرے گا، ایک RPM غیر عمل آوری والے امیدواروں کی درجہ بندی کرتا ہے اور سب سے زیادہ امید افزا امیدواروں کو چنتا ہے، ٹیم کا کہنا ہے کہ AI سے چلنے والی تحقیق میں اصل رکاوٹ کو دور کرتی ہے: تصدیقی حساب، کام پر MarkTechPost کی رپورٹ کے مطابق۔
یہ خیال ایک ایسے لمحے میں آتا ہے جب ریسرچ ایجنٹ پہلے سے ہی اپنے تجربات کی تجویز، عمل درآمد اور اسکور کر سکتے ہیں۔ خیال پیدا کرنا سستا ہے۔ پھانسی نہیں ہے. کسی ایک امیدوار کو تربیت دینے میں گھنٹوں سے لے کر دنوں تک GPU کا وقت لگ سکتا ہے، اس لیے ایک ایجنٹ لامحالہ اس سے کہیں زیادہ تجربات کی تجویز پیش کرتا ہے جتنا وہ چلانے کے قابل ہے۔ کون سے امیدواروں کو پھانسی دی جاتی ہے، جیسا کہ ٹیم اسے تیار کرتی ہے، تحقیق کی پیشرفت کا اصل لیور ہے۔ لیبز کے لیے جو ان کے کمپیوٹ بلوں کو چڑھتے ہوئے دیکھ رہے ہیں، بالکل یہی وجہ ہے کہ یہ کام تحقیقی آٹومیشن میں جدید ترین AI پیش رفت پر توجہ مبذول کر رہا ہے۔
تجرباتی انتخاب کیوں رکاوٹ ہے۔
ٹیم نے پایا کہ زبان کے ماڈل مطلق میٹرکس یا عمل درآمد کے نتائج کی پیشن گوئی کرنے میں ناقابل اعتبار ہیں۔ ایک ماڈل امیدوار کے تجربے کو نہیں دیکھ سکتا اور اس کے حاصل کردہ اسکور کی درست پیش گوئی نہیں کر سکتا۔ یہ کیا کرسکتا ہے، محققین نے پایا، یہ فیصلہ کرنا ہے کہ دو امیدواروں میں سے کون بہتر شرط ہے - ایک مطلق پیشین گوئی کے بجائے نسبتاً موازنہ۔ RPMs مکمل طور پر اس امتیاز کے ارد گرد بنائے گئے ہیں: وہ کبھی بھی اسکور کی پیش گوئی نہیں کرتے، وہ صرف درجہ بندی کرتے ہیں۔
یہ نظام AIRA-dojo کے اندر چلتا ہے، ایک اوپن سورس ارتقائی درختوں کی تلاش کے اسکافولڈ جو لالچی والدین کے انتخاب اور ڈرافٹ، امپروو اور ڈیبگ آپریٹرز کے ذریعے مشین لرننگ کے تجربات تیار کرتا ہے، آخر میں سب سے زیادہ توثیق کے اسکور نوڈ کو واپس کرتا ہے۔ بینچ مارک، AIRS-Bench، بھی اوپن سورس ہے۔ سکیفولڈ اور ترجیحی ماڈل دونوں Qwen3.6-27B کو اپنی ریڑھ کی ہڈی کے طور پر استعمال کرتے ہیں، جسے ٹیم نوٹ کرتی ہے کہ کھلا وزن ہے۔
ناک آؤٹ ٹورنامنٹ کیسے کام کرتا ہے۔
ایک چائلڈ تجربہ تیار کرنے اور اس پر عمل درآمد کرنے کے بجائے، ایجنٹ 15 غیر عملی امیدواروں کو تیار کرنے کے لیے متوازی طور پر 15 بار آپریٹر کا اطلاق کرتا ہے۔ پھر RPM ناک آؤٹ ٹورنامنٹ میں ان کا جوڑے کے لحاظ سے موازنہ کرتا ہے، اور صرف فاتح کو پھانسی دی جاتی ہے۔ ہر ایک موازنہ سیاق و سباق کے نوڈس پر مبنی ہوتا ہے جو دریافت شدہ درخت کی چوڑائی کے پہلے چہل قدمی کے ذریعے جمع کیا جاتا ہے، جس میں ہر امیدوار کو اس کے آباؤ اجداد کی توثیق کے اسکور کے ساتھ دکھایا جاتا ہے، اس لیے جج کسی خلا کے بجائے ایجنٹ کی اصل تلاش کی سرگزشت سے وجوہات پیش کرتا ہے۔
کاغذ مختلف کمپیوٹ بجٹ کے ساتھ دو مختلف حالتوں کی وضاحت کرتا ہے:
- صرف RPM - ایک LLM-بطور-جج جو امیدواروں کے منصوبوں، کوڈ اور تلاش کی تاریخ کا ایک ہی پاس میں موازنہ کرتا ہے۔ اس کے پرامپٹ کو DSPy فریم ورک سے MIPROv2 کے ساتھ بہتر بنایا گیا تھا اور اسے اس بات پر اکٹھا کیا گیا تھا جسے ٹیم ایک پرنسپل-انوسٹی گیٹر روبرک کہتی ہے: یہ درست ہونے والے کیڑے کو برداشت کرتا ہے، توسیع پذیری کو انعام دیتا ہے اور بے کار تحقیقی ہدایات کو جرمانہ کرتا ہے۔ آف لائن موازنہ کی درستگی 57.7 سے 59.0 فیصد تک پہنچ گئی۔
- Agentic RPM — وہی جج کے علاوہ ایک سینڈ باکس جو ایجنٹ کے ماحول کو کلون کرتا ہے، بشمول ایک H200 GPU، Python، Bash تک محدود ٹولز کے ساتھ اور ایک جمع حل ایکشن۔ یہ چھوٹے پیمانے پر پائلٹ تجربات چلاتا ہے، پھر فیڈ بیک ماڈل یا تو سب سے زیادہ معلوماتی اگلا تجربہ تجویز کرتا ہے یا لوپ کو ختم کرتا ہے۔ پائلٹوں کو 60 سیکنڈ کی حد کے ساتھ 30 تک محدود کیا جاتا ہے، اور بقیہ وقت کا بجٹ جان بوجھ کر بڑھایا جاتا ہے — 2,700 سیکنڈ حقیقی 300 کے مقابلے میں رپورٹ کیا جاتا ہے — اس لیے ایجنٹ جلد اصلاح کرنا بند نہیں کرتا ہے۔
ایک جج نے ایک پرنسپل تفتیش کار کی طرح کام کیا۔
پرنسپل-تحقیق کار کی تشکیل خاموشی سے دلچسپ حصہ ہے۔ زیادہ سے زیادہ متاثر کن نظر آنے والے امیدواروں کو انعام دینے کے بجائے، بہتر بنایا گیا روبرک اس بات کا آئینہ دار ہے کہ کس طرح ایک تجربہ کار محقق آئیڈیاز کو آزماتا ہے: بگی کوڈ جس کو درست کیا جا سکتا ہے بیٹس پالش کوڈ ایک ڈیڈ اینڈ کا تعاقب کرتے ہوئے، اور ڈائریکشنز جو موجودہ درخت کو ڈپلیکیٹ کرتی ہیں ان کی قیمت ناولوں سے کم ہے۔ وہ روبرک، جو ہینڈ ٹیوننگ کے بجائے فوری اصلاح کے ذریعے سیکھا جاتا ہے، وہی ہے جو بہتری لاتا ہے، ٹیم کے خاتمے کا مشورہ ہے۔
AIRS-Bench پر بینچ مارک کے نتائج
تشخیص میں 20 عوامی متن اور ٹیبلولر کاموں کا احاطہ کیا گیا، ہر کام کو ایک H200 اور 10 بے ترتیب بیجوں پر 24 گھنٹے دیے گئے۔ اہم طور پر، ایک ہی Qwen3.6-27B بیک بون نے تجربہ کار آپریٹرز اور ترجیحی ماڈل دونوں کو طاقت بخشی، لہذا فوائد ایک مضبوط جج ماڈل کے بجائے سلیکشن پرت سے حاصل ہوتے ہیں۔ اوسط نارمل اسکور:
- کوئی RPM نہیں (بے ترتیب انتخاب): 0.684
- صرف اندازہ RPM: 0.711
- ایجنٹ RPM: 0.729
- توثیق اوریکل (چھت): 0.748
- ٹیسٹ اوریکل (چھت): 0.759
بے ترتیب انتخاب پر بہتری کا امکان صرف تخمینہ کے لیے 0.5923 اور ایجنٹ کے لیے 0.5913 تھا، جس میں 95 فیصد اعتماد کا وقفہ 0.5066 اور 0.5018 کی نچلی حدوں کے ساتھ تھا — اعداد و شمار کے لیے 0.5 حد سے اوپر، اگرچہ ٹیم کی اہمیت اس سے زیادہ ہے، تبدیلی کرنے والا
کارکردگی زیادہ عملی نتیجہ ہے۔ صرف اندازہ لگانے والا RPM 14.88 گھنٹوں میں 0.684 کے رینڈم بیس لائن کے حتمی اسکور تک پہنچ گیا، ایک 1.61x اسپیڈ اپ، جب کہ ایجنٹ ویرینٹ کو 15.50 گھنٹے، 1.55x اسپیڈ اپ کی ضرورت ہے۔ یہاں تک کہ خود میزبان جج کے اوور ہیڈ کے حساب سے بھی، ایڈجسٹ شدہ نمبر سازگار رہے۔
کھلے وزن اور ایماندارانہ انتباہات
ٹیم کو واضح ہے کہ RPMs آج صرف جزوی طور پر قابل تعینات ہیں۔ اجزاء کھلے ہیں — منجمد پہلے سے تربیت یافتہ بیک بون بغیر کسی فائن ٹیوننگ کے، اوپن سورس اسکافولڈ اور بینچ مارک، اور اوپن ویٹ بیک بون ماڈلز — لیکن ایجنٹی ویرینٹ کی سینڈ باکس کی ضرورت اور اس کے پائلٹ-تجربہ اوور ہیڈ کا مطلب ہے کہ زیادہ تر لیبز صرف تخمینہ کے ورژن سے شروع ہوں گی۔ محققین یہ بھی نوٹ کرتے ہیں کہ ڈیبگ کے اقدامات ایجنٹ کے مختلف قسم میں بے ترتیب انتخاب کی طرف لوٹ جاتے ہیں کیونکہ پائلٹ کا وقت ایجنٹ کی اپنی گھڑی سے مسابقت کرتا ہے۔
بڑی اہمیت دشاتمک ہو سکتی ہے۔ چونکہ خود مختار تحقیقی ایجنٹ صنعتی لیبز میں ڈیمو سے روزانہ استعمال کی طرف جاتے ہیں، قلیل وسائل اب آئیڈیاز نہیں بلکہ GPU گھنٹے، اور ایسے طریقے ہیں جو وقت کے ساتھ ساتھ ایک مقررہ کمپیوٹ بجٹ کمپاؤنڈ سے زیادہ ترقی کو نچوڑ لیتے ہیں۔ دوڑنے سے پہلے درجہ بندی کرنا ایک آسان خیال ہے، اور AIRS-Bench نمبر بتاتے ہیں کہ یہ ایک ایسا آئیڈیا ہے جو کافی حد تک کام کرتا ہے۔
