ایک نیا بینچ مارک چیلنج کر رہا ہے کہ AI صنعت کس طرح سائنسی صلاحیت کی پیمائش کرتی ہے، اور اس کے پہلے نتائج فرنٹیئر لیبز کے لیے عاجز ہیں۔ Terminal-Bench-Science 0.1، اس ہفتے اسٹینفورڈ یونیورسٹی کے محققین اور مقبول ٹرمینل-بینچ کوڈنگ بینچ مارک کے پیچھے ٹیم کے ذریعہ شروع کیا گیا، کام کرنے والے سائنسدانوں کے تعاون سے حقیقی سائنسی تحقیقی ورک فلو پر AI ایجنٹوں کا جائزہ لیتا ہے - اور آزمائشی سب سے مضبوط ماڈل، Claude Opus 5، Claude Code 5 کے ذریعے صرف ٹاسک مکمل کیا گیا۔

بینچ مارک کا اعلان صفحہ اس کے رہنما اصول کو دو ٹوک الفاظ میں بیان کرتا ہے: سائنسدانوں کو، ماڈل ڈویلپرز یا ڈیٹا وینڈرز کو نہیں، AI میں سائنسی صلاحیت کے لیے بار قائم کرنا چاہیے۔ یہ پروجیکٹ دنیا بھر کے تحقیقی اداروں کے ڈومین ماہرین کے تعاون سے بنایا گیا تھا، اور اس کی پہلی ریلیز میں لائف سائنسز، فزکس، ارتھ سائنس، ریاضی اور انجینئرنگ کے 70 کام شامل ہیں۔

یہ ٹیکسٹ بک بینچ مارکس سے کیسے مختلف ہے۔

زیادہ تر سائنسی AI تشخیص علم کی جانچ کرتے ہیں: متعدد انتخابی سوالات، درسی کتاب کے مسائل، معیاری مشقیں۔ Terminal-Bench-Science اس کے بجائے یہ پیمائش کرتا ہے کہ آیا ایجنٹ تکنیکی طور پر مطالبہ کرنے والے، وقت گزارنے والے ورک فلو کو انجام دے سکتے ہیں جو حقیقی محققین کے دنوں کو بھرتے ہیں - اس قسم کا کام جو بغیر امتحان میں ظاہر ہوتا ہے۔ ٹاسک حقیقت پسندانہ ماحول میں چلتے ہیں، اور درجہ بندی ٹھوس نمونوں پر مبنی ہوتی ہے: تجزیہ، نقالی، ثبوت، کوڈ، اور ڈیٹا پروڈکٹس، جج ماڈلز یا ایک سے زیادہ انتخابی اسکورنگ کے بجائے تولیدی کام کے لیے مخصوص ٹیسٹوں کے ساتھ جانچے جاتے ہیں۔

یہ ڈیزائن اس نظریہ کی عکاسی کرتا ہے کہ AI معاونین کو آخر کار سائنس کے لیے کیا کرنا چاہیے۔ سائنسی فیصلے کو تبدیل کرنے کے بجائے، بینچ مارک کے مصنفین کا کہنا ہے کہ، ایجنٹوں کو عمل درآمد کی پرت کو سنبھالنا چاہیے — تجربات میں سلیکو چلانا، ڈیٹا پر کارروائی کرنا، ثبوتوں کی جانچ کرنا — سائنس دانوں کو تحقیق کے ان حصوں کے لیے آزاد کرنا جہاں انسانی فیصلے سب سے زیادہ اہمیت رکھتے ہیں: سوالات کی وضاحت کرنا، مفروضوں کی تشکیل، نتائج کی تلاش اور انٹرپریٹنگز۔

اس منصوبے کو بھی واضح طور پر ایک متحرک ہدف کے طور پر بنایا گیا ہے۔ جہاں بہت سے بینچ مارک ایک بار جاری کیے جاتے ہیں اور ترک کر دیے جاتے ہیں — اعلان اسے "پبلش کرنے کے لیے کاغذات" کا مسئلہ کہتا ہے — ٹرمینل-بینچ-سائنس کو ایک مسلسل بینچ مارک کے طور پر ڈیزائن کیا گیا ہے جو فرنٹیئر کے ساتھ ساتھ تیار ہوتا ہے، باقاعدہ ریلیز کا مقصد تشخیص کو ماڈل کی پیشرفت سے آگے رکھنا اور آلودگی سے چلنے والے سکور کی افراط زر کو روکنا ہے۔

پہلا لیڈر بورڈ: قابل اعتماد سے ایک طویل راستہ

v0.1 لیڈر بورڈ، جس نے اس ہفتے ہیکر نیوز تک پہنچنے پر خاصی توجہ مبذول کروائی، اوپر سے ایک زبردست ڈراپ آف دکھاتا ہے:

  • Claude Opus 5 (Claude Code): 30.0%
  • GPT-5.6 سول (کوڈیکس): 22.4%
  • Claude Fable 5 (Claude Code): 21.4%
  • Claude Opus 4.8 (Claude Code): 10.5%
  • GPT-5.6 ٹیرا (کوڈیکس): 8.6%
  • GLM 5.3 (کلاڈ کوڈ): 8.1%
  • Kimi K3 (کلاڈ کوڈ): 7.1%
  • گروک 4.6 (گروک بلڈ): 7.1%
  • GPT-5.6 لونا (کوڈیکس): 3.3%

نتائج بتاتے ہیں کہ سائنسی کام کا بہاؤ ایجنٹوں کے لیے سافٹ ویئر انجینئرنگ کے مقابلے میں کافی مشکل رہتا ہے، جہاں اصل ٹرمینل بنچ اور حریف کوڈنگ بینچ مارکس نے اسکور کو تیزی سے بڑھتے دیکھا ہے۔ بہترین دستیاب نظام کے لیے 30% ریزولوشن کی شرح کا مطلب یہ ہے کہ دس میں سے سات حقیقی تحقیقی کاموں پر، یہاں تک کہ ایک اعلیٰ درجے کا ایجنٹ بھی جو مضبوط کنٹرول کے ساتھ جوڑا گیا ہے، قابل تصدیق طور پر درست کام پیش کرنے میں ناکام رہتا ہے۔

ماڈل خاندانوں میں پھیلاؤ بھی سبق آموز ہے۔ Claude Opus 5 اور Claude Opus 4.8 کے درمیان - تقریباً بیس پوائنٹس - اور GPT-5.6 مختلف قسموں Sol, Terra, اور Luna کے درمیان فرق یہ ظاہر کرتا ہے کہ نتائج کا معیار ماڈل اور ایجنٹ کے استعمال پر منحصر ہے، نہ کہ خام ماڈل کی ذہانت پر۔ ہر اعلی اسکورنگ اندراج میں ایجنٹ کوڈنگ ہارنس (کلاڈ کوڈ، کوڈیکس، گروک بلڈ) کا استعمال کیا جاتا ہے، جو ابھرتے ہوئے اتفاق کو تقویت دیتا ہے کہ سہاروں کا وزن بنیادی وزن کی طرح فیصلہ کن ہے۔

سائنسدانوں نے اپنا معیار کیوں بنایا؟

بینچ مارک کی تشکیل میں ایک لطیف ادارہ جاتی دلیل ہے۔ اعلان میں کہا گیا ہے کہ "سائنس میں داؤ بہت زیادہ ہے، اور اس کے معیارات کو بیرونی مفادات کے بجائے سائنسی برادری کی ترجیحات کی عکاسی کرنی چاہیے۔" یہ پروجیکٹ کام کرنے والے محققین کو ان کاموں کو انکوڈ کرنے کے لیے ایک براہ راست طریقہ کار فراہم کرتا ہے جن کی انہیں درحقیقت خود کار طریقے سے ضرورت ہوتی ہے - اور ایک قابل تصدیق معیار کے خلاف "سائنسی دریافت کو تیز کرنے" کے دکانداروں کے دعووں کو روکنا۔

یہ اہمیت رکھتا ہے کیونکہ مارکیٹنگ اور حقیقت کے درمیان فرق کے حقیقی نتائج ہوتے ہیں۔ اگر فرنٹیئر لیبز کا دعویٰ ہے کہ ان کے ایجنٹ تحقیق کو تیز کر سکتے ہیں جبکہ آزاد، ماہرین کی طرف سے تیار کردہ تشخیص سنگل ہندسے سے 30% تک ریزولوشن کی شرحیں، فنڈنگ ​​کے فیصلے، ملازمت کے منصوبے، اور ان دعوؤں پر بنی لیب کی پالیسیاں غلطی کو وراثت میں دکھاتی ہیں۔ مسلسل، کمیونٹی کی ملکیت والے معیارات ایک اصلاحی ہیں: وہ مبہم دعوؤں کو دوبارہ پیدا کرنے کے قابل نمبروں میں تبدیل کرتے ہیں۔

تحقیقی اداروں کے لیے ایک اشارہ

یونیورسٹیوں، قومی لیبز، اور R&D ٹیموں کے لیے جس کا وزن کیا جاتا ہے کہ ایجنٹوں کو کب تعینات کرنا ہے، بینچ مارک کچھ ایسی چیز پیش کرتا ہے جو وینڈر ڈیمو نہیں کر سکتے ہیں: ایک کمیونٹی کے ذریعے برقرار رکھنے والی پیمائش کہ جہاں قابل اعتماد لائن واقع ہے۔ نوعمر یا بیس کی دہائی میں ریزولیوشن کی شرح کا مطلب ہے کہ آج کل ان سسٹمز کو اسسٹنٹ کے طور پر بہترین برتاؤ کیا جاتا ہے جن کے لیے نظرثانی کی ضرورت ہوتی ہے، تجرباتی پائپ لائنوں کے خود مختار ایگزیکیوٹرز کے طور پر نہیں۔ کام کے زمرے — زندگی، طبعی، زمین، ریاضی، اور انجینئرنگ سائنسز پر پھیلے ہوئے — ڈومین کے ماہرین کو ان شعبوں سے ورک فلو میں تعاون کرنے کے لیے ایک ٹیمپلیٹ بھی دیتے ہیں جن کو عمومی معیارات معمول کے مطابق نظر انداز کرتے ہیں۔

صنعت کا وسیع تر سیاق و سباق اس بات کو تقویت دیتا ہے کہ وقت کیوں اہم ہے۔ سائنس فرنٹیئر AI کے لیے سب سے زیادہ فروغ پانے والے استعمال کے معاملات میں سے ایک بن گئی ہے، جس میں لیبز مواد کی دریافت، پروٹین سائنس، اور ریاضی میں شراکتیں کرتی ہیں۔ ان دعووں کا آڈٹ کرنا مشکل ہے: سائنسی پیداوار کی توثیق کرنے میں سست ہے، اور جوش نقل سے زیادہ تیزی سے آگے بڑھتا ہے۔ ایک بینچ مارک جو قابل تصدیق نمونوں کو حقیقی ورک فلو پر درجہ دیتا ہے، تحقیقی اداروں کو مظاہرے کے تھیٹر سے مظاہرے کی صلاحیت کو الگ کرنے کا ایک طریقہ فراہم کرتا ہے — اور ٹریک کرنے، ریلیز کے ذریعے جاری کرنا، چاہے سائنس میں ایجنٹی پیش رفت اتنی ہی تیزی سے بڑھ رہی ہے جتنی کہ یہ سافٹ ویئر انجینئرنگ میں ہے، جہاں ٹرمینل بنچ نے سب سے پہلے اپنا نام بنایا۔

AI صنعت کے لیے، v0.1 کا پیغام دوہرا ہے۔ فرنٹیئر واضح طور پر آگے بڑھ رہا ہے — پرانے Opus 4.8 کے 10.5% پر Opus 5 کے 30% ٹاورز — لیکن حقیقی لیبارٹریز کی ضرورت کے اعتبار سے زیادہ سے زیادہ حد باقی ہے۔ بینچ مارک کے ڈیزائنرز کا کہنا ہے کہ باقاعدہ ریلیز اس بات کا پتہ لگائے گی کہ یہ خلا کتنی تیزی سے بند ہوتا ہے۔ ایجنٹ تحقیقی ٹولز میں ابھرتے ہوئے AI رجحانات کو دیکھنے والے سائنسدانوں کے پاس اب ایک پیمانہ ہے جو انہوں نے خود بنایا ہے۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →