بینچ مارک فرم مصنوعی تجزیہ نے اپنے انٹیلی جنس انڈیکس کا ورژن 5 لانچ کیا ہے، اسے جنوری میں v4 کی شروعات کے بعد سے اپنے جامع ماڈل کی درجہ بندی میں سب سے بڑا اپ گریڈ قرار دیا ہے۔ سرخی میں تبدیلی: پہلی بار، 60 فیصد انڈیکس پرائیویٹ ٹیسٹ سیٹس یا ہولڈ آؤٹ جوابات کے ساتھ تشخیص پر بنایا گیا ہے - بینچ مارک آلودگی کے مسائل کا براہ راست جواب جس نے عوامی لیڈر بورڈز پر اعتماد کو ختم کر دیا ہے۔

ردوبدل سب سے اوپر ایک واضح فیصلے کے ساتھ آتا ہے۔ Claude Opus 5.5 (زیادہ سے زیادہ) v5 انڈیکس میں 58 پر، GPT-6 Astra (زیادہ سے زیادہ) 57 پر اور GPT-6.1 Sol (زیادہ سے زیادہ) 55 پر آگے ہے۔ اینتھروپک اور اوپن اے آئی مل کر ٹاپ پانچ پوزیشنز پر فائز ہیں، گوگل کا جیمنی 4 آرگن (اعلی) 50 پر اگلا ہے۔ For more context on this story, see our ongoing more AI stories.

v5 میں کیا بدلا ہے۔

v5 انڈیکس کو چار برابر وزن والے زمروں میں منظم کیا گیا ہے — نالج ورک، کوڈنگ، سائنس اور جنرل — ہر ایک کی مالیت 25 فیصد ہے۔ دو بینچ مارک مکمل طور پر نئے ہیں، اور تین نے بڑے اپ گریڈ حاصل کیے ہیں:

  • فرنٹیئر کوڈ 2.0 (نیا)۔ اوپن سورس ریپوزٹریز میں 132 حقیقی دنیا کے کوڈنگ کاموں کا کوگنیشن کا نجی بینچ مارک، اس پر درجہ بندی کیا گیا ہے کہ آیا ریپوزٹری مینٹینر ایجنٹ کی تبدیلی کو حقیقت میں ضم کر دے گا۔ آلودگی سے بچنے کے لیے ٹاسک نجی رہتے ہیں، اور مصنوعی تجزیہ ہر کام کو اس کے اسٹرپ ایجنٹ کے استعمال میں تین بار چلاتا ہے۔
  • Terminal-Bench-Science (نیا)۔ ستر ایجنٹی سائنسی تحقیقی کاموں کو ٹرمینل ماحول میں انجام دیا جاتا ہے، جہاں کوئی کام صرف اس صورت میں پاس ہوتا ہے جب اس کا ہر ایک ٹیسٹ پاس ہو جائے۔
  • HLE-Diamond (اپ گریڈ شدہ)۔ سنٹر فار AI سیفٹی اینڈ اسکیل AI سے ہیومینٹی کے آخری امتحان کا ایک بہتر 1,000 سوالوں والا ورژن، اصل HLE کی جگہ استدلال اور علمی سوالات کے درمیان یکساں طور پر تقسیم ہوتا ہے۔
  • AA-Omniscience v1.1 (اپ گریڈ شدہ)۔ ایک صاف علم اور فریب کا ڈیٹا سیٹ جس میں سیر شدہ اور عوامی سوالات کو ہٹا دیا گیا ہے۔
  • CritPt v2 ہارڈ سبسیٹ (اپ گریڈ شدہ)۔ تحقیقی سطح کے فزکس بینچ مارک کا ایک نجی 40 سوالوں کا سخت سبسیٹ، اس کے مصنفین کے ذریعہ نظر ثانی شدہ اور کوڈ کے نفاذ کے ساتھ چلتا ہے۔

انڈیکس سے گیا: GDPval-AA v2.1، SciCode اور AA-LCR v1.1۔ مصنوعی تجزیے نے ایک ساتھی پروگریس انڈیکس v1 بھی لانچ کیا، جو ایک ہی مسلسل پیمانے پر وقت کے ساتھ ساتھ ماڈل کی صلاحیت کو ٹریک کرتا ہے۔

Claude Opus 5.5 مجموعی طور پر برتری حاصل کرتا ہے۔

Claude Opus 5.5 (زیادہ سے زیادہ) نو انفرادی جائزوں میں سے تین کی قیادت کرتا ہے: FrontierCode 2.0 46 فیصد، HLE-Diamond 68 فیصد اور AA-Omniscience v1.1 پر 48۔ کوئی ایک ماڈل ہر چیز کی قیادت نہیں کرتا — پانچ دیگر ماڈل باقی چھ معیارات میں سرفہرست ہیں۔

GPT-6 Astra (زیادہ سے زیادہ) ٹرمینل-بینچ-سائنس کو 63 فیصد اور CritPt v2 ہارڈ سبسیٹ کو 72 فیصد پر لیڈ کرتا ہے، طویل افق کے سائنسی کام میں OpenAI کی مضبوطی کی تصدیق کرتا ہے۔ Claude Sonnet 5.5 1812 Elo میں AA-Briefcase میں سرفہرست ہے، Kimi's K3.1 Pro 67 فیصد پر Terminal-Bench 4.0 کی قیادت کرتا ہے، Gemini 4 Argon AutomationBench-AA کو 78 فیصد پر لیڈ کرتا ہے، اور Muse Wonder Full GDP.pdf کو 67 فیصد پر لیڈ کرتا ہے۔

HLE-Diamond کے نتائج میں ایک واضح تفصیل ہوتی ہے: سرکردہ ماڈلز علم کی نسبت استدلال پر بہت بہتر اسکور کرتے ہیں۔ Claude Opus 5.5 اور GPT-6 Astra دونوں نے استدلال کے سوالات پر 78 فیصد مارا، لیکن علم پر بالترتیب 58 اور 50 فیصد تک گرا - اس بات کا ثبوت ہے کہ فرنٹیئر سسٹم بھی اپنے استدلال کے اسکور سے زیادہ کثرت سے گمراہ یا حقائق کی کمی کا شکار ہیں۔

اوپن ویٹ گیپ تین گنا

اوپن ویٹ ایکو سسٹم کے لیے سب سے زیادہ سنجیدہ تلاش: بہترین اوپن ماڈل اور مجموعی لیڈر کے درمیان فرق تین گنا بڑھ گیا، v4.3 میں 3 پوائنٹس سے v5 میں 12 پوائنٹس تک بڑھ گیا۔

Kimi's K3.1 Pro 46 پر سب سے اوپر اوپن ویٹ ماڈل ہے - لیکن اس کا وزن ابھی تک جاری نہیں کیا گیا ہے۔ جاری کردہ وزن والے ماڈلز میں، DeepSeek کا V4.1 Flash 1017 (زیادہ سے زیادہ) اور Z.ai کا GLM-5.3 (زیادہ سے زیادہ) 32 پر لیڈ ہے، جو Claude Opus 5.5 سے مکمل 26 پوائنٹ پیچھے اور Claude Haiku 5.5 (زیادہ سے زیادہ) سے نیچے 36 پر ہے۔

فرق سخت ترین ایجنٹی بینچ مارکس پر سب سے زیادہ وسیع ہے۔ HLE-Diamond پر، Kimi K3.1 Pro نے Opus 5.5 کے 68 فیصد کے مقابلے میں 37 فیصد اسکور کیا۔ ٹرمینل-بینچ-سائنس پر، GPT-6 Astra کے 63 فیصد کے مقابلے میں 34 فیصد۔ زیادہ تر اوپن ویٹ ماڈلز نے سائنس بینچ مارک پر 10 فیصد سے کم اسکور کو بینچ مارک کیا۔

قیمت فی ٹاسک تیرہ گنا مختلف ہوتی ہے۔

لاگت ایک فیصلہ کن متغیر رہتی ہے۔ سب سے زیادہ اسکور کرنے والے دس ماڈلز میں، GPT-6.1 Terra (زیادہ سے زیادہ) $0.96 فی انٹیلی جنس انڈیکس ٹاسک میں سب سے سستا ہے، جب کہ Claude Fable 5.1 (max) $13.04 پر سب سے زیادہ مہنگا ہے - جو 13 گنا سے زیادہ پھیلتا ہے۔

کارکردگی کی کہانی دلیل کے طور پر v5 کا سب سے زیادہ عملی راستہ ہے: GPT-6.1 Sol (زیادہ سے زیادہ) Claude Opus 5.5 کے 4 پوائنٹس کے اندر اسکور کرتا ہے جبکہ Opus کے $10.04 کے مقابلے $1.27 پر فی ٹاسک کی لاگت تقریباً آٹھواں ہے۔ GPT-6 Astra (زیادہ سے زیادہ) ان کے درمیان $6.24 پر بیٹھتا ہے۔

پرائیویٹ بینچ مارکس کیوں اہم ہیں۔

پرائیویٹ ایویلیویشن سیٹس کی طرف تبدیلی انڈسٹری کے وسیع مسئلے کی عکاسی کرتی ہے: عوامی بینچ مارکس ٹریننگ ڈیٹا میں لیک ہو جاتے ہیں اور سیر ہو جاتے ہیں، جس سے لیڈر بورڈ پر اعتماد کرنا ناممکن ہو جاتا ہے۔ FrontierCode 2.0 کے ساتھ، کاموں کی درجہ بندی کی جاتی ہے کہ آیا کوئی مینٹینر تبدیلی کو ضم کرے گا - کسی بھی بلاکنگ چیک کی ناکامی پر صفر اسکور کرنے کے ساتھ - اور کام کی فہرست نجی رہتی ہے۔

یہ v5 کو گیم کے لیے مشکل ترین معیارات میں سے ایک بناتا ہے، اور اس کے فیصلے میں وزن ہے: فرنٹیئر کی قیادت Anthropic اور OpenAI کر رہے ہیں، کوشش کی ترتیبات پہلے سے کہیں زیادہ اہمیت رکھتی ہیں، اور کھلے وزن والے ماڈلز کے پاس ایجنٹی کاموں کی بحالی کے لیے سنجیدہ بنیاد ہے جو تیزی سے حقیقی دنیا کے AI کام کی وضاحت کرتے ہیں۔

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →