বেঞ্চমার্ক ফার্ম কৃত্রিম বিশ্লেষণ তার ইন্টেলিজেন্স সূচকের সংস্করণ 5 চালু করেছে, এটিকে জানুয়ারিতে v4 আত্মপ্রকাশের পর থেকে এটির যৌগিক মডেল র‌্যাঙ্কিংয়ে সবচেয়ে বড় আপগ্রেড বলে অভিহিত করেছে। শিরোনাম পরিবর্তন: প্রথমবারের মতো, সূচকের 60 শতাংশ প্রাইভেট টেস্ট সেট বা হোল্ড-আউট উত্তরগুলির সাথে মূল্যায়নের উপর নির্মিত - বেঞ্চমার্ক দূষণ সমস্যাগুলির সরাসরি প্রতিক্রিয়া যা পাবলিক লিডারবোর্ডের উপর আস্থা নষ্ট করেছে।

রদবদল শীর্ষে একটি স্পষ্ট রায় দিয়ে আসে। Claude Opus 5.5 (সর্বোচ্চ) v5 সূচকে 58-এ এগিয়ে, GPT-6 Astra (সর্বোচ্চ) 57-এ এগিয়ে এবং GPT-6.1 Sol (সর্বোচ্চ) 55-এ এগিয়ে। Anthropic এবং OpenAI একসঙ্গে শীর্ষ পাঁচটি অবস্থান ধরে রেখেছে, Google-এর Gemini 4 Argon (উচ্চ) এর পরে 50 নম্বরে রয়েছে। For more context on this story, see our ongoing AI trends.

v5 এ কি পরিবর্তন হয়েছে

v5 সূচকটি চারটি সমান ওজনযুক্ত বিভাগে সংগঠিত - জ্ঞানের কাজ, কোডিং, বিজ্ঞান এবং সাধারণ - প্রতিটির মূল্য 25 শতাংশ। দুটি বেঞ্চমার্ক সম্পূর্ণ নতুন, এবং তিনটি বড় আপগ্রেড পেয়েছে:

  • FrontierCode 2.0 (নতুন)। ওপেন-সোর্স রিপোজিটরিতে 132টি রিয়েল-ওয়ার্ল্ড কোডিং টাস্কের কগনিশনের ব্যক্তিগত বেঞ্চমার্ক, একটি রিপোজিটরি রক্ষণাবেক্ষণকারী আসলে এজেন্টের পরিবর্তনকে একত্রিত করবে কিনা তার উপর গ্রেড করা হয়েছে। দূষণ এড়াতে কাজগুলি ব্যক্তিগত থাকে, এবং কৃত্রিম বিশ্লেষণ প্রতিটি কাজকে তিনবার তার স্টিরাপ এজেন্টিক জোতা দিয়ে চালায়।
  • টার্মিনাল-বেঞ্চ-সায়েন্স (নতুন)। টার্মিনাল পরিবেশে সত্তরটি এজেন্টিক বৈজ্ঞানিক গবেষণা কার্য সম্পাদন করা হয়, যেখানে একটি টাস্ক শুধুমাত্র তার প্রতিটি পরীক্ষায় উত্তীর্ণ হলেই পাস হয়।
  • HLE-ডায়মন্ড (আপগ্রেড করা)। AI সেফটি অ্যান্ড স্কেল এআই সেন্টার থেকে হিউম্যানিটির শেষ পরীক্ষার একটি পরিমার্জিত 1,000-প্রশ্নের সংস্করণ, মূল HLE প্রতিস্থাপন করে যুক্তি এবং জ্ঞান প্রশ্নগুলির মধ্যে সমানভাবে বিভক্ত।
  • AA-অমনিসায়েন্স v1.1 (আপগ্রেড করা হয়েছে)। একটি পরিচ্ছন্ন জ্ঞান এবং হ্যালুসিনেশন ডেটাসেট স্যাচুরেটেড এবং পাবলিক প্রশ্ন মুছে ফেলা হয়েছে।
  • CritPt v2 হার্ড সাবসেট (আপগ্রেড করা হয়েছে)। গবেষণা-স্তরের পদার্থবিজ্ঞানের বেঞ্চমার্কের একটি ব্যক্তিগত 40-প্রশ্নের হার্ড সাবসেট, এটির লেখকদের দ্বারা সংশোধিত এবং কোড এক্সিকিউশন সহ চালিত।

সূচক থেকে চলে গেছে: GDPval-AA v2.1, SciCode এবং AA-LCR v1.1। কৃত্রিম বিশ্লেষণ একটি সহচর অগ্রগতি সূচক v1ও চালু করেছে, যা একটি একক ক্রমাগত স্কেলে সময়ের সাথে সাথে মডেলের ক্ষমতা ট্র্যাক করে।

Claude Opus 5.5 সামগ্রিক নেতৃত্ব নেয়

Claude Opus 5.5 (সর্বোচ্চ) নয়টি পৃথক মূল্যায়নের মধ্যে তিনটিতে নেতৃত্ব দেয়: FrontierCode 2.0 এ 46 শতাংশ, HLE-Diamond 68 শতাংশ এবং AA-Omniscience v1.1 এ 48। কোন একক মডেল সবকিছুতে নেতৃত্ব দেয় না - অন্য পাঁচটি মডেল বাকি ছয়টি বেঞ্চমার্কের শীর্ষে।

GPT-6 Astra (সর্বোচ্চ) টার্মিনাল-বেঞ্চ-সায়েন্সকে 63 শতাংশে এবং CritPt v2 হার্ড উপসেটকে 72 শতাংশে নেতৃত্ব দেয়, দীর্ঘ-দিগন্তের বৈজ্ঞানিক কাজে OpenAI-এর শক্তি নিশ্চিত করে। Claude Sonnet 5.5 AA-Briefcase-এ 1812 Elo-এ শীর্ষে, Kimi-এর K3.1 Pro 67 শতাংশে টার্মিনাল-বেঞ্চ 4.0-এ এগিয়ে, Gemini 4 Argon 78 শতাংশে AutomationBench-AA-এ এগিয়ে, এবং Muse Wonder Full GDP.pdf-এ সমস্ত-33 শতাংশে এগিয়ে৷

এইচএলই-ডায়মন্ড ফলাফলে একটি বিশদ বিবরণ রয়েছে: নেতৃস্থানীয় মডেলগুলি জ্ঞানের চেয়ে যুক্তিতে অনেক বেশি স্কোর করে। Claude Opus 5.5 এবং GPT-6 Astra উভয়ই যুক্তির প্রশ্নে 78 শতাংশ আঘাত করেছে, কিন্তু জ্ঞানের ক্ষেত্রে যথাক্রমে 58 এবং 50 শতাংশে নেমে এসেছে - প্রমাণ যে এমনকি সীমান্ত সিস্টেমগুলি এখনও তাদের যুক্তির স্কোরগুলির তুলনায় প্রায়শই হ্যালুসিনেট করে বা তথ্যের অভাব করে৷

ওপেন-ওয়েটস গ্যাপ তিনগুণ

ওপেন-ওয়েট ইকোসিস্টেমের জন্য সবচেয়ে উদ্বেগজনক অনুসন্ধান: সেরা উন্মুক্ত মডেল এবং সামগ্রিক নেতার মধ্যে ব্যবধান তিনগুণ বেড়েছে, v4.3-তে 3 পয়েন্ট থেকে v5-এ 12 পয়েন্টে প্রসারিত হয়েছে।

কিমির K3.1 প্রো হল 46-এ শীর্ষ ওপেন-ওয়েট মডেল — তবে এর ওজন এখনও প্রকাশ করা হয়নি। প্রকাশিত ওজন সহ মডেলগুলির মধ্যে, DeepSeek-এর V4.1 Flash 1017 (সর্বোচ্চ) এবং Z.ai-এর GLM-5.3 (সর্বোচ্চ) 32-এ এগিয়ে, সম্পূর্ণ 26 পয়েন্ট পিছনে Claude Opus 5.5 এবং নীচে Claude Haiku 5.5 (সর্বোচ্চ) 36-এ।

ব্যবধান সবচেয়ে কঠিন এজেন্টিক মানদণ্ডের মধ্যে প্রশস্ত। HLE-ডায়মন্ডে, Opus 5.5 এর 68 শতাংশের বিপরীতে Kimi K3.1 Pro স্কোর 37 শতাংশ; টার্মিনাল-বেঞ্চ-সায়েন্সে, GPT-6 Astra এর 63 শতাংশের বিপরীতে 34 শতাংশ। বেশিরভাগ ওপেন-ওয়েট মডেল বিজ্ঞানের বেঞ্চমার্কে 10 শতাংশের নিচে স্কোর করেছে।

প্রতি টাস্কের দাম তেরো গুণ পরিবর্তিত হয়

খরচ একটি নিষ্পত্তিমূলক পরিবর্তনশীল অবশেষ. দশটি সর্বোচ্চ স্কোরিং মডেলের মধ্যে, GPT-6.1 টেরা (সর্বোচ্চ) প্রতি ইন্টেলিজেন্স ইনডেক্স টাস্কে $0.96-এ সবচেয়ে সস্তা, যেখানে ক্লাউড ফেবল 5.1 (সর্বোচ্চ) সবচেয়ে দামি $13.04 - এটি 13-গুণেরও বেশি স্প্রেড।

দক্ষতার গল্পটি যুক্তিযুক্তভাবে v5 এর সবচেয়ে ব্যবহারিক টেকঅ্যাওয়ে: GPT-6.1 সল (সর্বোচ্চ) 4 পয়েন্টের মধ্যে ক্লড ওপাস 5.5 এর স্কোর করে যখন প্রতি টাস্কের প্রায় এক-অষ্টমাংশ খরচ হয়, $1.27 বনাম Opus এর $10.04। GPT-6 Astra (সর্বোচ্চ) তাদের মধ্যে বসে $6.24।

কেন প্রাইভেট বেঞ্চমার্ক ম্যাটার

ব্যক্তিগত মূল্যায়ন সেটের দিকে স্থানান্তর একটি শিল্প-ব্যাপী সমস্যাকে প্রতিফলিত করে: পাবলিক বেঞ্চমার্কগুলি প্রশিক্ষণের ডেটাতে ফাঁস করে এবং স্যাচুরেট করে, লিডারবোর্ড লাভকে বিশ্বাস করা অসম্ভব করে তোলে। FrontierCode 2.0 এর সাথে, একজন রক্ষণাবেক্ষণকারী পরিবর্তনটি একত্রিত করবে কিনা তার উপর কাজগুলি গ্রেড করা হয় — যে কোনও ব্লকিং চেক ব্যর্থতা শূন্য স্কোর করে — এবং টাস্ক তালিকাটি ব্যক্তিগত থাকে।

এটি v5 কে গেমের জন্য একটি কঠিন মাপকাঠি করে তোলে এবং এর রায়ের গুরুত্ব বহন করে: সীমানা নৃতাত্ত্বিক এবং OpenAI দ্বারা পরিচালিত হয়, প্রচেষ্টার সেটিংস আগের চেয়ে বেশি গুরুত্বপূর্ণ, এবং ওপেন-ওয়েট মডেলগুলির এজেন্টিক কাজগুলি পুনরুদ্ধার করার জন্য গুরুতর ভিত্তি রয়েছে যা বাস্তব-বিশ্ব AI কাজকে ক্রমবর্ধমানভাবে সংজ্ঞায়িত করে৷

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →