बेंचमार्क फर्म आर्टिफिशियल ॲनालिसिसने त्याच्या इंटेलिजेंस इंडेक्सची आवृत्ती 5 लाँच केली आहे, ज्याने जानेवारीमध्ये v4 पदार्पण केल्यापासून त्याच्या संमिश्र मॉडेल रँकिंगमधील सर्वात मोठे अपग्रेड म्हटले आहे. मथळा बदल: प्रथमच, 60 टक्के निर्देशांक खाजगी चाचणी संच किंवा ठेवलेल्या उत्तरांसह मूल्यमापनावर तयार केले गेले आहेत - बेंचमार्क दूषित समस्यांना थेट प्रतिसाद ज्यामुळे सार्वजनिक लीडरबोर्डवरील विश्वास कमी झाला आहे.

फेरबदल शीर्षस्थानी स्पष्ट निर्णयासह येतो. क्लॉड ओपस 5.5 (कमाल) v5 निर्देशांकात 58 वर आघाडीवर आहे, GPT-6 एस्ट्रा (कमाल) 57 वर आणि GPT-6.1 सोल (कमाल) 55 वर आहे. अँथ्रोपिक आणि OpenAI एकत्रितपणे शीर्ष पाच स्थानांवर आहेत, Google च्या जेमिनी 4 आर्गॉन (उच्च) 50 च्या पुढे. For more context on this story, see our ongoing more AI stories.

v5 मध्ये काय बदलले

v5 निर्देशांक चार समान भारित श्रेणींमध्ये आयोजित केला आहे - ज्ञान कार्य, कोडिंग, विज्ञान आणि सामान्य - प्रत्येकी 25 टक्के मूल्य आहे. दोन बेंचमार्क पूर्णपणे नवीन आहेत आणि तीन प्रमुख अपग्रेड प्राप्त झाले आहेत:

  • FrontierCode 2.0 (नवीन). ओपन-सोर्स रिपॉझिटरीजमधील 132 रिअल-वर्ल्ड कोडिंग टास्कचा कॉग्निशनचा खाजगी बेंचमार्क, रिपॉझिटरी मेंटेनर एजंटच्या बदलाला प्रत्यक्षात विलीन करेल की नाही यावर श्रेणीबद्ध. दूषित होऊ नये म्हणून कार्ये खाजगी राहतात आणि कृत्रिम विश्लेषण प्रत्येक कार्य त्याच्या स्टिरप एजंटिक हार्नेसमध्ये तीन वेळा चालते.
  • टर्मिनल-बेंच-सायन्स (नवीन). सत्तर एजंटिक वैज्ञानिक संशोधन कार्ये टर्मिनल वातावरणात अंमलात आणली जातात, जेथे एखादे कार्य केवळ त्यातील प्रत्येक चाचणी उत्तीर्ण झाले तरच उत्तीर्ण होते.
  • एचएलई-डायमंड (अपग्रेड केलेले). एआय सेफ्टी अँड स्केल एआयसाठी केंद्राकडून मानवतेच्या शेवटच्या परीक्षेची एक परिष्कृत 1,000-प्रश्नांची आवृत्ती, मूळ एचएलईच्या जागी तर्क आणि ज्ञान प्रश्नांमध्ये समान रीतीने विभागली गेली आहे.
  • AA- सर्वविज्ञान v1.1 (अपग्रेड केलेले). संतृप्त आणि सार्वजनिक प्रश्न काढून टाकलेले स्वच्छ ज्ञान आणि भ्रम डेटासेट.
  • CritPt v2 हार्ड सबसेट (अपग्रेड केलेला). संशोधन-स्तरीय भौतिकशास्त्र बेंचमार्कचा खाजगी 40-प्रश्न हार्ड सबसेट, त्याच्या लेखकांद्वारे सुधारित आणि कोड अंमलबजावणीसह चालवला जातो.

निर्देशांकातून गेले: GDPval-AA v2.1, SciCode आणि AA-LCR v1.1. आर्टिफिशियल ॲनालिसिसने सहचर प्रोग्रेस इंडेक्स v1 देखील लाँच केला, जो एकल सतत स्केलवर कालांतराने मॉडेल क्षमतेचा मागोवा घेतो.

क्लॉड ओपस 5.5 एकूण आघाडी घेते

क्लॉड ओपस 5.5 (कमाल) नऊपैकी तीन वैयक्तिक मूल्यमापनांमध्ये आघाडीवर आहे: फ्रंटियरकोड 2.0 46 टक्के, HLE-डायमंड 68 टक्के आणि AA-ऑम्निसायन्स v1.1 वर 48. कोणतेही एक मॉडेल सर्व गोष्टींमध्ये आघाडीवर नाही — पाच इतर मॉडेल उर्वरित सहा बेंचमार्कमध्ये शीर्षस्थानी आहेत.

GPT-6 Astra (max) टर्मिनल-बेंच-सायन्समध्ये 63 टक्के आणि CritPt v2 हार्ड सबसेट 72 टक्के आघाडीवर आहे, दीर्घ-क्षितिजाच्या वैज्ञानिक कार्यात OpenAI च्या सामर्थ्याची पुष्टी करते. Claude Sonnet 5.5 AA-Briefcase वर 1812 Elo वर, Kimi's K3.1 Pro ने टर्मिनल-बेंच 4.0 वर 67 टक्के, Gemini 4 Argon ने AutomationBench-AA वर 78 टक्के, आणि Muse Wonder Full ने GDP.pdf वर 33 टक्के आघाडी घेतली.

HLE-डायमंड परिणामांमध्ये एक सांगणारा तपशील असतो: आघाडीची मॉडेल्स ज्ञानापेक्षा तर्कशक्तीवर जास्त गुण मिळवतात. Claude Opus 5.5 आणि GPT-6 Astra या दोघांनी तर्कसंगत प्रश्नांवर 78 टक्के मारले, परंतु ज्ञानावर अनुक्रमे 58 आणि 50 टक्क्यांपर्यंत घसरले - पुरावा की अगदी सीमावर्ती प्रणाली अजूनही त्यांच्या तर्काच्या स्कोअरपेक्षा जास्त वेळा भ्रमित करतात किंवा तथ्यांचा अभाव करतात.

ओपन-वेट्स गॅप तिप्पट

ओपन-वेट इकोसिस्टमसाठी सर्वात चिंताजनक शोध: सर्वोत्कृष्ट ओपन मॉडेल आणि एकंदर लीडर यांच्यातील अंतर तिप्पट झाले, v4.3 मध्ये 3 पॉइंट्सवरून v5 मध्ये 12 पॉइंट्स झाले.

Kimi चे K3.1 Pro हे 46 वरचे टॉप ओपन-वेट मॉडेल आहे — परंतु त्याचे वजन अद्याप प्रसिद्ध झालेले नाही. रिलीझ वजन असलेल्या मॉडेल्समध्ये, DeepSeek चे V4.1 Flash 1017 (कमाल) आणि Z.ai चे GLM-5.3 (कमाल) 32 वर आघाडीवर आहेत, क्लॉड ओपस 5.5 पेक्षा पूर्ण 26 पॉइंट्स मागे आणि क्लॉड हायकू 5.5 (कमाल) 36 च्या खाली.

सर्वात कठीण एजंटिक बेंचमार्कमध्ये अंतर सर्वात जास्त आहे. HLE-डायमंड वर, Kimi K3.1 Pro ने Opus 5.5 च्या 68 टक्के विरुद्ध 37 टक्के गुण मिळवले; टर्मिनल-बेंच-सायन्सवर, GPT-6 Astra च्या 63 टक्के विरुद्ध 34 टक्के. बहुतेक ओपन-वेट मॉडेल्सने विज्ञान बेंचमार्कवर 10 टक्क्यांपेक्षा कमी गुण मिळवले.

प्रति कार्य किंमत तेरा पट बदलते

खर्च एक निर्णायक चल राहते. सर्वाधिक स्कोअर करणाऱ्या दहा मॉडेल्समध्ये, GPT-6.1 टेरा (कमाल) प्रति इंटेलिजेंस इंडेक्स टास्क $0.96 दराने सर्वात स्वस्त आहे, तर क्लॉड फेबल 5.1 (कमाल) $13.04 वर सर्वात महाग आहे - 13-पटीहून अधिक स्प्रेड.

कार्यक्षमतेची कहाणी ही v5 ची सर्वात व्यावहारिक गोष्ट आहे: GPT-6.1 सोल (कमाल) क्लॉड ओपस 5.5 च्या 4 गुणांच्या आत स्कोअर करते, तर प्रति कार्य $1.27 विरुद्ध ओपसच्या $10.04 वर खर्च होतो. GPT-6 Astra (कमाल) त्यांच्या दरम्यान $6.24 वर बसते.

खाजगी बेंचमार्क महत्त्वाचे का

खाजगी मूल्यमापन संचांकडे होणारा बदल उद्योग-व्यापी समस्या प्रतिबिंबित करतो: सार्वजनिक बेंचमार्क प्रशिक्षण डेटामध्ये लीक होतात आणि संतृप्त होतात, ज्यामुळे लीडरबोर्डवरील नफ्यावर विश्वास ठेवणे अशक्य होते. FrontierCode 2.0 सह, देखभालकर्ता बदल विलीन करेल की नाही यावर कार्यांची श्रेणीबद्ध केली जाते — कोणत्याही ब्लॉकिंग चेक अयशस्वी स्कोअरिंग शून्यासह — आणि कार्य सूची खाजगी राहते.

ते v5 ला गेमसाठी एक कठीण बेंचमार्क बनवते आणि त्याच्या निर्णयाचे वजन आहे: सीमारेषा Anthropic आणि OpenAI द्वारे चालविली जाते, प्रयत्न सेटिंग्ज नेहमीपेक्षा जास्त महत्त्वाची आहेत आणि ओपन-वेट मॉडेल्सकडे वास्तविक-जगातील AI कार्याची वाढत्या व्याख्या करणाऱ्या एजंटिक कार्यांवर पुनर्प्राप्त करण्यासाठी गंभीर आधार आहे.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →