बेंचमार्क फर्म आर्टिफिशियल एनालिसिस ने अपने इंटेलिजेंस इंडेक्स का संस्करण 5 लॉन्च किया है, इसे जनवरी में वी4 की शुरुआत के बाद से अपने समग्र मॉडल रैंकिंग में सबसे बड़ा अपग्रेड बताया है। शीर्षक परिवर्तन: पहली बार, सूचकांक का 60 प्रतिशत निजी परीक्षण सेट या रुके हुए उत्तरों के साथ मूल्यांकन पर बनाया गया है - बेंचमार्क संदूषण समस्याओं का सीधा जवाब जिसने सार्वजनिक लीडरबोर्ड में विश्वास को कम कर दिया है।

यह फेरबदल शीर्ष पर स्पष्ट फैसले के साथ आता है। क्लाउड ओपस 5.5 (अधिकतम) 58 पर वी5 इंडेक्स में सबसे आगे है, जीपीटी-6 एस्ट्रा (अधिकतम) 57 पर और जीपीटी-6.1 सोल (अधिकतम) 55 पर आगे है। एंथ्रोपिक और ओपनएआई एक साथ शीर्ष पांच स्थानों पर हैं, Google का जेमिनी 4 आर्गन (उच्च) 50 पर अगले स्थान पर है। For more context on this story, see our ongoing more AI stories.

##v5 में क्या परिवर्तन हुआ

V5 सूचकांक को चार समान रूप से भारित श्रेणियों में व्यवस्थित किया गया है - ज्ञान कार्य, कोडिंग, विज्ञान और सामान्य - प्रत्येक का मूल्य 25 प्रतिशत है। दो बेंचमार्क पूरी तरह से नए हैं, और तीन को बड़े उन्नयन प्राप्त हुए हैं:

  • फ्रंटियरकोड 2.0 (नया)। ओपन-सोर्स रिपॉजिटरी में 132 वास्तविक-विश्व कोडिंग कार्यों का कॉग्निशन का निजी बेंचमार्क, इस आधार पर वर्गीकृत किया गया है कि रिपॉजिटरी मेंटेनर वास्तव में एजेंट के परिवर्तन को मर्ज करेगा या नहीं। संदूषण से बचने के लिए कार्य निजी रहते हैं, और आर्टिफिशियल एनालिसिस अपने स्टिरप एजेंट हार्नेस में प्रत्येक कार्य को तीन बार चलाता है।
  • टर्मिनल-बेंच-साइंस (नया)। सत्तर एजेंटिक वैज्ञानिक अनुसंधान कार्यों को एक टर्मिनल वातावरण में निष्पादित किया जाता है, जहां एक कार्य केवल तभी पास होता है जब उसका प्रत्येक परीक्षण पास हो जाता है।
  • एचएलई-डायमंड (उन्नत)। एआई सुरक्षा और स्केल एआई केंद्र से मानवता की अंतिम परीक्षा का एक परिष्कृत 1,000-प्रश्न संस्करण, मूल एचएलई की जगह, तर्क और ज्ञान प्रश्नों के बीच समान रूप से विभाजित है।
  • एए-सर्वज्ञता v1.1 (उन्नत)। संतृप्त और सार्वजनिक प्रश्नों के साथ एक साफ ज्ञान और मतिभ्रम डेटासेट हटा दिया गया।
  • CritPt v2 हार्ड सब्सेट (उन्नत)। अनुसंधान-स्तरीय भौतिकी बेंचमार्क का एक निजी 40-प्रश्न हार्ड सब्सेट, इसके लेखकों द्वारा संशोधित और कोड निष्पादन के साथ चलता है।

सूचकांक से गायब: GDPval-AA v2.1, SciCode और AA-LCR v1.1। कृत्रिम विश्लेषण ने एक साथी प्रगति सूचकांक v1 भी लॉन्च किया, जो एकल निरंतर पैमाने पर समय के साथ मॉडल क्षमता को ट्रैक करता है।

क्लॉड ओपस 5.5 समग्र बढ़त लेता है

क्लाउड ओपस 5.5 (अधिकतम) नौ व्यक्तिगत मूल्यांकनों में से तीन में सबसे आगे है: फ्रंटियरकोड 2.0 46 प्रतिशत पर, एचएलई-डायमंड 68 प्रतिशत पर और एए-ओम्निसाइंस वी1.1 48 पर। कोई भी एक मॉडल हर चीज में आगे नहीं है - पांच अन्य मॉडल शेष छह बेंचमार्क में शीर्ष पर हैं।

जीपीटी-6 एस्ट्रा (अधिकतम) 63 प्रतिशत के साथ टर्मिनल-बेंच-साइंस और 72 प्रतिशत के साथ क्रिटपीटी वी2 हार्ड सबसेट से आगे है, जो लंबी दूरी के वैज्ञानिक कार्यों में ओपनएआई की ताकत की पुष्टि करता है। क्लॉड सॉनेट 5.5 1812 एलो पर एए-ब्रीफ़केस में शीर्ष पर है, किमी का के3.1 प्रो 67 प्रतिशत के साथ टर्मिनल-बेंच 4.0 से आगे है, जेमिनी 4 आर्गन 78 प्रतिशत के साथ ऑटोमेशनबेंच-एए से आगे है, और म्यूज़ वंडर फुल 33 प्रतिशत ऑल-पास के साथ जीडीपी.पीडीएफ से आगे है।

एचएलई-डायमंड परिणामों में एक स्पष्ट विवरण शामिल है: अग्रणी मॉडल ज्ञान की तुलना में तर्क पर कहीं बेहतर स्कोर करते हैं। क्लॉड ओपस 5.5 और जीपीटी-6 एस्ट्रा दोनों ने तार्किक प्रश्नों पर 78 प्रतिशत अंक प्राप्त किए, लेकिन ज्ञान पर क्रमशः 58 और 50 प्रतिशत तक गिर गए - सबूत है कि सीमांत प्रणालियाँ अभी भी मतिभ्रम करती हैं या उनके तर्क स्कोर से अधिक बार तथ्यों की कमी होती है।

ओपन-वेट गैप ट्रिपल

ओपन-वेट इकोसिस्टम के लिए सबसे गंभीर खोज: सर्वश्रेष्ठ ओपन मॉडल और समग्र लीडर के बीच का अंतर तीन गुना हो गया, जो v4.3 में 3 अंक से बढ़कर v5 में 12 अंक हो गया।

किमी का K3.1 प्रो 46 पर शीर्ष ओपन-वेट मॉडल है - लेकिन इसका वजन अभी तक जारी नहीं किया गया है। जारी वजन वाले मॉडलों में, डीपसीक का V4.1 फ्लैश 1017 (अधिकतम) और Z.ai का GLM-5.3 (अधिकतम) 32 पर आगे है, जो क्लाउड ओपस 5.5 से पूरे 26 अंक पीछे है और क्लाउड हाइकु 5.5 (अधिकतम) से 36 अंक नीचे है।

सबसे कठिन एजेंटिक बेंचमार्क पर अंतर सबसे अधिक है। एचएलई-डायमंड पर किमी K3.1 प्रो का स्कोर ओपस 5.5 के 68 प्रतिशत के मुकाबले 37 प्रतिशत है; टर्मिनल-बेंच-साइंस पर, जीपीटी-6 एस्ट्रा के 63 प्रतिशत के मुकाबले 34 प्रतिशत। अधिकांश ओपन-वेट मॉडलों ने विज्ञान बेंचमार्क पर 10 प्रतिशत से कम स्कोर प्राप्त किया।

प्रति कार्य मूल्य तेरह गुना भिन्न होता है

लागत एक निर्णायक चर बनी हुई है. उच्चतम स्कोरिंग वाले दस मॉडलों में, GPT-6.1 टेरा (अधिकतम) $0.96 प्रति इंटेलिजेंस इंडेक्स कार्य के साथ सबसे सस्ता है, जबकि क्लाउड फैबल 5.1 (अधिकतम) $13.04 के साथ सबसे महंगा है - जो कि 13 गुना से अधिक का प्रसार है।

दक्षता की कहानी यकीनन v5 की सबसे व्यावहारिक उपलब्धि है: GPT-6.1 Sol (अधिकतम) का स्कोर क्लाउड ओपस 5.5 के 4 अंकों के भीतर है, जबकि प्रति कार्य लगभग आठवें हिस्से की लागत, $1.27 बनाम ओपस की $10.04 है। GPT-6 एस्ट्रा (अधिकतम) उनके बीच $6.24 पर बैठता है।

निजी बेंचमार्क क्यों मायने रखते हैं

निजी मूल्यांकन सेट की ओर बदलाव एक उद्योग-व्यापी समस्या को दर्शाता है: सार्वजनिक बेंचमार्क प्रशिक्षण डेटा में लीक हो जाते हैं और संतृप्त हो जाते हैं, जिससे लीडरबोर्ड के लाभ पर भरोसा करना असंभव हो जाता है। फ्रंटियरकोड 2.0 के साथ, कार्यों को इस आधार पर वर्गीकृत किया जाता है कि क्या एक अनुरक्षक परिवर्तन को मर्ज करेगा - किसी भी अवरुद्ध चेक विफलता के साथ शून्य स्कोरिंग - और कार्य सूची निजी बनी रहती है।

यह v5 को गेम के लिए कठिन बेंचमार्क में से एक बनाता है, और इसके फैसले में वजन होता है: फ्रंटियर का नेतृत्व एंथ्रोपिक और ओपनएआई द्वारा किया जाता है, प्रयास सेटिंग्स पहले से कहीं अधिक मायने रखती हैं, और ओपन-वेट मॉडल के पास एजेंटिक कार्यों पर पुनर्प्राप्त करने के लिए गंभीर आधार हैं जो वास्तविक दुनिया एआई कार्य को तेजी से परिभाषित करते हैं।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →