பெஞ்ச்மார்க் நிறுவனமான ஆர்டிஃபிஷியல் அனாலிசிஸ் அதன் நுண்ணறிவு குறியீட்டின் பதிப்பு 5 ஐ அறிமுகப்படுத்தியுள்ளது, இது ஜனவரி மாதம் v4 அறிமுகமானதிலிருந்து அதன் கூட்டு மாதிரி தரவரிசையில் மிகப்பெரிய மேம்படுத்தல் என்று அழைக்கிறது. தலைப்பு மாற்றம்: முதல்முறையாக, 60 சதவீத குறியீட்டு தனிப்பட்ட சோதனைத் தொகுப்புகள் அல்லது ஒத்திவைக்கப்பட்ட பதில்களைக் கொண்ட மதிப்பீடுகளின் அடிப்படையில் கட்டமைக்கப்பட்டுள்ளது - இது பொது லீடர்போர்டுகள் மீதான நம்பிக்கையை சிதைத்த முக்கிய மாசு பிரச்சனைகளுக்கு நேரடியான பதில்.

மறுசீரமைப்பு மேலிடத்தில் தெளிவான தீர்ப்பு வருகிறது. கிளாட் ஓபஸ் 5.5 (அதிகபட்சம்) v5 குறியீட்டில் 58 இல் முன்னணியில் உள்ளது, GPT-6 Astra (அதிகபட்சம்) 57 இல் மற்றும் GPT-6.1 Sol (அதிகபட்சம்) 55 இல் முன்னணியில் உள்ளது. Anthropic மற்றும் OpenAI ஆகியவை இணைந்து முதல் ஐந்து இடங்களைப் பிடித்துள்ளன, Google இன் ஜெமினி 4 ஆர்கான் (உயர்ந்த) அடுத்த 50. For more context on this story, see our ongoing more AI stories.

v5 இல் என்ன மாற்றம் ஏற்பட்டது

v5 இன்டெக்ஸ் நான்கு சம எடையுள்ள வகைகளாக ஒழுங்கமைக்கப்பட்டுள்ளது - அறிவு வேலை, குறியீட்டு முறை, அறிவியல் மற்றும் பொது - ஒவ்வொன்றும் 25 சதவிகிதம். இரண்டு வரையறைகள் முற்றிலும் புதியவை, மேலும் மூன்று பெரிய மேம்படுத்தல்கள் பெற்றன:

  • **FrontierCode 2.0 (புதிய) மாசுபடுவதைத் தவிர்க்க, பணிகள் தனிப்பட்டதாக இருக்கும், மேலும் செயற்கைப் பகுப்பாய்வு ஒவ்வொரு பணியையும் அதன் ஸ்டிரப் ஏஜென்டிக் சேனலில் மூன்று முறை இயக்குகிறது.
  • டெர்மினல்-பெஞ்ச்-சயின்ஸ் (புதியது). டெர்மினல் சூழலில் எழுபது ஏஜென்டிக் அறிவியல் ஆராய்ச்சி பணிகள் செயல்படுத்தப்படுகின்றன, அங்கு ஒரு பணி அதன் ஒவ்வொரு சோதனையும் தேர்ச்சி பெற்றால் மட்டுமே கடந்து செல்லும்.
  • HLE-டயமண்ட் (மேம்படுத்தப்பட்டது). AI பாதுகாப்பு மற்றும் அளவுகோல் AI மையத்திலிருந்து மனிதநேயத்தின் கடைசித் தேர்வின் 1,000-கேள்விகளின் சுத்திகரிக்கப்பட்ட பதிப்பு, பகுத்தறிவு மற்றும் அறிவு கேள்விகளுக்கு இடையில் சமமாக பிரிக்கப்பட்டு, அசல் HLE ஐ மாற்றுகிறது.
  • AA-Omniscience v1.1 (மேம்படுத்தப்பட்டது). நிறைவுற்ற மற்றும் பொது கேள்விகள் அகற்றப்பட்ட சுத்தப்படுத்தப்பட்ட அறிவு மற்றும் மாயத்தோற்றம் தரவுத்தொகுப்பு.
  • CritPt v2 கடின துணைக்குழு (மேம்படுத்தப்பட்டது). ஆராய்ச்சி-நிலை இயற்பியல் அளவுகோலின் தனிப்பட்ட 40-கேள்வி கடினமான துணைக்குழு, அதன் ஆசிரியர்களால் திருத்தப்பட்டு குறியீடு செயல்படுத்துதலுடன் இயங்குகிறது.

குறியீட்டிலிருந்து வெளியேறியது: GDPval-AA v2.1, SciCode மற்றும் AA-LCR v1.1. செயற்கைப் பகுப்பாய்வு ஒரு துணை முன்னேற்ற அட்டவணை v1 ஐ அறிமுகப்படுத்தியது, இது ஒரு தொடர்ச்சியான அளவில் காலப்போக்கில் மாதிரித் திறனைக் கண்காணிக்கிறது.

கிளாட் ஓபஸ் 5.5 ஒட்டுமொத்த முன்னணியில் உள்ளது

Claude Opus 5.5 (அதிகபட்சம்) ஒன்பது தனிப்பட்ட மதிப்பீடுகளில் மூன்றில் முன்னணியில் உள்ளது: FrontierCode 2.0 46 சதவிகிதம், HLE-டயமண்ட் 68 சதவிகிதம் மற்றும் AA-Omniscience v1.1 48. எந்த ஒரு மாதிரியும் எல்லாவற்றிலும் முன்னணியில் இல்லை - மீதமுள்ள ஆறு அளவுகோல்களில் மற்ற ஐந்து மாதிரிகள் முதலிடம் வகிக்கின்றன.

GPT-6 Astra (அதிகபட்சம்) டெர்மினல்-பெஞ்ச்-சயின்ஸை 63 சதவீதத்திலும், CritPt v2 ஹார்ட் துணைக்குழு 72 சதவீதத்திலும் முன்னணியில் உள்ளது, இது நீண்ட கால அறிவியல் வேலைகளில் OpenAI இன் வலிமையை உறுதிப்படுத்துகிறது. Claude Sonnet 5.5 AA-Briefcase இல் 1812 Elo இல் முதலிடம் வகிக்கிறது, Kimi's K3.1 Pro டெர்மினல்-பெஞ்ச் 4.0 ஐ 67 சதவீதத்தில் முன்னிலை வகிக்கிறது, ஜெமினி 4 ஆர்கான் ஆட்டோமேஷன்பெஞ்ச்-AA 78 சதவீதத்தில் முன்னணியில் உள்ளது, மற்றும் மியூஸ் வொண்டர் ஃபுல் GDP3.pdf அனைத்திலும் முன்னணியில் உள்ளது.

HLE-டயமண்ட் முடிவுகள் ஒரு சொல்லும் விவரத்தைக் கொண்டிருக்கின்றன: முன்னணி மாடல்கள் அறிவைக் காட்டிலும் பகுத்தறிவிலேயே சிறந்த மதிப்பெண்களைப் பெறுகின்றன. கிளாட் ஓபஸ் 5.5 மற்றும் GPT-6 அஸ்ட்ரா இரண்டும் பகுத்தறிவுக் கேள்விகளில் 78 சதவீதத்தைப் பெற்றன, ஆனால் அறிவின் அடிப்படையில் முறையே 58 மற்றும் 50 சதவீதமாகக் குறைகின்றன - எல்லைப்புற அமைப்புகள் கூட அவற்றின் பகுத்தறிவு மதிப்பெண்களைக் காட்டிலும் அடிக்கடி உண்மைகளை மாயத்தோற்றம் செய்கின்றன அல்லது இல்லை என்பதற்கான சான்றுகள்.

திறந்த எடை இடைவெளி மும்மடங்கு

திறந்த எடைகள் சுற்றுச்சூழல் அமைப்பிற்கான மிகவும் நிதானமான கண்டுபிடிப்பு: சிறந்த திறந்த மாடலுக்கும் ஒட்டுமொத்த தலைவருக்கும் இடையிலான இடைவெளி மூன்று மடங்காக அதிகரித்தது, v4.3 இல் 3 புள்ளிகளிலிருந்து v5 இல் 12 புள்ளிகள் வரை.

கிமியின் K3.1 ப்ரோ 46 இல் சிறந்த திறந்த எடை மாடலாக உள்ளது - ஆனால் அதன் எடைகள் இன்னும் வெளியிடப்படவில்லை. வெளியிடப்பட்ட எடைகள் கொண்ட மாடல்களில், DeepSeek இன் V4.1 Flash 1017 (அதிகபட்சம்) மற்றும் Z.ai இன் GLM-5.3 (அதிகபட்சம்) 32 இல் முன்னணியில் உள்ளன, Claude Opus 5.5 க்குக் கீழே 26 புள்ளிகள் மற்றும் 36 இல் Claude Haiku 5.5 (அதிகபட்சம்) கீழே உள்ளன.

கடினமான ஏஜென்டிக் வரையறைகளில் இடைவெளி அதிகமாக உள்ளது. எச்எல்இ-டயமண்டில், ஓபஸ் 5.5 இன் 68 சதவீதத்திற்கு எதிராக கிமி கே3.1 ப்ரோ 37 சதவீத மதிப்பெண்களைப் பெற்றது; டெர்மினல்-பெஞ்ச்-சயின்ஸில் 34 சதவீதம், GPT-6 அஸ்ட்ராவின் 63 சதவீதம். பெரும்பாலான ஓப்பன் வெயிட்ஸ் மாடல்கள், அறிவியல் அளவுகோலில் 10 சதவீதத்திற்கும் குறைவான மதிப்பெண்களைப் பெற்றுள்ளன.

ஒரு பணிக்கான விலை பதின்மூன்று மடங்கு மாறுபடும்

விலை ஒரு தீர்க்கமான மாறியாக உள்ளது. பத்து அதிக மதிப்பெண் பெற்ற மாடல்களில், GPT-6.1 டெர்ரா (அதிகபட்சம்) ஒரு நுண்ணறிவு குறியீட்டு பணிக்கு $0.96 விலையில் மலிவானது, அதே சமயம் Claude Fable 5.1 (அதிகபட்சம்) $13.04 - 13 மடங்குக்கும் அதிகமான பரவலானது.

செயல்திறன் கதை விவாதத்திற்குரிய v5 இன் மிகவும் நடைமுறையான டேக்அவே ஆகும்: GPT-6.1 Sol (அதிகபட்சம்) மதிப்பெண்கள் கிளாட் ஓபஸ் 5.5 இன் 4 புள்ளிகளுக்குள் இருக்கும், அதே நேரத்தில் ஒரு பணிக்கு எட்டில் ஒரு பங்கு செலவாகும், ஓபஸின் $10.04க்கு எதிராக $1.27. GPT-6 அஸ்ட்ரா (அதிகபட்சம்) $6.24 இல் அவர்களுக்கு இடையே அமர்ந்திருக்கிறது.

ஏன் தனிப்பட்ட வரையறைகள் முக்கியம்

தனியார் மதிப்பீட்டுத் தொகுப்புகளை நோக்கிய மாற்றம் தொழில்துறை அளவிலான சிக்கலைப் பிரதிபலிக்கிறது: பொது வரையறைகள் பயிற்சித் தரவுகளில் கசிந்து நிறைவுற்றது, லீடர்போர்டு ஆதாயங்களை நம்ப முடியாததாக ஆக்குகிறது. FrontierCode 2.0 உடன், ஒரு பராமரிப்பாளர் மாற்றத்தை ஒன்றிணைப்பாரா என்பது குறித்த பணிகள் தரப்படுத்தப்படுகின்றன - ஏதேனும் தடுக்கும் சோதனை தோல்வி பூஜ்ஜியமாக இருந்தால் - மற்றும் பணி பட்டியல் தனிப்பட்டதாகவே இருக்கும்.

இது v5 ஐ கேமிற்கான கடினமான வரையறைகளில் ஒன்றாக ஆக்குகிறது, மேலும் அதன் தீர்ப்பு எடையைக் கொண்டுள்ளது: எல்லையானது மானுடவியல் மற்றும் OpenAI ஆல் வழிநடத்தப்படுகிறது, முயற்சி அமைப்புகள் முன்னெப்போதையும் விட முக்கியமானவை, மேலும் திறந்த எடை மாதிரிகள் நிஜ-உலக AI வேலைகளை அதிகளவில் வரையறுக்கும் முகவர் பணிகளை மீட்டெடுக்க தீவிரமான அடித்தளத்தைக் கொண்டுள்ளன.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →