Компанія Artificial Analysis випустила п’яту версію свого Індексу інтелекту, назвавши це найбільшим оновленням рейтингу складених моделей з моменту дебюту v4 у січні. Зміна заголовка: вперше 60 відсотків Індексу побудовано на оцінках із приватними наборами тестів або закритими відповідями — пряма відповідь на проблеми із зараженням тестами, які підірвали довіру до публічних таблиць лідерів.

Перестановка приходить із чітким вердиктом нагорі. Claude Opus 5.5 (макс.) лідирує в індексі v5 з 58, випереджаючи GPT-6 Astra (макс.) з 57 і GPT-6.1 Sol (макс.) з 55. Anthropic і OpenAI разом утримують першу п’ять позицій, а Gemini 4 Argon (високий) від Google — 50. For more context on this story, see our ongoing more AI stories.

Що змінилося у v5

Індекс версії 5 організовано за чотирма рівноважними категоріями — робота зі знаннями, кодування, наука та загальні — кожна з них має оцінку 25 відсотків. Два тести повністю нові, а три отримали значні оновлення:

  • FrontierCode 2.0 (новий). Приватний тест Cognition із 132 реальних завдань кодування в репозиторіях з відкритим кодом, які оцінюються залежно від того, чи супроводжуючий репозиторій дійсно об’єднає зміни агента. Завдання залишаються приватними, щоб уникнути зараження, а Artificial Analysis запускає кожне завдання три рази в системі агентів Stirrup.
  • Terminal-Bench-Science (новий). Сімдесят агентних науково-дослідницьких завдань, що виконуються в термінальному середовищі, де завдання проходить, лише якщо всі його тести проходять.
  • HLE-Diamond (оновлений). Удосконалена версія останнього іспиту Humanity's Exam із 1000 запитань від Центру безпеки штучного інтелекту та масштабного штучного інтелекту, рівномірно розподілених між запитаннями про міркування та знаннями, замінивши оригінальний HLE.
  • AA-Omniscience v1.1 (оновлений). Очищений набір даних про знання та галюцинації з видаленням насичених і публічних питань.
  • Складна підмножина CritPt v2 (оновлена). Приватна жорстка підмножина з 40 запитань тесту фізики дослідницького рівня, переглянута його авторами та запускається з виконанням коду.

Вийшли з Індексу: GDPval-AA v2.1, SciCode і AA-LCR v1.1. Artificial Analysis також запустив супутній індекс прогресу версії 1, який відстежує можливості моделі з часом на одній безперервній шкалі.

Claude Opus 5.5 бере загальне лідерство

Claude Opus 5.5 (макс.) лідирує в трьох із дев’яти окремих оцінок: FrontierCode 2.0 — 46 відсотків, HLE-Diamond — 68 відсотків і AA-Omniscience v1.1 — 48 відсотків. Жодна модель не лідирує у всьому — п’ять інших моделей перевищують решту шести тестів.

GPT-6 Astra (max) лідирує у Terminal-Bench-Science із 63 відсотками та жорсткою підмножиною CritPt v2 із 72 відсотками, підтверджуючи силу OpenAI у довгостроковій науковій роботі. Claude Sonnet 5.5 перевершує AA-Briefcase на 1812 Elo, Kimi K3.1 Pro лідирує у Terminal-Bench 4.0 із 67 відсотками, Gemini 4 Argon лідирує у AutomationBench-AA із 78 відсотками, а Muse Wonder Full лідирує у GDP.pdf із 33 відсотками повного проходження.

Результати HLE-Diamond містять промовисту деталь: провідні моделі оцінюють набагато краще міркування, ніж знання. Claude Opus 5.5 і GPT-6 Astra досягли 78 відсотків у питаннях про міркування, але впали до 58 і 50 відсотків відповідно щодо знань — доказ того, що навіть прикордонні системи все ще галюцинують або бракують фактів частіше, ніж показують їхні оцінки міркування.

Розрив відкритих ваг потроюється

Найбільш тривожний висновок для екосистеми відкритих ваг: розрив між найкращою відкритою моделлю та загальним лідером потроївся, збільшившись із 3 балів у v4.3 до 12 балів у v5.

K3.1 Pro від Kimi є найпопулярнішою моделлю з відкритою вагою 46 років, але її вага ще не оприлюднена. Серед моделей із випущеними вагами DeepSeek V4.1 Flash 1017 (макс.) і GLM-5.3 (макс.) від Z.ai лідирують із 32, на цілих 26 балів відстаючи від Claude Opus 5.5 і нижче від Claude Haiku 5.5 (макс.) із 36.

Розрив найбільший у найскладніших агентських тестах. На HLE-Diamond Kimi K3.1 Pro набирає 37 відсотків проти 68 відсотків у Opus 5.5; на Terminal-Bench-Science — 34 відсотки проти 63 відсотків GPT-6 Astra. Більшість моделей із відкритою вагою, які пройшли тестування, мають оцінку нижче 10 відсотків за науковим тестом.

Ціна за завдання змінюється в тринадцять разів

Вартість залишається вирішальною змінною. Серед десяти моделей із найвищим результатом GPT-6.1 Terra (макс.) є найдешевшою — 0,96 дол. США за завдання Індексу інтелекту, а Claude Fable 5.1 (макс.) — найдорожча — 13,04 дол. США — розкид у понад 13 разів.

Історія про ефективність є, мабуть, найпрактичнішим висновком версії 5: GPT-6.1 Sol (макс.) набирає в межах 4 балів від Claude Opus 5.5, а коштує приблизно на одну восьму менше за завдання, 1,27 долара проти 10,04 долара Opus. GPT-6 Astra (макс.) стоїть між ними за 6,24 дол.

Чому приватні контрольні показники важливі

Перехід до приватних наборів оцінок відображає загальноіндустріальну проблему: загальнодоступні контрольні показники просочуються в навчальні дані та насичуються, що робить неможливим довіру до результатів таблиці лідерів. За допомогою FrontierCode 2.0 завдання оцінюються залежно від того, чи буде супроводжувач об’єднати зміни — будь-яка помилка перевірки блокування оцінюється нульовою оцінкою — і список завдань залишається закритим.

Це робить v5 одним із найскладніших еталонних тестів для ігор, і його вердикт має вагу: лідерство досягнуто Anthropic і OpenAI, параметри зусиль важливіші, ніж будь-коли, а моделі з відкритими вагами мають серйозні підстави для відновлення в агентських завданнях, які дедалі більше визначають роботу штучного інтелекту в реальному світі.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →