Эталонная компания Artificial Analysis выпустила пятую версию своего индекса интеллекта, назвав ее самым большим обновлением рейтинга составной модели с момента дебюта версии 4 в январе. Изменение заголовка: впервые 60 процентов Индекса построено на оценках с использованием частных наборов тестов или скрытых ответов — прямой ответ на проблемы загрязнения эталонных тестов, которые подорвали доверие к публичным спискам лидеров.

Перестановки происходят с четким вердиктом наверху. Claude Opus 5.5 (макс.) возглавляет индекс v5 с 58-м номером, опережая GPT-6 Astra (макс.) с 57-м и GPT-6.1 Sol (макс.) с 55-м. Anthropic и OpenAI вместе удерживают пять верхних позиций, за ним следует Google Gemini 4 Argon (высокий) с 50-м. Подробнее об этой истории — в нашем больше статей об ИИ.

Что изменилось в версии 5

Индекс v5 разделен на четыре одинаково взвешенные категории — интеллектуальная работа, кодирование, наука и общее — каждая из которых стоит 25 процентов. Два теста являются совершенно новыми, а три получили серьезные обновления:

  • FrontierCode 2.0 (новинка). Частный тест Cognition, включающий 132 реальных задачи кодирования в репозиториях с открытым исходным кодом, оцениваемый по тому, действительно ли специалист по обслуживанию репозитория объединит изменения, внесенные агентом. Задачи остаются конфиденциальными, чтобы избежать заражения, а искусственный анализ запускает каждую задачу три раза в своей агентной системе Stirrup.
  • Terminal-Bench-Science (новый). Семьдесят задач агентных научных исследований, выполняемых в терминальной среде, где задача считается успешной только в том случае, если пройден каждый из ее тестов.
  • HLE-Diamond (обновлено). Усовершенствованная версия «Последнего экзамена человечества» из 1000 вопросов от Центра безопасности и масштабирования ИИ, поровну разделенная между вопросами на рассуждение и вопросы на знания, заменяющая исходный HLE.
  • AA-Всеведение v1.1 (обновлено). Очищенный набор данных о знаниях и галлюцинациях с удаленными насыщенными и публичными вопросами.
  • Жесткий поднабор CritPt v2 (обновленный). Частный сложный поднабор из 40 вопросов тестового теста физики исследовательского уровня, переработанный его авторами и запускаемый с выполнением кода.

Из индекса исчезли: GDPval-AA v2.1, SciCode и AA-LCR v1.1. Искусственный анализ также запустил сопутствующий Progress Index v1, который отслеживает возможности модели с течением времени в едином непрерывном масштабе.

Claude Opus 5.5 лидирует в общем зачете

Claude Opus 5.5 (макс.) лидирует в трех из девяти индивидуальных оценок: FrontierCode 2.0 с 46 процентами, HLE-Diamond с 68 процентами и AA-Omniscience v1.1 с 48. Ни одна модель не лидирует во всем — пять других моделей превосходят остальные шесть тестов.

GPT-6 Astra (макс.) лидирует в Terminal-Bench-Science с 63 процентами и в жестком подмножестве CritPt v2 с 72 процентами, что подтверждает силу OpenAI в долгосрочной научной работе. Claude Sonnet 5.5 возглавляет AA-Briefcase с 1812 Elo, K3.1 Pro Кими лидирует Terminal-Bench 4.0 с 67 процентами, Gemini 4 Argon лидирует AutomationBench-AA с 78 процентами, а Muse Wonder Full лидирует GDP.pdf с 33 процентами всех проходов.

Результаты HLE-Diamond содержат показательную деталь: ведущие модели гораздо лучше оценивают рассуждения, чем знания. И Claude Opus 5.5, и GPT-6 Astra набирают 78 процентов по вопросам на рассуждение, но падают до 58 и 50 процентов соответственно на знания – свидетельство того, что даже передовые системы по-прежнему галлюцинируют или не имеют фактов чаще, чем предполагают их оценки по рассуждению.

Тройной разрыв в открытом весе

Самый отрезвляющий вывод для экосистемы открытых весов: разрыв между лучшей открытой моделью и лидером в общем зачете утроился, увеличившись с 3 баллов в версии 4.3 до 12 баллов в версии 5.

K3.1 Pro Кими — лучшая модель с открытым весом в 46 лет, но ее гири еще не опубликованы. Среди моделей с заявленным весом V4.1 Flash 1017 от DeepSeek (макс.) и GLM-5.3 от Z.ai (макс.) лидируют с результатом 32, отставая на целых 26 пунктов от Claude Opus 5.5 и ниже Claude Haiku 5.5 (макс.) с результатом 36.

Разрыв наиболее велик по самым сложным агентским показателям. На HLE-Diamond Kimi K3.1 Pro набирает 37 процентов против 68 процентов у Opus 5.5; на Terminal-Bench-Science — 34 процента против 63 процентов у GPT-6 Astra. Большинство протестированных моделей с открытыми весами набирают менее 10 процентов по научному тесту.

Цена за задачу варьируется в тринадцать раз

Стоимость остается решающей переменной. Среди десяти моделей, получивших самые высокие оценки, GPT-6.1 Terra (макс.) является самой дешевой — 0,96 доллара за задачу индекса интеллекта, а Claude Fable 5.1 (макс.) — самой дорогой — 13,04 доллара — разброс более чем в 13 раз.

История эффективности, возможно, является наиболее практичным выводом v5: GPT-6.1 Sol (макс.) набирает баллы в пределах 4 баллов от Claude Opus 5.5, но стоит примерно на одну восьмую меньше за задачу — 1,27 доллара против 10,04 доллара у Opus. GPT-6 Astra (макс.) находится между ними по цене 6,24 доллара.

Почему частные тесты имеют значение

Сдвиг в сторону частных оценочных наборов отражает общеотраслевую проблему: общедоступные тесты просачиваются в обучающие данные и насыщаются, что делает невозможным доверять достижениям в списках лидеров. В FrontierCode 2.0 задачи оцениваются по тому, будет ли специалист по сопровождению объединять изменения (при этом любой сбой проверки блокировки оценивается в ноль), а список задач остается конфиденциальным.

Это делает v5 одним из самых сложных тестов для игры, и его вердикт имеет вес: на переднем крае лидируют Anthropic и OpenAI, настройки усилий имеют большее значение, чем когда-либо, а модели с открытыми весами имеют серьезные основания для восстановления при выполнении агентских задач, которые все больше определяют реальную работу ИИ.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →