Firma benchmarkingowa Artificial Analysis uruchomiła wersję 5 swojego indeksu inteligencji, nazywając ją największą zmianą w rankingu modeli złożonych od czasu debiutu wersji 4 w styczniu. Główna zmiana: po raz pierwszy 60 procent Indeksu opiera się na ocenach z wykorzystaniem prywatnych zestawów testów lub wstrzymanych odpowiedziach – jest to bezpośrednia odpowiedź na problemy z zanieczyszczeniem benchmarków, które podkopały zaufanie do publicznych rankingów.

Przetasowania kończą się jasnym werdyktem na górze. Claude Opus 5.5 (maks.) prowadzi w indeksie v5 na poziomie 58, przed GPT-6 Astra (maks.) na poziomie 57 i GPT-6.1 Sol (maks.) na poziomie 55. Anthropic i OpenAI zajmują łącznie pięć pierwszych pozycji, a Gemini 4 Argon (wysoki) firmy Google plasuje się na kolejnym miejscu na poziomie 50. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.

Co zmieniło się w wersji 5

Indeks v5 jest podzielony na cztery równo ważone kategorie — Praca z wiedzą, Kodowanie, Nauka i Ogólne — każda o wartości 25 procent. Dwa testy porównawcze są całkowicie nowe, a trzy otrzymały istotne aktualizacje:

  • FrontierCode 2.0 (nowy). Prywatny test porównawczy firmy Cognition obejmujący 132 rzeczywiste zadania kodowania w repozytoriach typu open source, oceniany na podstawie tego, czy osoba utrzymująca repozytorium faktycznie scaliłaby zmiany agenta. Zadania pozostają prywatne, aby uniknąć zanieczyszczenia, a sztuczna analiza uruchamia każde zadanie trzy razy w uprzęży agenta Stirrup.
  • Terminal-Bench-Science (nowość). Siedemdziesiąt agentycznych zadań badawczych realizowanych w środowisku terminalowym, gdzie zadanie przechodzi pomyślnie tylko wtedy, gdy pomyślnie przejdzie każdy z jego testów.
  • HLE-Diamond (ulepszony). Udoskonalona wersja Ostatniego egzaminu ludzkości, zawierająca 1000 pytań, przygotowana przez Centrum Bezpieczeństwa i Skalowania AI, podzielona równomiernie pomiędzy pytania dotyczące rozumowania i wiedzy, zastępująca oryginalny HLE.
  • AA-Omniscience v1.1 (uaktualniony). Wyczyszczony zbiór danych dotyczących wiedzy i halucynacji, z usuniętymi pytaniami nasyconymi i publicznymi.
  • Twardy podzbiór CritPt v2 (uaktualniony). Prywatny, twardy podzbiór testu porównawczego fizyki na poziomie badawczym, składający się z 40 pytań, poprawiony przez autorów i uruchamiany z wykonaniem kodu.

Zniknęły z indeksu: PKBval-AA v2.1, SciCode i AA-LCR v1.1. W ramach sztucznej analizy uruchomiono także towarzyszący projekt Progress Index v1, który śledzi możliwości modelu w czasie w pojedynczej, ciągłej skali.

Claude Opus 5.5 przejmuje prowadzenie

Claude Opus 5.5 (maks.) prowadzi trzy z dziewięciu indywidualnych ocen: FrontierCode 2.0 z wynikiem 46 procent, HLE-Diamond z wynikiem 68 procent i AA-Omniscience v1.1 z wynikiem 48. Żaden pojedynczy model nie przoduje we wszystkim — pięć innych modeli przewyższa pozostałe sześć benchmarków.

GPT-6 Astra (maks.) prowadzi w Terminal-Bench-Science z 63 procentami i twardym podzbiorem CritPt v2 z 72 procentami, co potwierdza siłę OpenAI w długoterminowych pracach naukowych. Claude Sonnet 5.5 jest liderem AA-Briefcase w 1812 Elo, Kimi K3.1 Pro prowadzi Terminal-Bench 4.0 z 67 procentami, Gemini 4 Argon prowadzi AutomationBench-AA z 78 procentami, a Muse Wonder Full prowadzi PKB.pdf z 33 procentami all-pass.

Wyniki badania HLE-Diamond zawierają wymowny szczegół: czołowe modele uzyskują znacznie lepsze wyniki w zakresie rozumowania niż wiedzy. Zarówno Claude Opus 5.5, jak i GPT-6 Astra osiągnęły 78 procent w zakresie pytań związanych z rozumowaniem, ale spadły odpowiednio do 58 i 50 procent w zakresie wiedzy, co stanowi dowód na to, że nawet systemy graniczne nadal mają halucynacje lub brakuje im faktów częściej, niż sugerują ich wyniki w zakresie rozumowania.

Różnica w wadze otwartej potroiła się

Najbardziej otrzeźwiające odkrycie dla ekosystemu wag otwartych: różnica między najlepszym modelem otwartym a ogólnym liderem wzrosła trzykrotnie, z 3 punktów w wersji 4.3 do 12 punktów w wersji 5.

Kimi K3.1 Pro to topowy model z otwartymi ciężarami w wieku 46 lat, ale jego waga nie została jeszcze opublikowana. Wśród modeli ze zwolnionymi ciężarami, DeepSeek V4.1 Flash 1017 (maks.) i Z.ai GLM-5.3 (maks.) prowadzą z wynikiem 32, pełne 26 punktów za Claude Opus 5.5 i poniżej Claude Haiku 5.5 (maks.) z wynikiem 36.

Różnica jest największa w przypadku najtrudniejszych testów porównawczych agentów. W HLE-Diamond Kimi K3.1 Pro uzyskuje 37 procent w porównaniu z 68 procentami Opus 5.5; w Terminal-Bench-Science – 34 procent w porównaniu z 63 procentami w GPT-6 Astra. Większość modeli z odważnikami otwartymi uzyskała wynik poniżej 10 procent w benchmarku naukowym.

Cena za zadanie zmienia się trzynastokrotnie

Koszt pozostaje decydującą zmienną. Spośród dziesięciu modeli, które uzyskały najwyższe wyniki, najtańszy jest GPT-6.1 Terra (maks.), który kosztuje 0,96 USD za zadanie w ramach indeksu inteligencji, natomiast najdroższy jest Claude Fable 5.1 (maks.), którego cena wynosi 13,04 USD, co oznacza ponad 13-krotny rozrzut.

Historia wydajności jest prawdopodobnie najbardziej praktycznym wnioskiem z wersji 5: GPT-6.1 Sol (maks.) osiąga wyniki w granicach 4 punktów w stosunku do Claude Opus 5.5, a kosztuje około jedną ósmą ceny za zadanie, czyli 1,27 dolara w porównaniu z 10,04 dolara Opusa. Pomiędzy nimi znajduje się GPT-6 Astra (maks.) z ceną 6,24 USD.

Dlaczego prywatne testy porównawcze mają znaczenie

Przejście w stronę prywatnych zestawów ewaluacyjnych odzwierciedla problem występujący w całej branży: publiczne benchmarki przedostają się do danych szkoleniowych i nasycają się, przez co nie można ufać wynikom z rankingów. W FrontierCode 2.0 zadania są oceniane pod kątem tego, czy opiekun scali zmianę – w przypadku każdego niepowodzenia kontroli blokowania ocenianego na zero – a lista zadań pozostaje prywatna.

To sprawia, że ​​v5 jest jednym z trudniejszych testów porównawczych do gier, a jego werdykt ma znaczenie: na czele przodują Anthropic i OpenAI, ustawienia wysiłku mają większe znaczenie niż kiedykolwiek, a modele z wagami otwartymi mają poważne podstawy do regeneracji w przypadku zadań agentycznych, które w coraz większym stopniu definiują pracę sztucznej inteligencji w świecie rzeczywistym.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →