Das Benchmarking-Unternehmen Artificial Analysis veröffentlichte am 4. September 2026 Version 4.2 seines Intelligence Index, ein vorläufiges Update, das die Messung von Grenz-KI-Modellen überarbeitet – und laut der neuen Bestenliste belegt Claude Fable 5.1 von Anthropic den Spitzenplatz, während GPT-6 Astra von OpenAI nach einem Vorsprung von vier Punkten gegenüber GPT-5.6 Sol den zweiten Platz belegt.

Das Update kommt nur acht Monate nach der Einführung von Index v4 im Januar, eine ungewöhnlich schnelle Wende, die das Unternehmen auf das Tempo der jüngsten Frontier-Releases zurückführt. „Da sich die Grenzen in den letzten Wochen so schnell verschoben haben, halten wir es für wichtig, eine sofortige Zwischenaktualisierung bereitzustellen, um sicherzustellen, dass unser Index so relevant und nützlich wie eh und je bleibt“, schrieb das Unternehmen in seiner Ankündigung.

Die Schlagzeilen-Rankings

Den veröffentlichten Ergebnissen zufolge führt Claude Fable 5.1 von Anthropic den Index an, gefolgt von GPT-6 Astra von OpenAI, das sich gegenüber GPT-5.6 Sol um vier Punkte verbesserte. Meta ist das drittstärkste Labor auf der Bestenliste, gefolgt von SpaceXAI, Moonshot/Kimi, Z.AI und Google.

Auch Anthropic und OpenAI teilen das aktualisierte Bild der Kosteneffizienz: Die beiden Unternehmen liegen zusammen mit Meta und Z.AI an der „Kosten pro Aufgabe“-Pareto-Grenze des Index, was bedeutet, dass derzeit kein anderes Labor wirklich bessere Informationen zum gleichen Preis pro abgeschlossener Aufgabe bietet.

In Bezug auf die Token-Effizienz stellte Artificial Analysis fest, dass GPT-6 Astra „token-effizienter ist als fast jedes andere Modell nahe der Intelligenzgrenze“, wobei Claude Fable 5.1, Grok 4.5 und Gemini 3.5 Flash-Lite an beiden Enden der Kurve sitzen. In einer begleitenden Analyse stellte das Unternehmen jedoch fest, dass die geringere Token-Nutzung von Astra durch die höheren Preise aufgewogen wird – eine Erinnerung daran, dass Roheffizienz und Gesamtkosten nicht immer zusammenpassen.

Was sich in Version 4.2 geändert hat

Die bedeutendste strukturelle Änderung ist ein bewusster Vorstoß gegen Benchmark-Gaming. Vierzig Prozent der Indexgewichtung stammen jetzt aus privaten, zurückgehaltenen Testsätzen – doppelt so viel wie in Version 4.1 – einschließlich AA-Briefcase, AA-Omniscience und Lösungen für CritPt. Das Unternehmen sagte, dass diese Zahl in Index v5 weiter steigen wird.

Zwei neue Auswertungen verankern das Update:

  • AA-Briefcase, ein interner Benchmark für die Agentendatenarbeit mit einem privaten Testset. Modelle werden in mehrwöchigen professionellen Projekten mit jeweils vielen verknüpften Aufgaben und Tausenden von Eingabequelldateien bewertet und durch eine Kombination aus Rubrikenbewertung und paarweisem Vergleich bewertet, wobei nachweisbarer Aufgabenerfolg, analytische Qualität und Präsentationsqualität berücksichtigt werden.
  • GDP.pdf, erstellt von Surge AI, das Single-Turn-Argumentation in professionellen Dokumenten testet: 100 PDFs aus zehn Bereichen, mit Beweisen, die auf 4.592 Seiten Text, Tabellen, Diagramme und Fußnoten verteilt sind. Die Antworten werden anhand von 1.275 von Experten erstellten atomaren Kriterien bewertet, und die Überschrift „Alles bestanden-Rate“ schreibt eine Aufgabe nur dann gut, wenn jedes Kriterium erfüllt ist.

Ein seit langem etablierter Maßstab ist auf dem Rückzug: GPQA Diamond, der Test zum naturwissenschaftlichen Denken für Hochschulabsolventen, wurde entfernt, weil er effektiv durch Grenzmodelle gesättigt wurde.

Das Unternehmen hat auch seine Bewertungsinfrastruktur aktualisiert, indem es AA-LCR v1.1 mit einer neuen Eingabeaufforderung für das Bewertungssystem und korrigierten Antwortschlüsseln veröffentlicht hat, die Elo-Skala für GDPval-AA v2 und AA-Briefcase neu verankert hat, damit die Bewertungen stabil bleiben, wenn neue Modelle auf den Markt kommen, und die Bewertungssandboxen von SciCode gehärtet hat, sodass langsamer, aber korrekter Code nicht mehr als Fehler gilt.

Was die neuen Tests verraten

Die Ergebnisse der neuen Auswertungen bieten ein detaillierteres Bild davon, wo die Grenzlabore tatsächlich stehen.

Bei AA-Briefcase führen Claude Fable 5.1 und Opus 5 von Anthropic, gefolgt von GPT-6 Astra von OpenAI und Muse Spark 1.3 von Meta. GPT-6 Astra erzielt bei derselben Bewertung etwa 85 Elo-Punkte über GPT-5.6 Sol – ein erheblicher Sprung zwischen aufeinanderfolgenden OpenAI-Generationen.

Auf GDP.pdf dreht sich das Bild: OpenAI führt mit GPT-6 Astra mit einer All-Pass-Rate von 33,2 %, gefolgt von GPT-5.6 Sol mit 28,2 % und Claude Fable 5.1 mit 26,2 %. Die Divergenz deutet darauf hin, dass die Synthese langer Dokumente über sehr große Kontexte nach wie vor eine relative Stärke des neuesten Modells von OpenAI darstellt, auch wenn die Modelle von Anthropic den Gesamtindex und die Agentenarbeitsaufgaben anführen.

Warum private Testsätze wichtig sind

Die Verlagerung hin zu einer aufgeschobenen Bewertung spiegelt ein umfassenderes Glaubwürdigkeitsproblem beim KI-Benchmarking wider. Da Modelle mehr öffentliche Testdaten absorbieren, sind Labore und unabhängige Beobachter zunehmend besorgt darüber, dass die Schlagzeilenwerte bekannter Benchmarks eher das Auswendiglernen oder gezieltes Training als echte Fähigkeiten widerspiegeln. Indem ein wachsender Anteil seiner Testsätze privat gehalten und stärker gewichtet wird, versucht Artificial Analysis, das Signal zu bewahren, das öffentliche Bestenlisten verloren haben.

Das Unternehmen sagte, es habe „seit Monaten“ an Elementen des Index v5 gearbeitet und Aktualisierungen bewusst zurückgehalten, um den Index während der jüngsten Welle großer Modelleinführungen stabil zu halten. Über die vorläufige Version 4.2 hinaus sind in naher Zukunft weitere inkrementelle Updates geplant, da der Übergang zu Version 5 abgeschlossen ist.

Für Käufer, die zwischen Grenzmodellen wählen, besteht die praktische Erkenntnis aus Version 4.2 darin, dass die Spitze des Marktes weiterhin ein Zwei-Pferde-Rennen zwischen Anthropic und OpenAI bleibt, wobei Meta die Lücke schließt – und dass die auf Gaming-Resistenz ausgelegten Bewertungen nun einen größeren Teil der Ranking-Arbeit übernehmen. Benutzer, die Modellauswahlentscheidungen verfolgen, können die neuesten KI-Entwicklungen verfolgen, während die Einführung von Version 5 näher rückt.

Bleiben Sie der KI immer einen Schritt voraus

Benchmark-Updates wie dieses verändern die Art und Weise, wie die Branche den Fortschritt beurteilt. Lesen Sie weitere KI-Neuigkeiten und bleiben Sie bei jeder Modellveröffentlichung auf dem Laufenden.

Weitere KI-Neuigkeiten lesen →