Das Benchmark-Unternehmen Artificial Analysis hat Version 5 seines Intelligence Index herausgebracht und nennt es die größte Verbesserung seines zusammengesetzten Modellrankings seit der Einführung von Version 4 im Januar. Die Schlagzeilenänderung: Zum ersten Mal basieren 60 Prozent des Index auf Auswertungen mit privaten Testsätzen oder vorgehaltenen Antworten – eine direkte Reaktion auf die Benchmark-Kontaminationsprobleme, die das Vertrauen in öffentliche Bestenlisten untergraben haben.

Die Umbildung kommt mit einem klaren Urteil an der Spitze. Claude Opus 5.5 (max.) führt den v5-Index mit 58 an, vor GPT-6 Astra (max.) mit 57 und GPT-6.1 Sol (max.) mit 55. Anthropic und OpenAI belegen zusammen die ersten fünf Plätze, gefolgt von Googles Gemini 4 Argon (hoch) mit 50. Weitere Informationen zu dieser Geschichte finden Sie in unserer neueste KI-Entwicklungen.

Was sich in Version 5 geändert hat

Der v5-Index ist in vier gleichgewichtete Kategorien unterteilt – Wissensarbeit, Codierung, Wissenschaft und Allgemeines – jeweils mit einem Wert von 25 Prozent. Zwei Benchmarks sind völlig neu und drei wurden erheblich verbessert:

  • FrontierCode 2.0 (neu). Cognitions privater Benchmark von 132 realen Codierungsaufgaben in Open-Source-Repositories, bewertet danach, ob ein Repository-Betreuer die Änderung des Agenten tatsächlich zusammenführen würde. Aufgaben bleiben privat, um Kontaminationen zu vermeiden, und Artificial Analysis führt jede Aufgabe dreimal in seinem Stirrup-Agentensystem aus.
  • Terminal-Bench-Science (neu). Siebzig Agenten-wissenschaftliche Forschungsaufgaben, die in einer Terminalumgebung ausgeführt werden, wobei eine Aufgabe nur dann erfolgreich ist, wenn jeder ihrer Tests erfolgreich ist.
  • HLE-Diamond (aktualisiert). Eine verfeinerte 1.000-Fragen-Version von Humanity's Last Exam vom Center for AI Safety and Scale AI, gleichmäßig aufgeteilt in Argumentations- und Wissensfragen, die das ursprüngliche HLE ersetzt.
  • AA-Omniscience v1.1 (aktualisiert). Ein bereinigter Wissens- und Halluzinationsdatensatz, bei dem gesättigte und öffentliche Fragen entfernt wurden.
  • CritPt v2 hard subset (upgraded). A private 40-question hard subset of the research-level physics benchmark, revised by its authors and run with code execution.

Aus dem Index verschwunden: GDPval-AA v2.1, SciCode und AA-LCR v1.1. Artificial Analysis hat außerdem einen begleitenden Progress Index v1 eingeführt, der die Modellfähigkeit im Zeitverlauf auf einer einzigen kontinuierlichen Skala verfolgt.

Claude Opus 5.5 übernimmt die Gesamtführung

Claude Opus 5.5 (max.) führt drei der neun Einzelbewertungen an: FrontierCode 2.0 mit 46 Prozent, HLE-Diamond mit 68 Prozent und AA-Omniscience v1.1 mit 48. Kein einzelnes Modell führt alles an – fünf andere Modelle führen die verbleibenden sechs Benchmarks an.

GPT-6 Astra (max) leads Terminal-Bench-Science at 63 percent and the CritPt v2 hard subset at 72 percent, confirming OpenAI's strength in long-horizon scientific work. Claude Sonnet 5.5 führt AA-Briefcase mit 1812 Elo an, Kimis K3.1 Pro führt Terminal-Bench 4.0 mit 67 Prozent an, Gemini 4 Argon führt AutomationBench-AA mit 78 Prozent an und Muse Wonder Full führt GDP.pdf mit 33 Prozent All-Pass an.

Die HLE-Diamond-Ergebnisse enthalten ein aufschlussreiches Detail: Die führenden Modelle schneiden beim Argumentieren weitaus besser ab als beim Wissen. Claude Opus 5.5 und GPT-6 Astra erreichten beide 78 Prozent bei Fragen zum logischen Denken, fielen jedoch auf 58 bzw. 50 Prozent beim Wissen – ein Beweis dafür, dass selbst Grenzsysteme immer noch häufiger halluzinieren oder Fakten fehlen, als ihre Ergebnisse zum logischen Denken vermuten lassen.

Die Open-Weights Gap Triples

The most sobering finding for the open-weights ecosystem: the gap between the best open model and the overall leader tripled, widening from 3 points in v4.3 to 12 points in v5.

Kimis K3.1 Pro ist mit 46 das Topmodell mit offenen Gewichten – seine Gewichte wurden jedoch noch nicht veröffentlicht. Unter den Modellen mit freigegebenen Gewichten liegen DeepSeeks V4.1 Flash 1017 (max.) und Z.ais GLM-5.3 (max.) mit 32 Punkten vorne, ganze 26 Punkte hinter Claude Opus 5.5 und unter Claude Haiku 5.5 (max.) mit 36.

Bei den härtesten Agenten-Benchmarks ist der Abstand am größten. Bei HLE-Diamond erreicht Kimi K3.1 Pro 37 Prozent gegenüber 68 Prozent bei Opus 5.5; auf Terminal-Bench-Science 34 Prozent gegenüber 63 Prozent bei GPT-6 Astra. Die meisten Benchmark-Modelle mit offenen Gewichten erzielen im wissenschaftlichen Benchmark einen Wert von weniger als 10 Prozent.

Der Preis pro Aufgabe variiert um das Dreizehnfache

Die Kosten bleiben eine entscheidende Variable. Unter den zehn Modellen mit der höchsten Punktzahl ist GPT-6.1 Terra (max.) mit 0,96 US-Dollar pro Intelligence-Index-Aufgabe das günstigste, während Claude Fable 5.1 (max.) mit 13,04 US-Dollar das teuerste ist – eine mehr als 13-fache Spanne.

Die Effizienzgeschichte ist wohl die praktischste Erkenntnis von Version 5: GPT-6.1 Sol (max) liegt innerhalb von 4 Punkten unter Claude Opus 5.5 und kostet pro Aufgabe etwa ein Achtel so viel, nämlich 1,27 US-Dollar gegenüber 10,04 US-Dollar bei Opus. GPT-6 Astra (max) liegt mit 6,24 $ dazwischen.

Warum private Benchmarks wichtig sind

Die Verlagerung hin zu privaten Bewertungssätzen spiegelt ein branchenweites Problem wider: Öffentliche Benchmarks dringen in die Trainingsdaten ein und werden überlastet, sodass man den Ergebnissen der Bestenliste nicht mehr trauen kann. Mit FrontierCode 2.0 werden Aufgaben danach bewertet, ob ein Betreuer die Änderung zusammenführen würde – wobei jeder Blockierungsprüfungsfehler mit Null bewertet wird – und die Aufgabenliste bleibt privat.

Das macht v5 zu einem der schwieriger zu spielenden Benchmarks, und sein Urteil hat Gewicht: Die Grenze wird von Anthropic und OpenAI angeführt, Aufwandseinstellungen sind wichtiger denn je, und Open-Weights-Modelle haben bei den Agentenaufgaben, die zunehmend die KI-Arbeit in der realen Welt bestimmen, ernsthaften Nachholbedarf.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →