OpenAI sagt, dass GPT-5.6 Sol Claude Opus 5 auf ARC-AGI-3 schlägt – aber nur mit seinen eigenen Einstellungen

OpenAI schlägt zurück, nachdem Claude Opus 5 von Anthropic den ARC-AGI-3-Benchmark dominiert hat, und veröffentlicht Ergebnisse, die zeigen, dass sein eigenes GPT-5.6-Sol-Modell 38,3 Prozent erreicht – vorausgesetzt, Sie verwenden die bevorzugten Einstellungen von OpenAI und nicht die offizielle Testumgebung.

Der Streit, der am 30. Juli 2026 ausgetragen wurde, trifft den Kern eines wachsenden Problems bei der KI-Bewertung: Benchmarks messen nicht mehr nur ein Modell, sondern das gesamte technische Gerüst, das es umgibt. Für eine tiefergehende Analyse der neuesten KI-Entwicklungen und Modellveröffentlichungen verfolgt AI Buzz Wire die Geschichte.

Die Zahlen und der Haken

OpenAI berichtete, dass GPT-5.6 Sol 38,3 Prozent auf ARC-AGI-3 erreicht und damit Anthropics Claude Opus 5 überholt, der 30,2 Prozent erreichte, nachdem er zuvor den Benchmark-Rekord vervierfacht hatte. Der Vorbehalt ist erheblich: Diese Zahl von 38,3 Prozent hängt von zwei spezifischen Funktionen der Responses API von OpenAI ab.

Das erste ist Retained Reasoning, das die Gedankenkette des Modells zwischen den Schritten beibehält, anstatt sie nach jeder Aktion zu verwerfen. Die zweite Methode ist die Komprimierung, die den älteren Kontext zusammenfasst, anstatt ihn abzuschneiden, sodass das Modell weiterhin an langen Problemen arbeiten kann, ohne frühere Überlegungen zu verlieren.

Beim Durchlaufen des offiziellen standardisierten Systems von ARC Prize – das absichtlich anbieterspezifische Einstellungen vermeidet, um Vergleiche zwischen Äpfeln zu gewährleisten – schaffte GPT-5.6 Sol nur 7,8 Prozent. OpenAI argumentiert, dass der Grund darin liegt, dass das offizielle Setup die Argumentation des Modells nach jedem Schritt verwirft und dadurch die Leistung bei Aufgaben beeinträchtigt, die nachhaltiges mehrstufiges Denken erfordern.

Ein Maßstab für Reinheit

ARC-AGI-3 wurde von François Chollet und dem ARC-Prize-Team entwickelt, um die Fähigkeit eines Modells zu testen, neuartige Denkrätsel zu lösen, die es noch nie zuvor gesehen hat – ein Test der allgemeinen Intelligenz und nicht des gespeicherten Wissens. Um faire Vergleiche zu gewährleisten, verzichtet das offizielle System bewusst auf anbieterspezifische Funktionen und misst die Rohmodellfähigkeit in einer neutralen Umgebung.

Das Gegenargument von OpenAI ist, dass diese Neutralität zu einem Handicap werden kann. Das Unternehmen behauptet, dass die offizielle Nutzung auf einer älteren „OpenAI-ähnlichen Vervollständigungs-API“ beruhte, der es an Funktionen mangelte, die die Claude-API bereits bot, wodurch OpenAI im ursprünglichen Vergleich effektiv einen strukturellen Nachteil gegenüber Anthropic hatte.

Im Wesentlichen sagt OpenAI: Sie haben unser Modell mit einer auf dem Rücken gefesselten Hand gemessen.

Chollets Antwort

Der Mitbegründer des ARC-Preises, François Chollet, antwortete, indem er eine klare Grenze zwischen zwei Arten von Testaufbauten zog. Kabelbäume, die „maßgeschneidert für die Lösung des Benchmarks sind oder Kenntnisse über das Benchmark-Format enthalten“, seien tabu, sagte er. Aber allgemeine API-Einstellungen, „die nicht für ARC-AGI-3 entwickelt wurden und allen API-Benutzern zur Verfügung stehen“, sind Freiwild.

Tatsächlich räumte Chollet ein, dass der GPT-5.6 Sol-Score des ARC Prize OpenAI benachteiligte. Er stellte fest, dass die Organisation „viel Hin und Her mit OpenAI darüber hatte, wie man ihre Modelle am besten testet, insbesondere im Hinblick auf die Komprimierung“, und begrüßte das Unternehmen, „damit zu beginnen, die Antwort herauszufinden.“

Chollet machte auf ein verbleibendes Problem aufmerksam. Verschiedene Anbieter, die unterschiedliche Einstellungen verwenden, führen zu etwas, das er als „potenzielles Paritätsproblem“ bezeichnete – er hält dies jedoch für akzeptabel, „solange die Einstellungen und die Kosten klar angegeben werden“.

Warum dies über die Bestenliste hinaus wichtig ist

Die Episode unterstreicht eine Spannung, die die Art und Weise verändert, wie die KI-Branche den Fortschritt bewertet. Da Modelle zunehmend über funktionsreiche APIs statt als eigenständige Systeme bereitgestellt werden, verschwimmt die Grenze zwischen den inhärenten Fähigkeiten eines Modells und der ihn umgebenden Technik immer mehr. Ein Benchmark, der Gerüste außer Acht lässt, könnte die tatsächliche Leistung unterschätzen. Wer sich darauf einlässt, kann Unternehmen dafür belohnen, dass sie den Test bestanden haben.

Die ARC-AGI-3-Debatte wird wahrscheinlich nicht die letzte sein. Da sich Grenzmodelle an die Spitze der etablierten Benchmarks drängen, werden sich die Meinungsverschiedenheiten darüber, was als faire Messung gilt – und wer den Maßstab setzen soll – nur noch verschärfen.

Bleiben Sie der KI immer einen Schritt voraus

Möchten Sie die aktuellen KI-Neuigkeiten zu Modellen, Benchmarks und den Laboren, die sie entwickeln, verfolgen? AI Buzz Wire ist für Sie da.

Weitere KI-Neuigkeiten lesen