OpenAI gaat terug nadat Anthropic's Claude Opus 5 de ARC-AGI-3 benchmark domineerde, en publiceert resultaten waaruit blijkt dat zijn eigen GPT-5.6 Sol-model een score van 38,3 procent haalt - op voorwaarde dat je de voorkeursinstellingen van OpenAI gebruikt in plaats van het officiële testharnas.

Het dispuut, dat zich afspeelde op 30 juli 2026, raakt de kern van een groeiend probleem op het gebied van AI-evaluatie: benchmarks meten niet langer slechts een model, maar het hele technische schavot eromheen. Voor een diepere analyse van de laatste AI-ontwikkelingen en modelreleases volgt AI Buzz Wire het verhaal.

De cijfers en de vangst

OpenAI meldde dat GPT-5.6 Sol 38,3 procent bereikt op ARC-AGI-3, en daarmee voorbij Anthropic's Claude Opus 5 komt, die 30,2 procent scoorde nadat hij eerder het record van de benchmark had verviervoudigd. Het voorbehoud is veelzeggend: dat cijfer van 38,3 procent hangt af van twee specifieke kenmerken van OpenAI's Responses API.

De eerste is Behouden Redeneren, waarbij de gedachteketen van het model tussen de stappen behouden blijft in plaats van deze na elke actie weg te gooien. De tweede is Compaction, die de oudere context samenvat in plaats van deze af te korten, waardoor het model aan lange problemen kan blijven werken zonder eerdere redeneringen te verliezen.

Door het officiële gestandaardiseerde harnas van ARC Prize te doorlopen – dat opzettelijk providerspecifieke instellingen vermijdt om vergelijkingen van appels met appels te garanderen – behaalde GPT-5.6 Sol slechts 7,8 procent. De reden, zo betoogt OpenAI, is dat de officiële opzet de redenering van het model na elke stap verwerpt, waardoor de prestaties bij taken die langdurig meerstapsdenken vereisen, afnemen.

Een maatstaf gebouwd voor zuiverheid

ARC-AGI-3 is ontworpen door François Chollet en het ARC Prize-team om het vermogen van een model te onderzoeken om nieuwe redeneringspuzzels op te lossen die het nog nooit eerder heeft gezien - een test van algemene intelligentie in plaats van opgeslagen kennis. Om vergelijkingen eerlijk te houden, verwijdert het officiële harnas opzettelijk providerspecifieke kenmerken, waardoor de capaciteit van het ruwe model in een neutrale omgeving wordt gemeten.

Het tegenargument van OpenAI is dat deze neutraliteit een handicap kan worden. Het bedrijf beweert dat het officiële harnas vertrouwde op een oudere "OpenAI-stijl voltooiings-API" die de mogelijkheden ontbeerde die de Claude API al bood, waardoor OpenAI in de oorspronkelijke vergelijking feitelijk een structureel nadeel kreeg ten opzichte van Anthropic.

In essentie zegt OpenAI: je hebt ons model gemeten met één hand op de rug gebonden.

Chollet's reactie

Medeoprichter van de ARC Prize, François Chollet, reageerde door een duidelijke grens te trekken tussen twee soorten testopstellingen. Harnassen "op maat gemaakt om de benchmark op te lossen of die kennis bevatten over het benchmarkformaat" zijn verboden terrein, zei hij. Maar API-instellingen voor algemene doeleinden "die niet zijn ontwikkeld voor ARC-AGI-3 en die beschikbaar zijn voor alle API-gebruikers" zijn redelijk spel.

Chollet gaf in feite toe dat de eigen GPT-5.6 Sol-score van ARC Prize OpenAI in een nadelige positie bracht. Hij merkte op dat de organisatie "veel heen en weer heeft gehad met OpenAI over hoe ze hun modellen het beste kunnen testen, vooral met betrekking tot verdichting", en verwelkomde het bedrijf "dat het antwoord begon te achterhalen".

Chollet signaleerde nog één zorgpunt. Verschillende providers die verschillende instellingen gebruiken, creëren wat hij 'een potentieel pariteitsprobleem' noemde, maar hij acht dat acceptabel 'zolang de instellingen en de kosten duidelijk worden gerapporteerd'.

Waarom dit ertoe doet buiten het klassement

De aflevering onderstreept een spanning die de manier verandert waarop de AI-industrie vooruitgang evalueert. Omdat modellen steeds vaker worden ingezet via API's met veel functies in plaats van als op zichzelf staande systemen, blijft de grens tussen de inherente mogelijkheden van een model en de techniek eromheen vervagen. Een benchmark die steigers negeert, kan de prestaties in de echte wereld onderschatten; een die het omarmt, kan bedrijven belonen voor het spelen van de test.

Het is onwaarschijnlijk dat het ARC-AGI-3-debat het laatste zal zijn. Nu grensmodellen zich aan de top van gevestigde benchmarks bevinden, zullen de meningsverschillen over wat telt als een eerlijke meting – en wiens harnas de norm mag bepalen – alleen maar toenemen.

Blijf AI een stap voor

Wil je het breaking AI news volgen over modellen, benchmarks en de laboratoria die deze bouwen? AI Buzz Wire heeft u gedekt.

Lees meer AI-nieuws