OpenAI si sta opponendo dopo che Claude Opus 5 di Anthropic ha dominato il benchmark ARC-AGI-3, pubblicando risultati che mostrano che il proprio modello GPT-5.6 Sol raggiunge il 38,3%, a condizione che si utilizzino le impostazioni preferite di OpenAI piuttosto che il test ufficiale.

La disputa, che si è svolta il 30 luglio 2026, tocca il cuore di un problema crescente nella valutazione dell’intelligenza artificiale: i benchmark non misurano più solo un modello, ma l’intera impalcatura tecnica che lo circonda. Per un'analisi più approfondita degli ultimi sviluppi dell'intelligenza artificiale e delle versioni dei modelli, AI Buzz Wire sta monitorando la storia.

I numeri e la fregatura

OpenAI ha riferito che GPT-5.6 Sol raggiunge il 38,3% su ARC-AGI-3, superando Claude Opus 5 di Anthropic, che ha ottenuto il 30,2% dopo aver precedentemente quadruplicato il record del benchmark. L'avvertenza è significativa: quella cifra del 38,3% dipende da due caratteristiche specifiche dell'API Responses di OpenAI.

Il primo è il Ragionamento mantenuto, che preserva la catena di pensiero del modello tra i passaggi anziché eliminarla dopo ogni azione. Il secondo è Compattazione, che riassume il contesto precedente invece di troncarlo, consentendo al modello di continuare a lavorare su problemi lunghi senza perdere il ragionamento precedente.

Utilizzando il sistema standardizzato ufficiale di ARC Prize, che evita intenzionalmente le impostazioni specifiche del fornitore per garantire confronti tra mele, GPT-5.6 Sol è riuscito solo al 7,8%. Il motivo, sostiene OpenAI, è che la configurazione ufficiale scarta il ragionamento del modello dopo ogni passaggio, minando le prestazioni su compiti che richiedono una riflessione continua in più fasi.

Un punto di riferimento costruito per la purezza

ARC-AGI-3 è stato progettato da François Chollet e dal team dell'ARC Prize per sondare la capacità di un modello di risolvere nuovi enigmi di ragionamento mai visti prima: un test di intelligenza generale piuttosto che di conoscenza memorizzata. Per mantenere i confronti equi, il sistema ufficiale elimina deliberatamente le caratteristiche specifiche del fornitore, misurando la capacità del modello grezzo in un ambiente neutrale.

La controargomentazione di OpenAI è che questa neutralità può diventare un handicap. L'azienda sostiene che l'imbracatura ufficiale si basava su una vecchia "API di completamento in stile OpenAI" che mancava di funzionalità già offerte dall'API Claude, mettendo di fatto OpenAI in una posizione di svantaggio strutturale rispetto ad Anthropic nel confronto originale.

In sostanza, OpenAI sta dicendo: hai misurato il nostro modello con una mano legata dietro la schiena.

Risposta di Chollet

Il cofondatore dell'ARC Prize, François Chollet, ha risposto tracciando una linea chiara tra due tipi di configurazioni di test. I cablaggi "fatti su misura per risolvere il benchmark o che contengono informazioni sul formato del benchmark" sono vietati, ha affermato. Ma le impostazioni API generiche "che non sono state sviluppate per ARC-AGI-3 e che sono disponibili per tutti gli utenti API" sono un gioco leale.

In effetti, Chollet ha ammesso che il punteggio GPT-5.6 Sol di ARC Prize metteva OpenAI in svantaggio. Ha osservato che l'organizzazione ha avuto "molto avanti e indietro con OpenAI su come testare al meglio i loro modelli, soprattutto per quanto riguarda la compattazione", e ha accolto con favore l'azienda "che inizia a trovare la risposta".

Chollet ha segnalato una preoccupazione rimanente. Diversi fornitori che utilizzano impostazioni diverse creano quello che ha definito "un potenziale problema di parità", ma lo considera accettabile "a condizione che le impostazioni e il costo siano chiaramente riportati".

Perché è importante oltre la classifica

L’episodio sottolinea una tensione che sta rimodellando il modo in cui l’industria dell’intelligenza artificiale valuta i progressi. Poiché i modelli vengono sempre più distribuiti tramite API ricche di funzionalità anziché come sistemi autonomi, il confine tra le capacità intrinseche di un modello e l'ingegneria che lo circonda continua a sfumare. Un benchmark che ignora le impalcature può sottostimare le prestazioni del mondo reale; uno che lo abbraccia può premiare le aziende per aver superato il test.

È improbabile che il dibattito ARC-AGI-3 sia l’ultimo. Man mano che i modelli di frontiera si raggruppano vicino ai vertici dei parametri di riferimento stabiliti, i disaccordi su ciò che conta come una misurazione equa – e su chi debba stabilire lo standard – non potranno che intensificarsi.

Stai al passo con l'intelligenza artificiale

Vuoi seguire le ultime notizie sull'intelligenza artificiale su modelli, benchmark e laboratori che li realizzano? AI Buzz Wire ti copre.

Leggi altre notizie sull'AI