La società di riferimento Artificial Analysis ha lanciato la versione 5 del suo Intelligence Index, definendolo il più grande aggiornamento alla classifica dei modelli compositi da quando la v4 ha debuttato a gennaio. Il cambio di titolo: per la prima volta, il 60% dell’Indice si basa su valutazioni con set di test privati ​​o risposte nascoste – una risposta diretta ai problemi di contaminazione dei benchmark che hanno eroso la fiducia nelle classifiche pubbliche.

Il rimpasto arriva con un verdetto chiaro ai vertici. Claude Opus 5.5 (max) guida l'indice v5 a 58, davanti a GPT-6 Astra (max) a 57 e GPT-6.1 Sol (max) a 55. Anthropic e OpenAI insieme detengono le prime cinque posizioni, con Gemini 4 Argon (high) di Google successivo a 50. Per maggiori informazioni su questa storia, consulta la nostra notizie sull'IA.

Cosa è cambiato nella v5

L’Indice v5 è organizzato in quattro categorie equamente ponderate: Knowledge Work, Coding, Science e General, ciascuna del valore del 25%. Due benchmark sono completamente nuovi e tre hanno ricevuto importanti aggiornamenti:

  • FrontierCode 2.0 (nuovo). Benchmark privato di Cognition di 132 attività di codifica del mondo reale in repository open source, classificati in base al fatto che il manutentore del repository unirebbe effettivamente la modifica dell'agente. Le attività rimangono private per evitare contaminazioni e Artificial Analysis esegue ogni attività tre volte nella sua imbracatura agentica Stirrup.
  • Terminal-Bench-Science (nuovo). Settanta compiti di ricerca scientifica agenti eseguiti in un ambiente terminale, dove un compito passa solo se tutti i suoi test passano.
  • HLE-Diamond (aggiornato). Una versione perfezionata di 1.000 domande dell'Ultimo Esame dell'Umanità del Center for AI Safety and Scale AI, divisa equamente tra domande di ragionamento e di conoscenza, in sostituzione dell'HLE originale.
  • AA-Omniscience v1.1 (aggiornato). Un set di dati sulla conoscenza e sulle allucinazioni ripulito con domande sature e pubbliche rimosse.
  • Sottoinsieme difficile CritPt v2 (aggiornato). Un sottoinsieme difficile privato di 40 domande del benchmark di fisica a livello di ricerca, rivisto dai suoi autori ed eseguito con l'esecuzione di codice.

Fuori dall'indice: GDPval-AA v2.1, SciCode e AA-LCR v1.1. Artificial Analysis ha anche lanciato un Progress Index v1, che tiene traccia della capacità del modello nel tempo su un'unica scala continua.

Claude Opus 5.5 prende il comando della classifica generale

Claude Opus 5.5 (max) guida tre delle nove valutazioni individuali: FrontierCode 2.0 al 46%, HLE-Diamond al 68% e AA-Omniscience v1.1 al 48. Nessun singolo modello guida tutto: altri cinque modelli superano i restanti sei benchmark.

GPT-6 Astra (max) guida Terminal-Bench-Science al 63% e il sottoinsieme CritPt v2 hard al 72%, confermando la forza di OpenAI nel lavoro scientifico a lungo orizzonte. Claude Sonnet 5.5 supera AA-Briefcase con 1812 Elo, K3.1 Pro di Kimi guida Terminal-Bench 4.0 al 67%, Gemini 4 Argon guida AutomationBench-AA al 78% e Muse Wonder Full guida GDP.pdf con il 33% di all-pass.

I risultati di HLE-Diamond contengono un dettaglio significativo: i modelli principali ottengono punteggi molto migliori nel ragionamento che nella conoscenza. Claude Opus 5.5 e GPT-6 Astra raggiungono entrambi il 78% nelle domande di ragionamento, ma scendono rispettivamente al 58 e al 50% nella conoscenza: prova che anche i sistemi di frontiera continuano ad avere allucinazioni o mancano di fatti più spesso di quanto suggeriscano i punteggi di ragionamento.

Il divario dei pesi aperti triplica

La scoperta più deludente per l’ecosistema open-weights: il divario tra il miglior modello open e il leader assoluto è triplicato, ampliandosi da 3 punti nella v4.3 a 12 punti nella v5.

Il K3.1 Pro di Kimi è il miglior modello a pesi aperti con 46 anni, ma i suoi pesi non sono ancora stati rilasciati. Tra i modelli con pesi rilasciati, V4.1 Flash 1017 (max) di DeepSeek e GLM-5.3 (max) di Z.ai sono in testa a 32, ben 26 punti dietro Claude Opus 5.5 e sotto Claude Haiku 5.5 (max) a 36.

Il divario è più ampio nei parametri di riferimento più severi per gli agenti. Su HLE-Diamond, Kimi K3.1 Pro ottiene un punteggio del 37% contro il 68% di Opus 5.5; su Terminal-Bench-Science il 34% contro il 63% di GPT-6 Astra. La maggior parte dei modelli a pesi aperti hanno ottenuto un punteggio inferiore al 10% nel benchmark scientifico.

Il prezzo per attività varia di tredici volte

Il costo resta una variabile decisiva. Tra i dieci modelli con il punteggio più alto, GPT-6.1 Terra (max) è il più economico con 0,96 dollari per attività dell'Intelligence Index, mentre Claude Fable 5.1 (max) è il più costoso con 13,04 dollari, uno spread di oltre 13 volte.

La storia dell'efficienza è probabilmente l'aspetto più pratico della v5: GPT-6.1 Sol (max) ottiene un punteggio entro 4 punti da Claude Opus 5.5 mentre costa circa un ottavo in più per attività, a $ 1,27 contro $ 10,04 di Opus. GPT-6 Astra (max) si trova tra questi a $ 6,24.

Perché i benchmark privati sono importanti

Lo spostamento verso set di valutazione privati riflette un problema che riguarda tutto il settore: i benchmark pubblici si diffondono nei dati di addestramento e si saturano, rendendo impossibile fidarsi dei guadagni in classifica. Con FrontierCode 2.0, le attività vengono valutate in base alla possibilità che un manutentore unisca la modifica – con qualsiasi fallimento del controllo di blocco che ottiene un punteggio pari a zero – e l'elenco delle attività rimane privato.

Ciò rende la v5 uno dei parametri di riferimento più difficili da interpretare, e il suo verdetto ha un peso: la frontiera è guidata da Anthropic e OpenAI, le impostazioni degli sforzi contano più che mai e i modelli a pesi aperti hanno un terreno serio per recuperare sui compiti degli agenti che definiscono sempre più il lavoro dell’IA nel mondo reale.

---

Rimani Aggiornato sull'IA

Le ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.

Leggi altre notizie sull'IA →