Un nuovo punto di riferimento sta mettendo alla prova il modo in cui l’industria dell’intelligenza artificiale misura la capacità scientifica, e i suoi primi risultati sono umilianti per i laboratori di frontiera. Terminal-Bench-Science 0.1, lanciato questa settimana dai ricercatori dell'Università di Stanford e dal team dietro il popolare benchmark di codifica Terminal-Bench, valuta gli agenti di intelligenza artificiale su flussi di lavoro di ricerca scientifica reali forniti da scienziati che lavorano - e il modello più potente testato, Claude Opus 5 eseguito tramite Claude Code, ha completato solo il 30% delle attività.

La pagina di annuncio del benchmark descrive senza mezzi termini il suo principio guida: gli scienziati, non gli sviluppatori di modelli o i fornitori di dati, dovrebbero stabilire il livello delle capacità scientifiche nell’intelligenza artificiale. Il progetto è stato realizzato in collaborazione con esperti del settore provenienti da istituti di ricerca di tutto il mondo e la sua prima versione comprende 70 attività che spaziano dalle scienze della vita, alla fisica, alle scienze della Terra, alla matematica e all'ingegneria.

Differenze dai benchmark dei libri di testo

La maggior parte delle valutazioni scientifiche sull’intelligenza artificiale mettono alla prova la conoscenza: domande a scelta multipla, problemi sui libri di testo, esercizi standardizzati. Terminal-Bench-Science misura invece se gli agenti sono in grado di eseguire i flussi di lavoro tecnicamente impegnativi e dispendiosi in termini di tempo che riempiono le giornate dei ricercatori reali, il tipo di lavoro che non appare in nessun esame. Le attività vengono eseguite in ambienti realistici e la valutazione si basa su artefatti concreti: analisi, simulazioni, prove, codice e prodotti di dati, controllati con test riproducibili specifici dell'attività anziché con modelli di valutazione o punteggi a scelta multipla.

Questo progetto riflette una teoria su ciò che gli assistenti IA dovrebbero eventualmente fare per la scienza. Invece di sostituire il giudizio scientifico, sostengono gli autori del benchmark, gli agenti dovrebbero farsi carico del livello esecutivo – eseguendo gli esperimenti in silico, elaborando i dati, controllando le prove – per lasciare liberi gli scienziati di dedicarsi alle parti della ricerca in cui il giudizio umano conta di più: definire domande, formulare ipotesi, interpretare i risultati e comunicare i risultati.

Il progetto è inoltre esplicitamente costruito come un bersaglio mobile. Laddove molti benchmark vengono rilasciati una volta e poi abbandonati – l’annuncio chiama questo il problema dei “documenti da pubblicare” – Terminal-Bench-Science è concepito come un benchmark continuo che si evolve insieme alla frontiera, con rilasci regolari intesi a mantenere la valutazione al passo con il progresso del modello e prevenire l’inflazione del punteggio guidata dalla contaminazione.

La prima classifica: molto lontana dall'essere affidabile

La classifica v0.1, che ha attirato molta attenzione quando è arrivata su Hacker News questa settimana, mostra un forte calo dai vertici:

  • Claude Opus 5 (Codice Claude): 30,0%
  • GPT-5.6 Sol (Codice): 22,4%
  • Claude Fable 5 (Codice Claude): 21,4%
  • Claude Opus 4.8 (Codice Claude): 10,5%
  • GPT-5.6 Terra (Codice): 8,6%
  • GLM 5.3 (Codice Claude): 8,1%
  • Kimi K3 (Codice Claude): 7,1%
  • Grok 4.6 (Build Grok): 7,1%
  • GPT-5.6 Luna (Codice): 3,3%

I risultati suggeriscono che i flussi di lavoro scientifici rimangono sostanzialmente più difficili per gli agenti rispetto all’ingegneria del software, dove il Terminal-Bench originale e i benchmark di codifica rivali hanno visto i punteggi salire rapidamente. Un tasso di risoluzione del 30% per il miglior sistema disponibile significa che in sette compiti di ricerca reali su dieci, anche un agente di alto livello abbinato a una forte imbracatura non riesce a produrre un lavoro verificabilmente corretto.

Anche la diffusione all’interno delle famiglie modello è istruttiva. Il divario tra Claude Opus 5 e Claude Opus 4.8 – quasi venti punti – e tra le varianti GPT-5.6 Sol, Terra e Luna mostra quanto la qualità del risultato dipenda dall’interazione del modello e dal cablaggio dell’agente, non solo dall’intelligenza grezza del modello. Ogni voce con punteggio elevato utilizza un'imbracatura di codifica ad agenti (Claude Code, Codex, Grok Build), rafforzando il consenso emergente secondo cui l'impalcatura è decisiva quanto i pesi sottostanti.

Perché gli scienziati hanno creato il proprio benchmark

La struttura del benchmark porta con sé una sottile argomentazione istituzionale. "La posta in gioco nella scienza è troppo alta", afferma l'annuncio, "e i suoi parametri di riferimento devono riflettere le priorità della comunità scientifica piuttosto che interessi esterni". Il progetto offre ai ricercatori che lavorano un meccanismo diretto per codificare i compiti di cui hanno effettivamente bisogno di essere automatizzati e per confrontare le affermazioni dei fornitori di "accelerare la scoperta scientifica" con uno standard verificabile.

Ciò è importante perché il divario tra marketing e realtà ha conseguenze reali. Se i laboratori di frontiera affermano che i loro agenti possono accelerare la ricerca mentre valutazioni indipendenti, progettate da esperti, mostrano tassi di risoluzione da una cifra al 30%, le decisioni di finanziamento, i piani di assunzione e le politiche di laboratorio basate su tali affermazioni ereditano l’errore. I benchmark continui e gestiti dalla comunità rappresentano un correttivo: convertono affermazioni vaghe in numeri riproducibili.

Un segnale per gli enti di ricerca

Per le università, i laboratori nazionali e i team di ricerca e sviluppo che valutano quando implementare gli agenti, il benchmark offre qualcosa che le demo dei fornitori non possono offrire: una misurazione gestita dalla comunità di dove si trova effettivamente la linea di affidabilità. Un tasso di risoluzione nell’adolescenza o nei vent’anni significa che oggi questi sistemi sono meglio trattati come assistenti che richiedono una revisione, non come esecutori autonomi di condutture sperimentali. Le categorie di attività, che spaziano dalle scienze della vita, fisiche, della Terra, matematiche e ingegneristiche, forniscono inoltre agli specialisti del settore un modello per contribuire ai flussi di lavoro provenienti da campi che i benchmark generici abitualmente trascurano.

Il contesto più ampio del settore rafforza il motivo per cui i tempi sono importanti. La scienza è diventata uno dei casi d’uso più fortemente promossi per l’intelligenza artificiale di frontiera, con laboratori che pubblicizzano contributi alla scoperta dei materiali, alla scienza delle proteine ​​e alla matematica. Queste affermazioni sono difficili da verificare: i risultati scientifici sono lenti da convalidare e l’entusiasmo si muove più velocemente della replica. Un benchmark che classifica gli artefatti verificabili in base ai flussi di lavoro reali offre agli istituti di ricerca un modo per separare le capacità dimostrate dal teatro dimostrativo e per monitorare, rilascio dopo rilascio, se il progresso degli agenti nella scienza si sta aggravando con la stessa rapidità con cui lo è nell'ingegneria del software, dove Terminal-Bench si è fatto un nome per la prima volta.

Per il settore dell’intelligenza artificiale, il messaggio della versione 0.1 è a doppio taglio. La frontiera sta chiaramente avanzando: il 30% dell'Opus 5 supera il 10,5% del vecchio Opus 4.8, ma il limite rimane lontano dall'affidabilità richiesta dai veri laboratori. I progettisti del benchmark affermano che i rilasci regolari tracceranno esattamente la velocità con cui si chiude il divario. Gli scienziati che osservano le tendenze emergenti dell’IA negli strumenti di ricerca agenti ora hanno un metro di paragone che hanno costruito da soli.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →