Il laboratorio di intelligenza artificiale decentralizzata Prime Intellect ha pubblicato i risultati di un esperimento su larga scala che testa la capacità degli odierni modelli di intelligenza artificiale di frontiera di eseguire ricerche autonome sull'apprendimento automatico, e i migliori di essi si sono avvicinati notevolmente al record mondiale umano su un celebre benchmark della comunità.
Il progetto, soprannominato NanoGPT Speedrun Frontier e pubblicato il 22 agosto, consisteva in 153 corse autonome su 18 modelli di frontiera tentando lo speedrun dell'ottimizzatore nanoGPT, una competizione in cui i ricercatori cercano il modo più efficiente per addestrare un piccolo modello linguistico a un obiettivo di qualità fisso. La storia ha rapidamente scalato la prima pagina di Hacker News, dove ha attirato dozzine di commenti che discutevano su cosa dicono i risultati sulla capacità dell'intelligenza artificiale di un'autentica scoperta scientifica. Per maggiori informazioni su questa storia, consulta la nostra tendenze IA.
Cos'è realmente il NanoGPT Speedrun
Il benchmark proviene dal repository modded-nanogpt gestito da Keller Jordan e da un lungo elenco di contributori della comunità. La sfida è apparentemente semplice da spiegare: utilizzando 8 GPU NVIDIA H100, addestrare un modello linguistico che raggiunga una perdita di entropia incrociata di 3,28 sul set di convalida FineWeb (il livello di prestazioni raggiunto dalla replica GPT-2 originale di Andrej Karpathy dopo 45 minuti) il più velocemente possibile.
Attraverso centinaia di contributi da parte della comunità negli ultimi due anni, il record umano è stato ridotto a meno di 75 secondi e a meno di 400 milioni di token di formazione, un miglioramento di oltre 30 volte rispetto alla ricetta originale. Le soluzioni vincenti si leggono come un catalogo della moderna ingegneria ML: l'ottimizzatore di muoni, incorporamenti rotanti con QK-Norm, attivazioni ReLU al quadrato, quantizzazione FP8 sull'attenzione e passaggi MLP, Flash Attention 3 con modelli di finestre scorrevoli e dozzine di altre tecniche impilate una sopra l'altra.
Il test di Prime Intellect ha utilizzato il percorso di ottimizzazione del benchmark, che, secondo la documentazione del repository, riduce al minimo il numero di passaggi di addestramento necessari per raggiungere la perdita target, soggetto a un'architettura, un set di dati e una dimensione batch fissi, con un budget effettivamente illimitato. Ciò lo rende un puro test di scoperta dell’algoritmo piuttosto che della velocità dell’hardware grezzo.
Come ha funzionato l'esperimento
A ciascuno dei 18 modelli è stato assegnato il compito in modo autonomo: proporre modifiche alla ricetta di addestramento, eseguire esperimenti, ispezionare i risultati e ripetere, con uno script di verifica fisso e semi casuali fissi che garantiscono che un miglioramento dichiarato sia reale piuttosto che una corsa fortunata. Come ha riassunto un commentatore di Hacker News, ai modelli è stato chiesto di ricercare come migliorare l'addestramento di un piccolo modello, provando ripetutamente le modifiche, testandole e utilizzando i risultati per decidere cosa provare dopo.
I modelli hanno funzionato attraverso una varietà di sistemi di agenti, tra cui claude-code, codex di OpenAI, kimi-code, grok-cli, qwen-code e prime-agent di Prime Intellect, e il team ha monitorato il consumo di token di ogni esecuzione, il conteggio degli esperimenti, le chiamate agli strumenti e il tempo trascorso dall'agente. In totale, l’esperimento ha consumato centinaia di milioni di token per modello di punta e miliardi su tutta la rete.
La classifica: Fable 5 guida il gruppo
Il risultato principale: il modello identificato come Fable 5, eseguito attraverso il cablaggio del codice claude, ha colmato l'81,7% del divario tra la ricetta di base e il record umano, con un miglior risultato convalidato di 2.726 sulla metrica della classifica. Per arrivarci ci sono voluti 8,7 giorni di tempo cumulativo dell'agente, circa 800 milioni di token, 811 esperimenti e circa 3.000 chiamate a strumenti.
Il gruppo degli inseguitori è stato guidato da Opus 5, che ha colmato il 53,6% del divario, seguito da vicino da Kimi K3 con il 52,2% se guidato dal sistema prime-agent di Prime Intellect (e il 45,8% tramite kimi-code). Opus 4.8 ha ottenuto il 39,4%, diverse varianti GPT-5.6 si sono attestate tra l'11 e il 36% circa, Sonnet 5 ha chiuso con il 26,8% e Grok 4.5 e Qwen3.8 Max hanno raggiunto ciascuno circa il 24,6%.
Più in basso, DeepSeek V4 Pro ha colmato il 12,3% del divario, GPT-5.5 ha raggiunto l'8,1% e il vecchio Kimi K2.7 ha chiuso al 7,2%. In particolare, un modello rilasciato di recente – GLM 5.3 – era ancora in esecuzione al momento della pubblicazione senza alcun record convalidato, a ricordare che il benchmark punisce i modelli che non possono convalidare in modo affidabile i propri miglioramenti.
Perché è importante
Benchmark come questo sono importanti perché misurano qualcosa che le classifiche di codifica non possono fare: la capacità di eseguire un vero e proprio ciclo di ricerca – ipotesi, esperimento, analisi, revisione – nell’arco di giorni anziché minuti. Questa capacità è il fondamento del campo emergente della ricerca sull’intelligenza artificiale autonoma, in cui gli agenti non hanno il compito di scrivere codice su specifica ma di scoprire cose che nessuno ha mostrato loro.
La diffusione dei risultati è di per sé informativa. Quasi tutti i modelli dell'esperimento hanno trovato le stesse idee vincenti, secondo il resoconto del progetto: ciò che distingueva le esecuzioni migliori era ciò che un esperimento lascia dietro di sé: gli agenti più forti conservavano i segnali deboli nei risultati rumorosi abbastanza a lungo da convalidarli e comprendevano meglio i propri dati sperimentali.
Avvertenze da parte della community
I commentatori di Hacker News hanno sollevato discreti punti metodologici. Le impostazioni e le imbracature degli sforzi variavano a seconda dei modelli: Fable 5 funzionava con un'impostazione di ragionamento elevata mentre Opus 5 funzionava al massimo - e l'aritmetica di 153 corse su 18 modelli implica che alcuni modelli hanno ricevuto più tentativi di altri. Rimane una questione aperta se la classifica di un modello rifletta la sua pura capacità di ricerca o la qualità della sua imbracatura.
La direzione del viaggio è comunque chiara. Mentre le mani umane più veloci hanno impiegato anni di sforzi collettivi per raggiungere il record attuale, i migliori agenti autonomi stanno ora colmando gran parte di quel divario in poco più di una settimana di tempo di calcolo. La prossima domanda – se qualche modello possa chiudere il restante 18,3% – potrebbe avere una risposta prima del previsto.
Per ulteriori informazioni sui benchmark e sulla ricerca che plasmano la frontiera dell'intelligenza artificiale, segui la copertura continua di AI Buzz Wire.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
