GPT-6 Astra di OpenAI potrebbe essere alle prese con problemi di fiducia degli utenti sul fronte della codifica, ma su un nuovo benchmark di robotica sta pubblicando numeri che inducono i ricercatori a parlare di un salto di qualità. Su StationeryBench, un test costruito attorno a normali oggetti da scrivania, Astra ha completato completamente 7 attività su 100 mentre MolmoAct2 di Ai2, il modello con cui si è confrontato, ha completato zero.
Il benchmark, descritto da The Decoder, mette i due modelli l'uno contro l'altro in cinque attività relative a un oggetto da scrivania: aprire un pennarello, versare graffette o passare un righello tra due bracci robotici. Entrambi i modelli hanno controllato gli stessi robot YAM a doppio braccio nel corso di 200 prove, un progetto di controllo inteso a isolare la capacità del modello dalle differenze hardware. Tutti i risultati, i video e il codice sono stati pubblicati su GitHub. Per una maggiore copertura di ricerche come questa, controlla il nostro hub di notizie AI.
Un "cambio di passo", secondo i ricercatori
Yoav Artzi, ricercatore di intelligenza artificiale alla Cornell e Google DeepMind, ha definito la performance di Astra un "cambio di passo nel ragionamento spaziale" - il tipo di risultati di benchmark linguistici che raramente ottengono. Su un benchmark ancora inedito chiamato REMAP, Astra raggiunge una precisione vicina al livello umano, anche se Artzi ha osservato che "nemmeno Astra riesce a raggiungere ciò che fanno gli umani in altri scenari".
Il punteggio medio di avanzamento di Astra ha raggiunto 46 su 100, rispetto a 12 per MolmoAct2: un divario che conta più di quanto suggeriscano i numeri di completamento dei titoli. I compiti di robotica vengono valutati in base al progresso parziale così come al pieno successo, e triplicare il punteggio medio di un rivale indica che il modello sta costantemente avanzando attraverso sequenze di manipolazione piuttosto che riuscire per fortuna in una manciata di prove.
Perché il ragionamento spaziale è improvvisamente importante
Il risultato suggerisce come è stata addestrata Astra. Artzi sospetta che OpenAI abbia addestrato il modello su grandi quantità di dati 3D, come le scene di Blender, il che sarebbe in linea con la particolare forza del modello nelle attività 3D. Se questa lettura è corretta, suggerisce che gli ambienti 3D sintetici – più economici e più sicuri della raccolta dati nel mondo reale – stanno diventando un percorso praticabile verso la competenza nel mondo fisico, uno dei colli di bottiglia più longevi nella robotica.
La struttura del benchmark dice anche qualcosa sulla direzione che prenderà la valutazione della robotica. I compiti di StationeryBench sono deliberatamente banali - aprire un pennarello, versare graffette, consegnare un righello - perché la manipolazione quotidiana, non le imprese cinematografiche, è ciò che separa le demo di laboratorio dalle macchine utili. Valutare entrambi i modelli sullo stesso hardware YAM a doppio braccio attraverso 200 prove e pubblicare ogni video è una configurazione insolitamente trasparente per una dichiarazione di capacità che coinvolge l'ammiraglia di un laboratorio di frontiera.
MolmoAct2, il modello di confronto dell’Allen Institute for AI (Ai2), che non completa nessuno dei compiti è un dato a sé stante: suggerisce che il divario tra modelli di frontiera generici e modelli robotici appositamente costruiti non si sta più semplicemente chiudendo ma invertendo, almeno sulla manipolazione pesante del ragionamento.
Si adatta anche alle ambizioni dichiarate di OpenAI: la società ha piani a lungo termine per costruire i propri robot consumer, secondo il rapporto citato da The Decoder. Un modello linguistico di frontiera in grado di ragionare su oggetti, mani e traiettorie è la metà software di questo discorso. La metà dell'hardware rimane irrisolta, ma benchmark come StationeryBench sono il modo in cui viene misurata quella storia.
Contesto: un modello con una settimana complicata
Il risultato rientra in uno strano ciclo di notizie per OpenAI. Lo stesso modello al centro di questo benchmark ha passato la settimana ad affrontare i reclami degli utenti secondo cui era diventato più stupido dal lancio: reclami che OpenAI ha ricondotto a tre difetti nominati, dalle abilità di mancata accensione a un esperimento contestuale dal comportamento anomalo, prima di ripristinare i limiti di utilizzo del Codex. Un modello che inciampa nella produzione mentre pubblica risultati rivoluzionari in laboratorio è un riassunto dell’attuale settore dell’intelligenza artificiale: capacità e affidabilità stanno avanzando su orologi diversi.
Si inserisce anche nel mezzo di un dibattito sulla sicurezza a cui ha aderito la stessa leadership di OpenAI. Il capo scienziato dell'azienda ha avvertito che nessun laboratorio è riuscito a risolvere il controllo di sistemi sempre più autonomi e il CEO di Anthropic ha chiesto all'industria di rallentare del tutto lo sviluppo di frontiera. I benchmark che mostrano modelli che manipolano il mondo fisico – anche se il mondo è solo una scrivania ricoperta di cancelleria – sono esattamente il tipo di risultato citato da entrambi i dirigenti quando sostengono che il ritmo del progresso sta superando la supervisione.
Il risultato finale
Sette attività completate su 100 non metteranno un robot sulla tua scrivania domani. Ma passare dallo zero del rivale al sette, con un punteggio medio di progresso tre volte più alto, è il tipo di discontinuità che ha ridisegnato le classifiche delle capacità nella comprensione del linguaggio due anni fa. La questione aperta è se lo stesso modello possa fornire tale competenza in modo affidabile, al di fuori del benchmark, a un prezzo che gli sviluppatori sono disposti a pagare.
Stai al passo con l'intelligenza artificiale
Parametri di riferimento, scoperte e la corsa verso macchine che agiscono: seguiti ogni giorno.
Leggi altre notizie sull'AI →
