Google DeepMind ha dimostrato una tecnica di addestramento alla robotica in cui il suo modello Gemini 4 Argon impara un compito fisico guardando un normale video, quindi trasferisce il comportamento appreso a un vero robot umanoide. Nella demo, pubblicata insieme al lancio del modello, l'umanoide Apollo costruito da Apptronik ha guardato il filmato di una persona che giocava a cornhole - e poi ha messo a segno sette colpi consecutivi in una prova nel mondo reale, secondo Robotics & Automation News.
Dal video grezzo al vero robot Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.
La dimostrazione era incentrata su un unico test interno. Ad Argon è stato mostrato un video grezzo di un essere umano che giocava al cornhole, il gioco del lancio in giardino. Il modello ha poi analizzato l’ambiente, mappato le sue coordinate spaziali e calcolato i movimenti articolari dell’intero corpo necessari per riprodurre l’attività su una piattaforma umanoide.
Il passo più importante è quello che è avvenuto dopo: invece di affidarsi agli ingegneri per costruire manualmente una simulazione fisica, Argon ha generato autonomamente il codice di simulazione stesso. Il comportamento appreso è stato poi trasferito da quella simulazione autogenerata all'umanoide Apollo di Apptronik, che lo ha eseguito nel mondo fisico.
Secondo Google DeepMind, Apollo ha successivamente messo a segno sette colpi consecutivi durante la prova nel mondo reale: una corsa pulita per un compito che richiede al robot di coordinare l'equilibrio, la traiettoria del braccio e i tempi di rilascio.
Settimane di lavoro di simulazione compresse in ore
Google DeepMind descrive l'approccio come una pipeline "Da video a Sim a reale" e la presentazione riguarda tanto i tempi di progettazione quanto le capacità.
"Questa pipeline 'Video-to-Sim-to-Real' comprime settimane di modellazione di simulazione manuale in poche ore, trasformando i normali video in un campo di allenamento scalabile e infinito per la robotica", ha affermato la società, secondo Robotics & Automation News.
Tradizionalmente, insegnare a un robot una nuova abilità fisica attraverso la simulazione richiedeva agli specialisti di modellare manualmente l'ambiente, la fisica dell'oggetto e il corpo del robot, un processo misurato in settimane per ogni nuovo compito. Se il video può sostituire la modellazione manuale, il collo di bottiglia per insegnare ai robot nuove competenze si sposterà dal lavoro di ingegneria alla disponibilità di filmati dimostrativi, che sono effettivamente illimitati su Internet.
Cosa rende diverso il passaggio dal video alla simulazione al mondo reale
La maggior parte dei percorsi di apprendimento dei robot nell'industria utilizzano due percorsi: la teleoperazione, in cui gli esseri umani dimostrano manualmente i compiti che il robot imita, o l'addestramento alla simulazione, in cui gli ingegneri costruiscono manualmente ambienti virtuali in cui le politiche di controllo praticano milioni di ripetizioni prima dell'implementazione. Entrambi funzionano ed entrambi hanno una scarsa scalabilità: la teleoperazione richiede molta manodopera per attività e la modellazione di simulazione richiede molta manodopera per ambiente.
La demo del cornhole è mirata al secondo collo di bottiglia. Nel resoconto del test di DeepMind, nessun ingegnere ha costruito l'ambiente del cornhole: Argon ha consumato il video grezzo, ha interpretato la disposizione spaziale della scena, ha elaborato le traiettorie articolari di tutto il corpo richieste dal lancio e ha scritto il codice di simulazione stesso. Il ruolo umano nel loop era, in effetti, ridotto all'aver filmato qualcuno mentre giocava.
Cornhole è un caso di prova deliberatamente ben scelto. Sembra banale, ma far atterrare un sacco di fagioli su un bersaglio rialzato richiede esattamente la combinazione che i robot umanoidi trovano difficile: equilibrio stabile di tutto il corpo durante il caricamento, dinamica precisa del braccio, rilascio temporizzato e tolleranza per la balistica di un proiettile sciolto. Sette successi consecutivi nel mondo reale indicano che la politica trasferita è stata solida piuttosto che fortunata, sebbene un singolo test interno costituisca una base di prove ristretta.
Risultati del benchmark del ragionamento incorporato
Oltre alla demo del cornhole, DeepMind ha testato l'Argon sul benchmark Embody Reasoning (ERQA), che misura la capacità di un modello di ragionare su problemi fisici e spaziali in ambienti 3D. L'azienda afferma che Argon ha ottenuto un punteggio dell'87% sul benchmark.
Il ragionamento fisico e spaziale è ampiamente visto come una delle lacune che separano i modelli linguistici di frontiera dai sistemi che possono operare utilmente nel mondo fisico, motivo per cui i benchmark di robotica come ERQA hanno attirato crescente attenzione da parte dei principali laboratori.
Parte del lancio più ampio di Gemini 4 Argon
Il lavoro della robotica è un’applicazione in un lancio più ampio. Google sta posizionando Gemini 4 Argon come un modello di frontiera che combina ragionamento visivo-semantico, comprensione fisica e generazione autonoma di codice, mirato a complesse attività ingegneristiche, scientifiche, di codifica e aziendali. L’azienda afferma di aver già utilizzato il modello internamente su progetti che vanno dall’ottimizzazione di grandi basi di codici software all’informatica quantistica, alla fusione nucleare e alla ricerca nelle scienze della vita.
Il modello viene reso disponibile tramite i prodotti AI di Google e l'API Gemini, con la dimostrazione di robotica presentata come prova della comprensione fisica del modello piuttosto che come un prodotto di spedizione per gli operatori robot.
Perché è importante per l'industria degli umanoidi
Per il settore in crescita dei robot umanoidi – di cui Apptronik è uno degli attori più importanti – il risultato punta verso una specifica proposta di valore a breve termine: modelli di intelligenza artificiale generici in grado di convertire video passivi in simulazioni addestrabili potrebbero ridurre drasticamente il costo di insegnare ai robot nuovi compiti, l’ostacolo principale tra le impressionanti dimostrazioni di oggi e l’implementazione economicamente utile su larga scala.
L'inquadramento di DeepMind sottolinea lo stesso punto. La dimostrazione, afferma l’azienda, mostra come i modelli generici potrebbero ridurre la quantità di ingegneria manuale necessaria per insegnare ai robot nuove abilità fisiche.
Sette colpi di cornhole non sposteranno i pacchi in un magazzino. Ma la pipeline che li ha prodotti – guardare un video, comprendere la fisica, scrivere la simulazione, trasferirla sull’hardware – è la parte che le aziende di robotica e i loro investitori guarderanno.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
