Google DeepMind a démontré une technique de formation robotique dans laquelle son modèle Gemini 4 Argon apprend une tâche physique en regardant une vidéo ordinaire, puis transfère le comportement appris à un véritable robot humanoïde. Dans la démo, publiée parallèlement au lancement du modèle, l'humanoïde Apollo construit par Apptronik a regardé des images d'une personne jouant au cornhole - puis a décroché sept tirs consécutifs lors d'un essai réel, selon Robotics & Automation News.
De la vidéo brute au vrai robot Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.
La démonstration était centrée sur un seul test interne. Argon a vu une vidéo brute d'un humain jouant au cornhole, le jeu de lancer dans la cour. Le modèle a ensuite analysé l’environnement, cartographié ses coordonnées spatiales et calculé les mouvements articulaires de tout le corps nécessaires pour reproduire la tâche sur une plate-forme humanoïde.
L’étape notable est la suivante : plutôt que de compter sur des ingénieurs pour créer manuellement une simulation physique, Argon a généré lui-même le code de simulation de manière autonome. Le comportement appris a ensuite été transféré de cette simulation auto-générée à l'humanoïde Apollo d'Apptronik, qui l'a exécuté dans le monde physique.
Selon Google DeepMind, Apollo a ensuite réussi sept tirs consécutifs au cours de l'essai réel – une course sans faute pour une tâche qui nécessite que le robot coordonne l'équilibre, la trajectoire des bras et le moment du relâchement.
## semaines de travail de simulation compressées en heures
Google DeepMind décrit l'approche comme un pipeline « Vidéo-à-Sim-à-Réel », et le discours porte autant sur le temps d'ingénierie que sur la capacité.
"Ce pipeline 'Video-to-Sim-to-Real' compresse des semaines de modélisation de simulation manuelle en quelques heures, transformant des vidéos ordinaires en un terrain d'entraînement évolutif et infini pour la robotique", a déclaré la société, selon Robotics & Automation News.
Traditionnellement, pour enseigner à un robot une nouvelle compétence physique par le biais de la simulation, des spécialistes devaient modéliser manuellement l'environnement, la physique des objets et le corps du robot - un processus mesuré en semaines pour chaque nouvelle tâche. Si la vidéo peut remplacer cette modélisation manuelle, le goulot d'étranglement pour l'enseignement de nouvelles compétences aux robots passe du travail d'ingénierie à la disponibilité de séquences de démonstration, qui sont effectivement illimitées sur Internet.
Qu'est-ce qui différencie la vidéo de la simulation au réel
La plupart des pipelines d'apprentissage des robots dans l'industrie utilisent l'une des deux voies suivantes : la téléopération, où les humains démontrent manuellement les tâches que le robot imite, ou la formation par simulation, où les ingénieurs construisent à la main des environnements virtuels dans lesquels les politiques de contrôle mettent en pratique des millions de répétitions avant le déploiement. Les deux fonctionnent et s’adaptent mal : la téléopération demande beaucoup de main d’œuvre par tâche, et la modélisation par simulation demande beaucoup de main d’œuvre par environnement.
La démo Cornhole vise le deuxième goulot d’étranglement. Dans le récit du test de DeepMind, aucun ingénieur n'a construit l'environnement du trou de maïs : Argon a consommé la vidéo brute, interprété la disposition spatiale de la scène, élaboré les trajectoires articulaires de tout le corps requises par le lancer et écrit le code de simulation lui-même. Le rôle humain dans la boucle se réduisait en effet à filmer quelqu’un en train de jouer.
Cornhole est un cas de test délibérément bien choisi. Cela semble trivial, mais l'atterrissage d'un pouf sur une cible surélevée exige exactement la combinaison que les robots humanoïdes trouvent difficile : un équilibre stable de tout le corps pendant l'enroulement, une dynamique fine des bras, un largage chronométré et une tolérance à la balistique d'un projectile lâche. Sept succès consécutifs dans le monde réel indiquent que la politique transférée a été robuste plutôt que chanceuse, même si un seul test interne constitue une base de données limitée.
Résultats du test de raisonnement incorporé
Parallèlement à la démo Cornhole, DeepMind a testé Argon sur le benchmark Embodied Reasoning (ERQA), qui mesure la capacité d'un modèle à raisonner sur des problèmes physiques et spatiaux dans des environnements 3D. La société affirme qu'Argon a obtenu un score de 87 % sur l'indice de référence.
Le raisonnement physique et spatial est largement considéré comme l’une des lacunes qui séparent les modèles de langage frontalier des systèmes pouvant fonctionner utilement dans le monde physique. C’est pourquoi les tests de référence en robotique comme l’ERQA ont attiré de plus en plus l’attention des grands laboratoires.
Fait partie du lancement plus large de Gemini 4 Argon
Le travail de robotique est une application dans un lancement plus large. Google positionne Gemini 4 Argon comme un modèle pionnier combinant le raisonnement visuo-sémantique, la compréhension physique et la génération de code autonome, destiné à des tâches complexes d'ingénierie, scientifiques, de codage et commerciales. La société affirme avoir déjà utilisé le modèle en interne sur des projets allant de l'optimisation de bases de code logicielles volumineuses à l'informatique quantique, à la fusion nucléaire et à la recherche en sciences de la vie.
Le modèle est mis à disposition via les produits d'IA de Google et l'API Gemini, la démonstration robotique étant présentée comme une preuve de la compréhension physique du modèle plutôt que comme un produit d'expédition pour les opérateurs de robots.
Pourquoi c'est important pour l'industrie humanoïde
Pour le secteur en pleine croissance des robots humanoïdes – où Apptronik est l'un des acteurs les plus importants – le résultat pointe vers une proposition de valeur spécifique à court terme : des modèles d'IA à usage général capables de convertir la vidéo passive en simulations entraînables pourraient réduire considérablement le coût de l'enseignement de nouvelles tâches aux robots, le principal obstacle entre les démonstrations impressionnantes d'aujourd'hui et un déploiement économiquement utile à grande échelle.
Le propre cadrage de DeepMind souligne le même point. La démonstration, selon la société, montre comment des modèles à usage général pourraient réduire la quantité d'ingénierie manuelle requise pour enseigner de nouvelles compétences physiques aux robots.
Sept tirs de cornhole ne déplaceront pas les colis dans un entrepôt. Mais le pipeline qui les a produits – regarder une vidéo, comprendre la physique, écrire la simulation, transférer vers le matériel – est la partie que les entreprises de robotique et leurs investisseurs surveilleront.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
