Dites à un robot « ne renversez pas de café sur mon ordinateur portable » et les machines d'aujourd'hui feront exactement cela - et rien de plus. Le téléphone posé à côté de l’ordinateur portable ? La tablette qui charge de l’autre côté de la table ? Hors du radar du robot jusqu'à ce que vous épeliez chacun d'eux, correction par correction fastidieuse.
Une nouvelle plateforme de chercheurs du MIT et de l’Université de New York vise à combler cet écart. Le système, appelé FLEX, permet aux robots de planification de mouvements de suivre les instructions explicites d'un humain tout en en tirant des généralisations plus larges qui améliorent les performances, selon MIT News. L’équipe présentera ses travaux lors de la conférence annuelle sur l’apprentissage des robots (CoRL) ce mois-ci. Pour plus de contexte sur cette histoire, consultez notre plus d'articles sur l'IA.
"Les LLM ont vu tellement de textes sur Internet", a déclaré Nathan Dennler, postdoctorant au Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT et auteur de l'étude. "Les gens ont peut-être écrit: 'Oh, mon téléphone est tombé dans l'eau et maintenant il ne fonctionne plus', ou 'J'ai renversé du café sur mon ordinateur et maintenant il ne fonctionne plus.' Les LLM reprennent donc l’idée selon laquelle les liquides et les appareils font que les choses ne fonctionnent pas. »
D'un avertissement à un livre de règles complet
Dans un scénario de démonstration décrit par MIT News, une personne regarde un bras robotique transporter une tasse de café sur une table encombrée et tape une seule commande : « Ne renversez pas sur l'ordinateur portable ! » Un robot conventionnel ajouterait l’ordinateur portable à sa liste d’évitements et replanifierait son chemin. FLEX va plus loin : le robot explique pourquoi les ordinateurs portables sont importants et ajuste sa trajectoire pour éviter les appareils électroniques à proximité, y compris un téléphone que l'utilisateur n'a jamais mentionné.
"L'idée est qu'il y a une intention de niveau supérieur derrière les mots que vous prononcez", a déclaré Dennler. "Les gens comprennent naturellement cela. Mais vous devez soigneusement l'expliquer à un robot, ce qui prend du temps et des efforts. FLEX vous offre une interface de communication avec un robot pour dire : "Quand les gens disent ceci, ils pensent cela."
L'étude a été dirigée par Andreea Bobu, professeur adjoint d'aéronautique et d'astronautique au MIT, qui dirige le laboratoire de recherche sur l'apprentissage collaboratif et l'autonomie (CLEAR). Les co-auteurs incluent Audrey Lee, qui a terminé son SM au MIT en 2026, et Ilia Sucholutsky de l'Université de New York.
Comment fonctionne FLEX : ajouter, généraliser, masquer
FLEX fonctionne comme un pipeline en trois étapes qui s'exécute en cinq secondes environ.
Étape 1 : Ajouter
Lorsqu'un utilisateur émet une correction en langage naturel, le robot ajoute la fonctionnalité pertinente à sa liste courante d'éléments importants pour la tâche. Si une personne dit « Ne le laisse pas tomber sur ma tasse ! » tandis que le robot porte une boule de bowling, la tasse rejoint la liste d'évitement et le robot met à jour sa trajectoire. Cette étape reflète la façon dont les méthodes précédentes ont toujours fonctionné – et c’est là que commencent leurs problèmes.
"Le problème survient lorsque votre liste de fonctionnalités devient très longue et que certaines fonctionnalités ne sont plus pertinentes car votre environnement a peut-être changé", a déclaré Dennler à MIT News. Un robot chargé d’éviter chaque objet individuellement devient plus lent à corriger et à planifier, et le fardeau de l’énumération incombe à l’humain.
Étape 2 : Généraliser
C'est la principale contribution de FLEX. Un grand modèle de langage – GPT-4o, mis en œuvre par l'équipe – examine la liste de fonctionnalités accumulées et recherche des modèles parmi les éléments. Face à un mug et à d'autres objets fragiles que la personne a signalés, le LLM en déduit une classe générale : éviter les choses fragiles, même celles qui ne sont jamais évoquées. Étant donné que le modèle s'appuie sur de vastes bibliothèques de textes humains, une grande partie du bon sens quotidien arrive préinstallée.
"Les LLM ont vu tellement de textes sur Internet, provenant de toutes sortes de personnes et de lieux", a déclaré Dennler. "Parce qu'ils se sont beaucoup formés sur ces sujets, une partie de ce bon sens est absorbée dans le LLM."
Étape 3 : Masquer
Les environnements réels changent et les règles obsolètes provoquent un comportement erratique. La troisième étape de FLEX utilise le système de vision par ordinateur standard du robot pour déterminer quels objets signalés ne sont plus présents, puis supprime ces entrées de la liste des fonctionnalités, gardant ainsi les contraintes du robot à jour sans intervention humaine.
Testé dans des simulations de café, de bougies et de boules de bowling
L'équipe a évalué FLEX dans des simulations d'un bras robot effectuant trois tâches : servir une tasse de café, déplacer une bougie et transporter une boule de bowling. Les volontaires ont interagi avec le robot virtuel en tapant des commandes en langage naturel telles que « Ne renversez pas sur mon ordinateur portable », « Restez à l'écart de la pile de papier » et « Ne laissez pas tomber sur la tasse ».
Dans les trois scénarios, le robot a suivi chaque commande littéralement tout en raisonnant à un niveau supérieur : en évitant les appareils électroniques lorsqu'il est averti de l'ordinateur portable, en évitant les objets inflammables lorsqu'on lui demande de surveiller la bougie et en traitant tous les objets fragiles comme des zones de non-chute après un seul avertissement de tasse.
Pourquoi le bon sens est le goulot d'étranglement pour les robots domestiques
La recherche cible un obstacle persistant dans la robotique grand public : personne ne livre un robot qui sait déjà ce qui compte chez vous. La planification de trajectoire basée sur la physique est précise mais opaque, et il est impossible d’attendre des utilisateurs qu’ils manipulent des fonctions de coût mathématiques.
"Les robots utilisent les mathématiques pour planifier leur trajectoire. Mais nous ne pouvons pas nous attendre à ce qu'un consommateur apprenne à faire ces calculs pour dire à un robot quoi faire", a déclaré Dennler. "Au lieu d'amener les gens à apprendre à utiliser un robot d'une manière spécifique, l'objectif est d'interagir avec le robot via le langage naturel."
Un grand nombre de recherches en robotique intègrent déjà le langage dans l’apprentissage des robots – clarifiant les objectifs des tâches, redirigeant les trajectoires, définissant des chemins sûrs. Mais MIT News note que ces méthodes existantes utilisent le langage principalement pour indiquer au robot comment effectuer physiquement une tâche. Le groupe de Bobu repousse une autre frontière : extraire les préférences sous-jacentes et non spécifiées d'une personne à partir d'une poignée de commandes occasionnelles.
"Les maisons de chacun sont différentes et chacun se soucie de choses différentes, donc aucun robot ne sort de sa boîte en sachant ce qui compte pour vous", a déclaré Bobu à MIT News. "Ce qui m'enthousiasme avec FLEX, c'est qu'il peut résumer cela à partir d'une phrase ou deux au lieu de vous demander d'épeler chaque règle - et c'est la différence entre un robot que les gens supportent et celui qu'ils veulent réellement chez eux."
Ce qui vient ensuite
Le travail, détaillé dans l'article « Flexible Language-Guided Representation Editing for Adaptive Robot Behaviour », a été soutenu en partie par le MIT Generative AI Impact Consortium et le programme Social and Ethical Responsibilities of Computing du MIT Schwarzman College of Computing.
Les résultats présentés jusqu'à présent sont des simulations, et traduire ces performances en matériel physique – avec une perception plus désordonnée, un langage plus bruyant et des conséquences réelles – reste le prochain obstacle dans ce domaine. Mais la direction est claire : à mesure que les robots passent des cages d’usine aux cuisines et aux bureaux, les machines qui réussiront seront peut-être celles qui comprendront non seulement ce que nous disons, mais aussi ce que nous pensons.
Cet article est basé sur un reportage de Jennifer Chu, publié par MIT News le 9 novembre 2026.---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
