Mistral AI lance Robostral Navigate, son premier modèle robotique pour la navigation de robots à caméra unique

La société française d'IA Mistral AI est entrée dans le domaine de la robotique avec Robostral Navigate, un modèle de 8 milliards de paramètres qui permet aux robots de naviguer de manière autonome dans des environnements complexes en utilisant rien de plus qu'une seule caméra RVB ordinaire. Le modèle, annoncé le 8 juillet 2026, représente le premier pas de Mistral vers l'IA incarnée et la robotique physique.

Robostral Navigate prend des images RVB et des instructions en langage simple et déplace un robot dans un environnement tel qu'un bureau, un immeuble résidentiel ou un espace extérieur. Ce qui le distingue est son minimalisme matériel : alors que les modèles concurrents s'appuient généralement sur des capteurs de profondeur, du LiDAR ou plusieurs caméras fonctionnant de concert, Robostral Navigate n'utilise qu'une seule caméra RVB standard et aucun capteur de profondeur. Pour une couverture complète des lancements de modèles d’IA émergents, les lecteurs peuvent suivre les derniers développements de l’IA sur notre page d’accueil.

Performances de pointe sur R2R-CE

Malgré son approche à caméra unique, Robostral Navigate atteint un taux de réussite de 76,6 % au test de validation R2R-CE (Room-to-Room in Continuous Environments), le test standard pour suivre les instructions de navigation dans les environnements présentés pendant la formation. Ce résultat surpasse de 9,7 points de pourcentage la meilleure approche précédente à caméra unique et surpasse de 4,5 points le meilleur système utilisant des capteurs de profondeur ou plusieurs caméras, même si aucun des deux n'est utilisé.

A la validation constatée, le modèle atteint un taux de réussite de 79,4%. Selon Mistral, le modèle se généralise à tous les types de robots, fonctionnant sur des robots à roues, à pattes et même volants, et s'adapte à la taille des robots sans recyclage.

Construit entièrement en simulation

L’un des aspects les plus remarquables de Robostral Navigate est qu’il a été entièrement construit en interne et formé exclusivement à la simulation. Mistral a construit un pipeline de génération de données efficace qui a produit un ensemble de données d'environ 400 000 trajectoires collectées sur 6 000 scènes simulées. Cette approche axée sur la simulation a permis une itération rapide sans les coûts et les défis logistiques liés à la collecte de données réelles.

Le modèle est initialisé à partir du modèle de langage de vision de Mistral, spécialisé pour les tâches de base telles que le pointage, le comptage et la localisation d'objets. La navigation apparaît comme une extension naturelle de ces capacités : une fois que le modèle comprend où se trouvent les éléments dans une image, il apprend comment s'y diriger. Notamment, Robostral Navigate ne s'appuie sur aucun modèle de langage de vision open source existant.

Navigation basée sur le pointage et apprentissage par renforcement

Robostral Navigate utilise un mécanisme de navigation basé sur le pointage. Compte tenu d'une tâche et d'un historique d'observations, le modèle prédit où le robot devrait se déplacer ensuite en déduisant les coordonnées de l'image de l'emplacement cible dans la vue actuelle de la caméra du robot, ainsi que l'orientation souhaitée à l'arrivée. Cette approche de pointage rend la politique naturellement robuste aux changements dans les caractéristiques intrinsèques de la caméra et à l'échelle mondiale, contrairement aux commandes qui reposent sur des déplacements métriques.

Lorsque l'emplacement cible se trouve en dehors du champ de vision actuel et que le pointage ne s'applique pas, le modèle revient aux déplacements dans le cadre de coordonnées local du robot. Après une formation supervisée, Mistral a appliqué l'apprentissage par renforcement en ligne à l'aide de son algorithme CISPO, qui a permis au modèle d'apprendre par essais et erreurs, de se remettre des échecs et d'acquérir des comportements exploratoires. Cette étape d'apprentissage par renforcement à elle seule a amélioré le taux de réussite de 3,2 points de pourcentage, et Mistral rapporte que les performances continuent de grimper sans aucun signe de plateau.

Formation efficace via la mise en cache des préfixes

Une innovation technique clé est un algorithme de formation efficace basé sur la mise en cache des préfixes. Utilisant une stratégie de masquage de l'attention basée sur une arborescence, la méthode de Mistral compresse un épisode entier en une seule séquence, permettant un entraînement sur tous les pas de temps en un seul passage tout en empêchant les fuites d'informations entre les pas de temps. Par rapport à la formation avec un échantillon par pas de temps, cette approche réduit le nombre de jetons de formation d'un facteur 22 tout en préservant tous les signaux d'apprentissage. En pratique, l'entreprise affirme que cela transforme des sessions de formation qui prendraient des mois en sessions qui se termineraient en quelques jours.

Applications et ce qui vient ensuite

Mistral positionne Robostral Navigate comme répondant à l'une des fonctionnalités les plus demandées par ses clients aujourd'hui. La technologie ouvre des applications dans les domaines de la fabrication, de la livraison, de la logistique et de l’hôtellerie. Donnez une instruction au modèle et il accomplira toute la tâche de manière autonome, en se déplaçant à travers des espaces de vie remplis de personnes et d'obstacles qui n'ont jamais été montrés pendant l'entraînement.

La société décrit cette version comme étant seulement la première étape vers un agent incarné unifié. Mistral agrandit activement son équipe de robotique et recherche des chercheurs et des ingénieurs. Ce lancement marque une expansion stratégique significative pour la startup basée à Paris, principalement connue pour ses grands modèles de langage et qui a désormais signalé un engagement sérieux dans l'IA physique et la robotique.

Le passage à la robotique intervient alors que l’industrie de l’IA au sens large investit de plus en plus dans l’IA incarnée, les entreprises explorant comment les capacités des modèles de langage peuvent être étendues à l’interaction physique avec le monde. L'approche basée sur la simulation et à caméra unique de Mistral pourrait réduire les obstacles au déploiement de systèmes de navigation autonomes, en particulier dans les applications commerciales sensibles aux coûts où les configurations multi-capteurs ne sont pas pratiques.

Gardez une longueur d'avance sur l'IA

Robostral Navigate est désormais disponible pour les clients de Mistral. Pour plus d’actualités et d’analyses sur l’IA, visitez AI Buzz Wire.

Lire plus d'actualités sur l'IA →