Le GPT-6 Astra d'OpenAI est peut-être aux prises avec des problèmes de confiance des utilisateurs sur le front du codage, mais sur un nouveau benchmark robotique, il publie des chiffres qui incitent les chercheurs à parler d'un saut qualitatif. Sur StationeryBench, un test construit autour d'objets de bureau ordinaires, Astra a entièrement réalisé 7 tâches sur 100 tandis que MolmoAct2 d'Ai2, le modèle contre lequel il a été comparé, n'en a réalisé aucune.

Le benchmark, décrit par The Decoder, oppose les deux modèles à travers cinq tâches d'objet de bureau : déboucher un marqueur, verser des trombones ou passer une règle entre deux bras de robot. Les deux modèles contrôlaient les mêmes robots YAM à deux bras au cours de 200 essais, une conception de contrôle destinée à isoler les capacités du modèle des différences matérielles. Tous les résultats, vidéos et codes ont été publiés sur GitHub. Pour plus de couverture de recherche comme celle-ci, consultez notre AI news hub.

Un « changement radical », selon les chercheurs

Yoav Artzi, chercheur en IA chez Cornell et Google DeepMind, a qualifié les performances d'Astra de « changement radical dans le raisonnement spatial » – le genre de résultats de référence linguistique que l'on obtient rarement. Sur un benchmark encore inédit appelé REMAP, Astra atteint une précision proche du niveau humain, bien qu'Artzi ait noté que "même Astra n'atteint pas ce que font les humains dans d'autres scénarios".

Le score de progression médian d'Astra a atteint 46 sur 100, contre 12 pour MolmoAct2 – un écart qui compte plus que ne le suggèrent les principaux chiffres d'achèvement. Les tâches robotiques sont notées en fonction des progrès partiels ainsi que de la réussite totale, et tripler le score médian d'un rival indique que le modèle progresse constamment grâce à des séquences de manipulation plutôt que de réussir par chance sur une poignée d'essais.

Pourquoi le raisonnement spatial est soudainement important

Le résultat fait allusion à la manière dont Astra a été formée. Artzi soupçonne qu'OpenAI a entraîné le modèle sur de grandes quantités de données 3D, telles que des scènes Blender, ce qui correspondrait à la force particulière du modèle pour les tâches 3D. Si cette lecture est correcte, elle suggère que les environnements 3D synthétiques – moins chers et plus sûrs que la collecte de données du monde réel – deviennent une voie viable vers la compétence dans le monde physique, l’un des plus anciens goulots d’étranglement en robotique.

La conception du benchmark en dit également long sur la direction que prend l'évaluation de la robotique. Les tâches de StationeryBench sont délibérément banales – décapsuler un marqueur, verser des trombones, remettre une règle – parce que la manipulation quotidienne, et non les exploits cinématographiques, est ce qui sépare les démos de laboratoire des machines utiles. L'évaluation des deux modèles sur le même matériel YAM à double bras au cours de 200 essais et la publication de chaque vidéo constituent une configuration inhabituellement transparente pour une revendication de capacité impliquant le produit phare d'un laboratoire frontalier.

MolmoAct2, le modèle de comparaison de l'Allen Institute for AI (Ai2), qui n'accomplit aucune des tâches constitue son propre type de donnée : il suggère que l'écart entre les modèles frontières à usage général et les modèles robotiques spécialement conçus ne se contente plus de se combler mais de s'inverser, du moins en ce qui concerne les manipulations lourdes de raisonnement.

Cela correspond également aux ambitions déclarées d'OpenAI : la société envisage à long terme de construire ses propres robots grand public, selon un rapport cité par The Decoder. Un modèle de langage frontalier capable de raisonner sur les objets, les mains et les trajectoires constitue la moitié logicielle de ce pitch. La partie matérielle reste non résolue, mais des références comme StationeryBench permettent de mesurer cette histoire.

Contexte : Un modèle avec une semaine compliquée

Le résultat atterrit dans un étrange cycle d’actualités pour OpenAI. Le même modèle au centre de ce benchmark a passé la semaine à faire face à des plaintes d'utilisateurs selon lesquelles il était devenu plus stupide depuis son lancement – ​​des plaintes OpenAI attribuées à trois défauts nommés, allant de compétences ratées à une expérience contextuelle qui se comportait mal, avant de réinitialiser les limites d'utilisation du Codex. Un modèle qui trébuche en production alors qu’il publie des résultats de changement radical en laboratoire est un résumé de l’industrie actuelle de l’IA : la capacité et la fiabilité progressent à des rythmes différents.

Cela se produit également au milieu d'un débat sur la sécurité auquel les propres dirigeants d'OpenAI se sont joints. Le scientifique en chef de l'entreprise a averti qu'aucun laboratoire n'avait réussi à contrôler des systèmes de plus en plus autonomes, et le PDG d'Anthropic a appelé l'industrie à ralentir complètement son développement frontalier. Les benchmarks montrant des modèles manipulant le monde physique – même si le monde n’est qu’un bureau recouvert de papeterie – sont exactement le genre de résultat que citent les deux dirigeants lorsqu’ils affirment que le rythme des progrès dépasse la surveillance.

Le résultat

Sept tâches entièrement accomplies sur 100 ne mettront pas de robot sur votre bureau demain. Mais passer du zéro à sept d'un rival, avec un score de progression médian trois fois plus élevé, est le genre de discontinuité qui a redessiné les tableaux de capacités en matière de compréhension linguistique il y a deux ans. La question ouverte est de savoir si le même modèle peut fournir cette compétence de manière fiable, en dehors du benchmark, à un prix que les développeurs sont prêts à payer.

Gardez une longueur d'avance sur l'IA

Benchmarks, avancées et course aux machines qui agissent – se succèdent chaque jour.

Lire plus d'actualités sur l'IA →