El GPT-6 Astra de OpenAI puede estar luchando con problemas de confianza del usuario en el frente de la codificación, pero en un nuevo punto de referencia de robótica está publicando números que hacen que los investigadores hablen de un salto cualitativo. En StationeryBench, una prueba construida alrededor de objetos de escritorio comunes, Astra completó completamente 7 de 100 tareas, mientras que MolmoAct2 de Ai2, el modelo con el que se enfrentó, no completó ninguna.
El punto de referencia, descrito por The Decoder, enfrenta a los dos modelos entre sí en cinco tareas de objetos de escritorio: destapar un marcador, sacar clips o pasar una regla entre dos brazos de robot. Ambos modelos controlaron los mismos robots YAM de doble brazo en 200 pruebas, un diseño de control destinado a aislar la capacidad del modelo de las diferencias de hardware. Todos los resultados, videos y código se han publicado en GitHub. Para obtener más cobertura de investigación como esta, consulte nuestro centro de noticias de IA.
Un 'cambio radical', según los investigadores
Yoav Artzi, investigador de inteligencia artificial en Cornell y Google DeepMind, calificó el desempeño de Astra como un "cambio radical en el razonamiento espacial", el tipo de resultados de referencia de lenguaje que rara vez obtienen. En un punto de referencia aún inédito llamado REMAP, Astra alcanza una precisión cercana al nivel humano, aunque Artzi señaló que "ni siquiera Astra llega a lo que los humanos hacen en otros escenarios".
La puntuación de progreso promedio de Astra alcanzó 46 sobre 100, en comparación con 12 para MolmoAct2, una brecha que importa más de lo que sugieren las cifras de finalización de los titulares. Las tareas de robótica se califican según el progreso parcial y el éxito total, y triplicar la puntuación media de un rival indica que el modelo está avanzando constantemente a través de secuencias de manipulación en lugar de tener éxito por suerte en un puñado de pruebas.
Por qué el razonamiento espacial de repente importa
El resultado da una idea de cómo se entrenó a Astra. Artzi sospecha que OpenAI entrenó el modelo con grandes cantidades de datos 3D, como escenas de Blender, lo que se alinearía con la fortaleza particular del modelo en tareas 3D. Si esa lectura es correcta, sugiere que los entornos 3D sintéticos (más baratos y seguros que la recopilación de datos del mundo real) se están convirtiendo en un camino viable hacia la competencia en el mundo físico, uno de los cuellos de botella más antiguos de la robótica.
El diseño del punto de referencia también dice algo sobre hacia dónde se dirige la evaluación de la robótica. Las tareas de StationeryBench son deliberadamente mundanas (destapar un marcador, sacar clips, entregar una regla) porque la manipulación cotidiana, no las hazañas cinematográficas, es lo que separa las demostraciones de laboratorio de las máquinas útiles. Calificar ambos modelos en el mismo hardware YAM de doble brazo en 200 pruebas y publicar cada video es una configuración inusualmente transparente para una afirmación de capacidad que involucra al buque insignia de un laboratorio de vanguardia.
MolmoAct2, el modelo de comparación del Instituto Allen para la IA (Ai2), no completar ninguna de las tareas es su propio tipo de dato: sugiere que la brecha entre los modelos de frontera de propósito general y los modelos robóticos especialmente diseñados ya no sólo se está cerrando sino que se está invirtiendo, al menos en la manipulación con mucho razonamiento.
También encaja con las ambiciones declaradas de OpenAI: la compañía tiene planes a largo plazo para construir sus propios robots de consumo, según un informe citado por The Decoder. Un modelo de lenguaje de frontera que puede razonar sobre objetos, manos y trayectorias es la mitad del software de ese tono. La mitad del hardware sigue sin resolverse, pero puntos de referencia como PapeleríaBench son la forma en que se mide esa historia.
Contexto: Un modelo con una semana complicada
El resultado cae en un extraño ciclo de noticias para OpenAI. El mismo modelo en el centro de este punto de referencia ha pasado la semana enfrentando quejas de los usuarios de que se había vuelto más tonto desde su lanzamiento: quejas que OpenAI rastreó hasta tres defectos nombrados, desde habilidades fallidas hasta un experimento de contexto que se comportaba mal, antes de restablecer los límites de uso del Codex. Un modelo que tropieza en la producción mientras publica resultados revolucionarios en el laboratorio es un resumen de la industria actual de la IA: la capacidad y la confiabilidad avanzan a ritmos diferentes.
También aterriza en medio de un debate sobre seguridad al que se unió el propio liderazgo de OpenAI. El científico jefe de la compañía advirtió que ningún laboratorio ha resuelto el control de sistemas cada vez más autónomos, y el director ejecutivo de Anthropic ha pedido a la industria que desacelere por completo el desarrollo de fronteras. Los puntos de referencia que muestran modelos que manipulan el mundo físico (incluso si el mundo es sólo un escritorio cubierto de material de oficina) son exactamente el tipo de resultado que ambos ejecutivos citan cuando argumentan que el ritmo del progreso está superando la supervisión.
El resultado final
Siete tareas de 100 completamente completadas no pondrán un robot en tu escritorio mañana. Pero pasar del cero al siete de un rival, con una puntuación de progreso media tres veces mayor, es el tipo de discontinuidad que volvió a dibujar las tablas de capacidad en comprensión del lenguaje hace dos años. La pregunta abierta es si el mismo modelo puede ofrecer esa competencia de manera confiable, fuera del punto de referencia, a un precio que los desarrolladores estén dispuestos a pagar.
Manténgase a la vanguardia de la IA
Los puntos de referencia, los avances y la carrera hacia máquinas que actúan se siguen todos los días.
Leer más noticias sobre IA →
