O GPT-6 Astra da OpenAI pode estar enfrentando problemas de confiança do usuário na área de codificação, mas em um novo benchmark de robótica ele está publicando números que fazem os pesquisadores falarem sobre um salto qualitativo. No StationeryBench, um teste construído em torno de objetos de mesa comuns, o Astra completou 7 de 100 tarefas, enquanto o MolmoAct2 do Ai2, o modelo contra o qual foi comparado, completou zero.
O benchmark, descrito pelo The Decoder, coloca os dois modelos um contra o outro em cinco tarefas de objetos de mesa – destampar um marcador, despejar clipes de papel ou passar uma régua entre dois braços de robô. Ambos os modelos controlaram os mesmos robôs YAM de braço duplo em 200 testes, um projeto de controle destinado a isolar a capacidade do modelo das diferenças de hardware. Todos os resultados, vídeos e códigos foram publicados no GitHub. Para obter mais cobertura de pesquisas como essa, confira nosso centro de notícias sobre IA.
Uma 'mudança radical', de acordo com pesquisadores
Yoav Artzi, pesquisador de IA da Cornell e do Google DeepMind, chamou o desempenho do Astra de uma “mudança radical no raciocínio espacial” – o tipo de benchmark de linguagem que os resultados raramente obtêm. Num benchmark ainda não publicado chamado REMAP, o Astra atinge uma precisão próxima do nível humano, embora Artzi tenha notado que “mesmo o Astra não consegue o que os humanos fazem noutros cenários”.
A pontuação média de progresso do Astra atingiu 46 em 100, em comparação com 12 para o MolmoAct2 – uma lacuna que importa mais do que os números de conclusão das manchetes sugerem. As tarefas de robótica são avaliadas com base no progresso parcial e também no sucesso total, e triplicar a pontuação média de um rival indica que o modelo está consistentemente avançando por meio de sequências de manipulação, em vez de ter sucesso por sorte em algumas tentativas.
Por que o raciocínio espacial de repente é importante
O resultado sugere como o Astra foi treinado. Artzi suspeita que a OpenAI treinou o modelo em grandes quantidades de dados 3D, como cenas do Blender, o que se alinharia com a força específica do modelo em tarefas 3D. Se esta leitura estiver correta, sugere que ambientes 3D sintéticos – mais baratos e mais seguros do que a recolha de dados do mundo real – estão a tornar-se um caminho viável para a competência no mundo físico, um dos estrangulamentos mais antigos da robótica.
O design do benchmark também diz algo sobre o rumo que a avaliação da robótica está tomando. As tarefas do StationeryBench são deliberadamente mundanas – destampar um marcador, despejar clipes de papel, entregar uma régua – porque a manipulação cotidiana, e não os feitos cinematográficos, é o que separa as demonstrações de laboratório das máquinas úteis. Classificar ambos os modelos no mesmo hardware YAM de braço duplo em 200 testes e publicar cada vídeo é uma configuração incomumente transparente para uma reivindicação de capacidade envolvendo o carro-chefe de um laboratório de fronteira.
MolmoAct2, o modelo de comparação do Allen Institute for AI (Ai2), não completar nenhuma das tarefas é o seu próprio tipo de dado: sugere que a lacuna entre os modelos de fronteira de uso geral e os modelos de robótica construídos para esse fim não está mais apenas se fechando, mas se invertendo, pelo menos na manipulação de raciocínio pesado.
Também se enquadra nas ambições declaradas da OpenAI: a empresa tem planos a longo prazo para construir os seus próprios robôs de consumo, de acordo com reportagem citada pelo The Decoder. Um modelo de linguagem de fronteira que pode raciocinar sobre objetos, mãos e trajetórias é a metade desse tom do software. A metade do hardware permanece sem solução, mas benchmarks como o StationeryBench são como essa história é medida.
Contexto: um modelo com uma semana complicada
O resultado resulta em um estranho ciclo de notícias para a OpenAI. O mesmo modelo no centro deste benchmark passou a semana enfrentando reclamações de usuários de que havia ficado mais burro desde o lançamento – reclamações que a OpenAI atribuiu a três defeitos nomeados, desde habilidades com falha de disparo até um experimento de contexto com comportamento inadequado, antes de redefinir os limites de uso do Codex. Um modelo que tropeça na produção enquanto publica resultados de mudanças radicais no laboratório é um resumo da atual indústria de IA: a capacidade e a confiabilidade estão avançando em relógios diferentes.
Também ocorre em meio a um debate sobre segurança ao qual a própria liderança da OpenAI aderiu. O cientista-chefe da empresa alertou que nenhum laboratório conseguiu resolver o controle de sistemas cada vez mais autônomos, e o CEO da Anthropic apelou à indústria para desacelerar completamente o desenvolvimento da fronteira. Os benchmarks que mostram modelos que manipulam o mundo físico – mesmo que o mundo seja apenas uma secretária coberta de papel de carta – são exactamente o tipo de resultado que ambos os executivos citam quando argumentam que o ritmo do progresso está a ultrapassar a supervisão.
O resultado final
Sete tarefas totalmente concluídas em 100 não colocarão um robô em sua mesa amanhã. Mas passar de zero a sete de um rival, com uma pontuação média de progresso três vezes maior, é o tipo de descontinuidade que redesenhou os gráficos de capacidade de compreensão linguística há dois anos. A questão em aberto é se o mesmo modelo pode proporcionar essa competência de forma fiável, fora do padrão de referência, a um preço que os promotores estejam dispostos a pagar.
Fique à frente da IA
Benchmarks, avanços e a corrida em direção a máquinas que atuem – seguidos todos os dias.
Leia mais notícias sobre IA →
