A equipe Qwen do Alibaba está chamando atenção esta semana para o QwenGyre, uma estrutura de aprendizado por reforço projetada para treinar agentes de IA em tarefas que duram horas a fio. O sistema foi descrito em um artigo intitulado "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents", de autoria de treze pesquisadores Qwen e postado no arXiv no final de setembro, com cobertura detalhada na imprensa de IA em 12 e 13 de outubro.
A estrutura tem como alvo uma categoria de cargas de trabalho que a equipe chama de tarefas “xLong-horizon”, onde uma única execução dura horas, envolve centenas de interações entre o modelo e seu ambiente e consome cerca de um milhão de tokens por implementação. Agentes de codificação que trabalham através de um repositório inteiro, ou assistentes que realizam operações de múltiplas etapas em nome de um usuário, são exemplos típicos. Modelos de treinamento para fazer isso bem com aprendizagem por reforço on-line têm sido um dos problemas de infraestrutura mais difíceis no campo – e é uma prioridade natural para a equipe por trás dos modelos de agente de peso aberto amplamente utilizados de Qwen. Para leitores que acompanham notícias de última hora sobre IA sobre infraestrutura de treinamento, QwenGyre mostra como uma das maiores equipes de modelo aberto reprojetou seu pipeline de RL em torno de cargas de trabalho de agente.
Dois gargalos em RL de longo horizonte
O artigo identifica dois problemas fundamentais na aplicação da aprendizagem por reforço online a tarefas de agente extremamente longas.
O primeiro é a inatividade da GPU. Como as implementações variam muito no tempo de execução – uma execução de agente pode terminar em minutos enquanto outra dura horas – o lado de treinamento do pipeline está constantemente esperando por retardatários. O resultado, segundo os autores, é um enorme tempo ocioso em frotas caras de GPU, que representam o maior custo em qualquer execução de treinamento de RL.
A segunda é a redundância de trajetória. As tarefas longas do agente não ocorrem em linha reta. Eles se ramificam: um agente tenta uma abordagem, volta atrás, tenta outra, e a ramificação se multiplica à medida que as tarefas se tornam mais longas e complexas. Grande parte dessa história de ramificação é redundante, e o treinamento em tudo isso desperdiça computação e desestabiliza o aprendizado. Os autores descrevem essa redundância como prejudicando a eficiência do treinamento em escala.
Como QwenGyre os aborda
QwenGyre é uma estrutura ponta a ponta para RL online de longo horizonte construída em torno de dois mecanismos principais.
A primeira é a realocação elástica da GPU. A estrutura alterna as GPUs entre o lado da implementação (onde os agentes executam e geram experiência) e o lado do treinamento (onde o modelo é atualizado) sem interromper as execuções ao vivo. Nas configurações convencionais, a divisão entre recursos de implementação e treinamento é fixa, de modo que um lado fica ocioso enquanto o outro trabalha. Tornar os limites elásticos significa que uma fase de implementação intensa pode emprestar hardware de treinamento e vice-versa, à medida que a carga de trabalho muda.
O segundo é um processador de trajetória que doma o problema de ramificação. Ele reconstrói históricos de ramificação para que os prefixos compartilhados não sejam tratados como dados não relacionados, pontua o progresso parcial em tentativas incompletas – importante quando a maioria das implementações longas termina em falha – e desduplica caminhos redundantes para custos de treinamento vinculados.
A economia aqui é direta. No aprendizado por reforço para modelos grandes, a computação é a despesa dominante, e a divisão implementação-treinamento determina quanto de uma frota de GPU está realmente ganhando seu sustento a qualquer momento. Uma estrutura que mantém as GPUs em trabalho útil em vez de ociosas multiplica efetivamente o rendimento do mesmo hardware. Para o treinamento de agentes de longo horizonte – onde o artigo descreve a inatividade como “massiva” – a diferença entre uma divisão estática e uma divisão elástica pode decidir se um programa de treinamento é prático.
Por que é importante para o ecossistema de agentes
Os produtos dos agentes passaram de demonstrações para implantações, e as técnicas de treinamento por trás deles estão correndo para acompanhar. Um agente de codificação que preenche um ticket real, ou um assistente que gerencia um fluxo de trabalho de várias etapas, pode precisar de centenas de interações antes de chegar a um resultado que um ser humano aceitaria – e os sinais de recompensa para esses resultados são escassos e difíceis de definir. O aprendizado por reforço on-line continua sendo a abordagem dominante para aprimorar o comportamento do agente, o que torna o rendimento do pipeline RL uma restrição direta à rapidez com que um laboratório pode melhorar seus agentes.
É por isso que estruturas como o QwenGyre são importantes além do Alibaba. Se a RL de longo horizonte se tornar dramaticamente mais barata por ponto de capacidade ganho, mais equipes poderão se dar ao luxo de treinar agentes em tarefas longas e complicadas que se assemelham ao trabalho real, em vez de episódios sintéticos curtos que são baratos de implementar, mas fracos como proxy. As equipes que resolverem o problema de taxa de transferência serão capazes de iterar a capacidade da agência com muito mais rapidez do que todas as outras.
Os resultados relatados
O resultado mais proeminente no artigo vem da escalação do QwenGyre para o modelo carro-chefe da Qwen, Qwen 3.8 2.4T, com lançamentos de 700.000 tokens. O treinamento com a estrutura rendeu um ganho absoluto de 6,0% no NL2RepoBench — uma referência para traduzir solicitações de linguagem natural em alterações de código no nível do repositório — elevando o modelo de 52,5% para 58,5% em apenas 48 etapas de RL.
Sobre eficiência, a equipe relata que o QwenGyre oferece acelerações de até 1,85 vezes em uma linha de base RL colocada e 1,78 vezes em uma configuração assíncrona, em avaliações que abrangem diversos domínios de treinamento. Esses são números substanciais em uma área onde os ganhos de rendimento são geralmente medidos em porcentagens de um dígito.
Advertências e disponibilidade
Tal como acontece com qualquer resultado publicado em laboratório, os números são relatados pela própria equipe Qwen e ainda não foram reproduzidos de forma independente. Uma questão prática para investigadores externos é o acesso: embora alguma cobertura tenha descrito o QwenGyre como código aberto, um lançamento de código público claro não tinha surgido no momento da redação deste artigo, pelo que a verificação independente dos aceleramentos relatados ainda não é possível. AI Buzz Wire será atualizado à medida que mais detalhes estiverem disponíveis.
Mesmo assim, o artigo é um sinal útil sobre o rumo que o treinamento de agentes está tomando. À medida que os agentes assumem tarefas mais longas e valiosas, a infraestrutura necessária para treiná-los está divergindo acentuadamente do pipeline de RL da era do chat – e a lacuna entre os dois só aumentará.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
