El equipo Qwen de Alibaba está atrayendo nueva atención esta semana por QwenGyre, un marco de aprendizaje por refuerzo diseñado para capacitar a agentes de IA en tareas que se ejecutan durante horas seguidas. El sistema se describió en un artículo titulado "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents", escrito por trece investigadores de Qwen y publicado en arXiv a finales de septiembre, con una cobertura detallada en la prensa de IA el 12 y 13 de octubre.
El marco apunta a una categoría de cargas de trabajo que el equipo llama tareas "xLong-horizon", donde una única ejecución abarca horas, implica cientos de interacciones entre el modelo y su entorno y consume cerca de un millón de tokens por implementación. Ejemplos típicos son los agentes de codificación que trabajan en un repositorio completo o los asistentes que llevan a cabo operaciones de varios pasos en nombre de un usuario. Entrenar modelos para hacer esto bien con el aprendizaje reforzado en línea ha sido uno de los problemas de infraestructura más difíciles en el campo, y es una prioridad natural para el equipo detrás de los modelos de agentes abiertos ampliamente utilizados de Qwen. Para los lectores que siguen últimas noticias sobre IA sobre la infraestructura de capacitación, QwenGyre es un vistazo a cómo uno de los equipos de modelo abierto más grandes ha rediseñado su canal de RL en torno a cargas de trabajo agentes.
Dos cuellos de botella en la vida real a largo plazo
El artículo identifica dos problemas fundamentales al aplicar el aprendizaje por refuerzo en línea a tareas de agentes extremadamente largas.
El primero es la GPU inactiva. Debido a que los lanzamientos varían enormemente en el tiempo de ejecución (una ejecución de agente puede finalizar en minutos mientras que otra se agita durante horas), el lado de capacitación del proceso está constantemente esperando a los rezagados. El resultado, según los autores, es un enorme tiempo de inactividad en costosas flotas de GPU, que representan el mayor costo en cualquier ejecución de capacitación de RL.
El segundo es la redundancia de trayectoria. Las tareas largas de los agentes no se desarrollan en línea recta. Se bifurcan: un agente prueba un enfoque, retrocede, prueba otro y la bifurcación se multiplica a medida que las tareas se vuelven más largas y complejas. Gran parte de esta historia de ramificaciones es redundante, y el entrenamiento en toda ella desperdicia computación y desestabiliza el aprendizaje. Los autores describen esta redundancia como una eficiencia paralizante de la capacitación a escala.
Cómo los aborda QwenGyre
QwenGyre es un marco de trabajo de extremo a extremo para RL en línea a largo plazo construido alrededor de dos mecanismos centrales.
La primera es la reasignación elástica de GPU. El marco cambia las GPU entre el lado de implementación (donde los agentes ejecutan y generan experiencia) y el lado de entrenamiento (donde se actualiza el modelo) sin interrumpir las ejecuciones en vivo. En las configuraciones convencionales, la división entre los recursos de implementación y de capacitación es fija, por lo que un lado está inactivo mientras el otro trabaja. Hacer que el límite sea elástico significa que una fase de implementación intensa puede tomar prestado hardware de capacitación, y viceversa, a medida que cambia la carga de trabajo.
El segundo es un procesador de trayectoria que soluciona el problema de las ramificaciones. Reconstruye historiales de bifurcación para que los prefijos compartidos no se traten como datos no relacionados, califica el progreso parcial en intentos incompletos (importante cuando la mayoría de las implementaciones largas terminan en fallas) y deduplica rutas redundantes para limitar los costos de capacitación.
La economía aquí es sencilla. En el aprendizaje por refuerzo para modelos grandes, la computación es el gasto dominante, y la división entre implementación y capacitación determina qué parte de una flota de GPU realmente se gana la vida en un momento dado. Un marco que mantiene las GPU en un trabajo útil en lugar de inactivas multiplica efectivamente el rendimiento del mismo hardware. Para el entrenamiento de agentes a largo plazo, donde el artículo describe el ralentí como "masivo", la diferencia entre una división estática y elástica puede decidir si un programa de entrenamiento es práctico.
Por qué es importante para el ecosistema de agentes
Los productos de los agentes han pasado de las demostraciones a las implementaciones, y las técnicas de capacitación detrás de ellos están corriendo para mantenerse al día. Un agente codificador que completa un ticket real, o un asistente que gestiona un flujo de trabajo de varios pasos, puede necesitar cientos de interacciones antes de alcanzar un resultado que un ser humano aceptaría, y las señales de recompensa para esos resultados son escasas y difíciles de definir. El aprendizaje por refuerzo en línea sigue siendo el enfoque dominante para afinar el comportamiento de los agentes, lo que hace que el rendimiento del proceso de RL sea una limitación directa sobre la rapidez con la que un laboratorio puede mejorar sus agentes.
Es por eso que marcos como QwenGyre importan más allá de Alibaba. Si la RL de largo horizonte se vuelve dramáticamente más barata por punto de capacidad ganado, más equipos pueden darse el lujo de capacitar agentes en tareas largas y complicadas que se asemejan al trabajo real, en lugar de episodios sintéticos cortos que son baratos de implementar pero débiles como sustitutos. Los equipos que resuelvan el problema de rendimiento podrán iterar sobre la capacidad de agencia mucho más rápido que todos los demás.
Los resultados informados
El resultado más destacado del documento proviene de la ampliación de QwenGyre al modelo insignia de Qwen, Qwen 3.8 2.4T, con lanzamientos de 700.000 tokens. El entrenamiento con el marco arrojó una ganancia absoluta del 6,0 por ciento en NL2RepoBench, un punto de referencia para traducir solicitudes de lenguaje natural en cambios de código a nivel de repositorio, elevando el modelo del 52,5 por ciento al 58,5 por ciento en solo 48 pasos de RL.
En cuanto a la eficiencia, el equipo informa que QwenGyre ofrece aceleraciones de hasta 1,85 veces con respecto a una línea base de RL colocada y 1,78 veces con respecto a una configuración asincrónica, en evaluaciones que abarcan diversos dominios de capacitación. Esas son cifras sustanciales en un campo donde las ganancias de rendimiento generalmente se miden en porcentajes de un solo dígito.
Advertencias y disponibilidad
Como ocurre con cualquier resultado publicado en un laboratorio, los números los informa el propio equipo de Qwen y aún no se han reproducido de forma independiente. Una pregunta práctica para los investigadores externos es el acceso: si bien cierta cobertura ha descrito a QwenGyre como de código abierto, al momento de escribir este artículo no había aparecido un código público claro, por lo que aún no es posible una verificación independiente de las aceleraciones reportadas. AI Buzz Wire se actualizará a medida que haya más detalles disponibles.
Aun así, el documento es una señal útil de hacia dónde se dirige la capacitación de agentes. A medida que los agentes asumen tareas más largas y valiosas, la infraestructura necesaria para capacitarlos se está alejando marcadamente del proceso de RL de la era del chat, y la brecha entre los dos no hará más que crecer.
---
Manténgase a la vanguardia de la IAObtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.
Leer más noticias sobre IA →
