L'équipe Qwen d'Alibaba attire cette semaine une nouvelle attention sur QwenGyre, un cadre d'apprentissage par renforcement conçu pour former des agents d'IA sur des tâches qui s'exécutent pendant des heures à la fois. Le système a été décrit dans un article intitulé « QwenGyre : An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents », rédigé par treize chercheurs de Qwen et publié sur arXiv fin septembre, avec une couverture détaillée dans la presse AI les 12 et 13 octobre.
Le framework cible une catégorie de charges de travail que l'équipe appelle les tâches « xLong-horizon », où une seule exécution dure des heures, implique des centaines d'interactions entre le modèle et son environnement et consomme près d'un million de jetons par déploiement. Les agents de codage qui travaillent dans l'ensemble d'un référentiel ou les assistants qui effectuent des opérations en plusieurs étapes pour le compte d'un utilisateur en sont des exemples typiques. Les modèles de formation pour bien faire cela avec l'apprentissage par renforcement en ligne ont été l'un des problèmes d'infrastructure les plus difficiles dans le domaine - et c'est une priorité naturelle pour l'équipe derrière les modèles d'agents à poids ouvert largement utilisés de Qwen. Pour les lecteurs qui suivent les dernières actualités de l'IA sur l'infrastructure de formation, QwenGyre est un aperçu de la façon dont l'une des plus grandes équipes de modèle ouvert a repensé son pipeline RL autour des charges de travail agentiques.
Deux goulots d'étranglement dans Long-Horizon RL
L'article identifie deux problèmes fondamentaux liés à l'application de l'apprentissage par renforcement en ligne à des tâches d'agent extrêmement longues.
Le premier est le ralenti du GPU. Étant donné que le temps d'exécution des déploiements varie considérablement (une exécution d'agent peut se terminer en quelques minutes tandis qu'une autre dure des heures), le côté formation du pipeline attend constamment les retardataires. Le résultat, selon les auteurs, est un temps d’inactivité massif sur les flottes de GPU coûteuses, qui représentent le coût le plus important de toute exécution de formation RL.
La seconde est la redondance des trajectoires. Les tâches longues des agents ne se déroulent pas en ligne droite. Ils se branchent : un agent essaie une approche, revient en arrière, en essaie une autre, et les branchements se multiplient à mesure que les tâches deviennent plus longues et plus complexes. Une grande partie de cet historique de branchement est redondante, et la formation sur l’ensemble de celui-ci gaspille le calcul et déstabilise l’apprentissage. Les auteurs décrivent cette redondance comme paralysant l’efficacité de la formation à grande échelle.
Comment QwenGyre y répond
QwenGyre est un framework de bout en bout pour le RL en ligne à long terme construit autour de deux mécanismes principaux.
Le premier est la réallocation élastique du GPU. Le framework déplace les GPU entre le côté déploiement (où les agents s'exécutent et génèrent de l'expérience) et le côté formation (où le modèle est mis à jour) sans interrompre les exécutions en direct. Dans les configurations conventionnelles, la répartition entre les ressources de déploiement et de formation est fixe, de sorte qu'un côté reste inactif tandis que l'autre travaille. Rendre la limite élastique signifie qu'une phase de déploiement lourde peut emprunter du matériel de formation, et vice versa, à mesure que la charge de travail évolue.
Le second est un processeur de trajectoire qui résout le problème de branchement. Il reconstruit les historiques de branchement afin que les préfixes partagés ne soient pas traités comme des données sans rapport, enregistre des progrès partiels sur les tentatives incomplètes (ce qui est important lorsque la plupart des déploiements longs se terminent par un échec) et déduplique les chemins redondants pour limiter les coûts de formation.
Les aspects économiques ici sont simples. Dans l’apprentissage par renforcement pour les grands modèles, le calcul constitue la dépense dominante, et la répartition déploiement-formation détermine la part d’une flotte de GPU qui gagne réellement sa vie à un moment donné. Un framework qui maintient les GPU sur un travail utile au lieu de rester inactif multiplie efficacement le débit du même matériel. Pour la formation des agents à long terme – où le document décrit la marche au ralenti comme « massive » – la différence entre une répartition statique et une répartition élastique peut décider si un programme de formation est pratique ou non.
Pourquoi c'est important pour l'écosystème d'agents
Les produits d'agent sont passés des démonstrations aux déploiements, et les techniques de formation qui les sous-tendent s'efforcent de suivre le rythme. Un agent de codage qui réalise un vrai ticket, ou un assistant qui gère un flux de travail en plusieurs étapes, peut avoir besoin de centaines d'interactions avant d'atteindre un résultat qu'un humain accepterait – et les signaux de récompense pour ces résultats sont rares et difficiles à définir. L'apprentissage par renforcement en ligne reste l'approche dominante pour affiner le comportement des agents, ce qui fait du débit du pipeline RL une contrainte directe sur la rapidité avec laquelle un laboratoire peut améliorer ses agents.
C’est pourquoi les frameworks comme QwenGyre sont importants au-delà d’Alibaba. Si le RL à long terme devient considérablement moins cher par point de capacité gagné, davantage d’équipes pourront se permettre de former des agents sur des tâches longues et compliquées qui ressemblent à du travail réel, plutôt que sur de courts épisodes synthétiques peu coûteux à déployer mais faibles en tant que proxy. Les équipes qui résoudront le problème de débit seront capables d’itérer sur les capacités agentiques beaucoup plus rapidement que tout le monde.
Les résultats rapportés
Le résultat le plus important du document provient de la mise à l'échelle de QwenGyre vers le modèle phare de Qwen, Qwen 3.8 2.4T, avec un déploiement de 700 000 jetons. La formation avec le framework a généré un gain absolu de 6,0 % sur NL2RepoBench – une référence pour la traduction des requêtes en langage naturel en modifications de code au niveau du référentiel – faisant passer le modèle de 52,5 % à 58,5 % en seulement 48 étapes RL.
En ce qui concerne l'efficacité, l'équipe rapporte que QwenGyre offre des accélérations allant jusqu'à 1,85 fois par rapport à une base de référence RL colocalisée et 1,78 fois par rapport à une configuration asynchrone, à travers des évaluations couvrant divers domaines de formation. Ce sont des chiffres substantiels dans un domaine où les gains de débit sont généralement mesurés en pourcentages à un chiffre.
Mises en garde et disponibilité
Comme pour tout résultat publié en laboratoire, les chiffres sont auto-déclarés par l’équipe Qwen et n’ont pas encore été reproduits de manière indépendante. Une question pratique pour les chercheurs extérieurs est l'accès : même si certains médias ont décrit QwenGyre comme open source, une version publique claire du code n'avait pas fait surface au moment de la rédaction, donc une vérification indépendante des accélérations signalées n'est pas encore possible. AI Buzz Wire sera mis à jour à mesure que plus de détails seront disponibles.
Néanmoins, le document constitue un signal utile quant à la direction que prend la formation des agents. À mesure que les agents assument des tâches plus longues et plus précieuses, l’infrastructure nécessaire à leur formation s’écarte fortement du pipeline RL de l’ère du chat – et l’écart entre les deux ne fera que se creuser.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
