Het Qwen-team van Alibaba trekt deze week nieuwe aandacht voor QwenGyre, een leerraamwerk voor versterking dat is ontworpen om AI-agenten te trainen in taken die uren achter elkaar duren. Het systeem werd beschreven in een artikel met de titel "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents", geschreven door dertien Qwen-onderzoekers en eind september op arXiv geplaatst, met gedetailleerde berichtgeving in de AI-pers op 12 en 13 oktober.
Het raamwerk richt zich op een categorie werklasten die het team ‘xLong-horizon’-taken noemt, waarbij een enkele uitvoering uren in beslag neemt, honderden interacties tussen het model en zijn omgeving omvat, en bijna een miljoen tokens per implementatie verbruikt. Codeeragenten die door een hele repository werken, of assistenten die namens een gebruiker bewerkingen in meerdere stappen uitvoeren, zijn typische voorbeelden. Het trainen van modellen om dit goed te doen met online versterkingsleren is een van de moeilijkere infrastructuurproblemen in het veld geweest – en het is een natuurlijke prioriteit voor het team achter Qwen’s veelgebruikte open-weight agent-modellen. Voor lezers die breaking AI news over trainingsinfrastructuur volgen, is QwenGyre een blik op hoe een van de grootste open-modelteams zijn RL-pijplijn opnieuw heeft ontworpen rond agentische workloads.
Twee knelpunten in Long-Horizon RL
Het artikel identificeert twee fundamentele problemen bij het toepassen van online versterkend leren op extreem lange agenttaken.
De eerste is GPU-stationair draaien. Omdat uitrol enorm varieert qua uitvoeringstijd (de ene agentrun kan binnen enkele minuten klaar zijn, terwijl de andere urenlang doordraait) wacht de trainingskant van de pijplijn voortdurend op achterblijvers. Het resultaat is volgens de auteurs een enorme inactiviteit van dure GPU-vloten, wat de grootste kostenpost is bij elke RL-training.
De tweede is trajectredundantie. Lange agenttaken verlopen niet in een rechte lijn. Ze vertakken zich: een agent probeert de ene aanpak, keert terug, probeert een andere, en de vertakkingen vermenigvuldigen zich naarmate taken langer en complexer worden. Een groot deel van deze geschiedenis van vertakkingen is overbodig, en training op dit alles verspilt rekenkracht en destabiliseert het leren. De auteurs beschrijven deze redundantie als een verlammende trainingsefficiëntie op grote schaal.
Hoe QwenGyre ze aanpakt
QwenGyre is een end-to-end raamwerk voor online RL met lange horizon, opgebouwd rond twee kernmechanismen.
De eerste is elastische GPU-herallocatie. Het raamwerk verschuift GPU's tussen de uitrolkant (waar agenten draaien en ervaring genereren) en de trainingskant (waar het model wordt bijgewerkt) zonder live-uitvoeringen te onderbreken. In conventionele opstellingen is de scheiding tussen uitrol- en trainingsbronnen vast, zodat de ene kant inactief is terwijl de andere werkt. Door de grens elastisch te maken, kan in een fase waarin de implementatie zwaar is, trainingshardware worden gebruikt, en vice versa, naarmate de werklast verschuift.
De tweede is een trajectprocessor die het vertakkingsprobleem temt. Het reconstrueert de geschiedenis van vertakkingen, zodat gedeelde voorvoegsels niet worden behandeld als niet-gerelateerde gegevens, scoort gedeeltelijke voortgang bij onvolledige pogingen (belangrijk wanneer de meeste lange implementaties op een mislukking uitlopen) en ontdubbelt overtollige paden naar beperkte trainingskosten.
De economie is hier eenvoudig. Bij het versterken van leren voor grote modellen is rekenkracht de dominante kostenpost, en de verdeling van de uitrol en training bepaalt hoeveel van een GPU-vloot op een bepaald moment daadwerkelijk zijn brood verdient. Een raamwerk dat GPU's nuttig werk laat doen in plaats van stationair draaien, vermenigvuldigt effectief de doorvoer van dezelfde hardware. Voor agententraining met een lange horizon – waar het artikel stationair draaien als ‘groot’ beschrijft – kan het verschil tussen een statische en een elastische splitsing beslissen of een trainingsprogramma überhaupt praktisch is.
Waarom het belangrijk is voor het Agent-ecosysteem
Agent-producten zijn van demo's naar implementaties overgegaan, en de trainingstechnieken erachter racen om bij te blijven. Een codeeragent die een echt ticket invult, of een assistent die een uit meerdere stappen bestaande workflow beheert, heeft mogelijk honderden interacties nodig voordat hij een uitkomst bereikt die een mens zou accepteren – en beloningssignalen voor die uitkomsten zijn schaars en moeilijk te definiëren. Online versterkend leren blijft de dominante aanpak voor het aanscherpen van het gedrag van agenten, waardoor de doorvoer van de RL-pijplijn een directe beperking wordt van hoe snel een laboratorium zijn agenten kan verbeteren.
Dat is de reden waarom raamwerken als QwenGyre ook buiten Alibaba van belang zijn. Als RL op de lange horizon dramatisch goedkoper wordt per gewonnen vaardigheidspunt, kunnen meer teams het zich veroorloven om agenten te trainen voor de lange, rommelige taken die op echt werk lijken, in plaats van voor korte synthetische afleveringen die goedkoop zijn om uit te rollen maar zwak als proxy. De teams die het doorvoerprobleem oplossen, zullen veel sneller dan alle anderen de capaciteiten van agenten kunnen verbeteren.
De gerapporteerde resultaten
Het meest opvallende resultaat in de paper komt van het opschalen van QwenGyre naar Qwens vlaggenschipmodel, Qwen 3.8 2.4T, met uitrol van 700.000 tokens. Trainen met het raamwerk leverde een absolute winst van 6,0 procent op op NL2RepoBench – een maatstaf voor het vertalen van verzoeken in natuurlijke taal naar codewijzigingen op repositoryniveau – waardoor het model in slechts 48 RL-stappen van 52,5 procent naar 58,5 procent werd verhoogd.
Wat de efficiëntie betreft, meldt het team dat QwenGyre versnellingen tot 1,85 keer levert via een gecoloceerde RL-basislijn en 1,78 keer via een asynchrone opstelling, bij evaluaties die verschillende trainingsdomeinen bestrijken. Dat zijn aanzienlijke aantallen in een vakgebied waar doorvoerwinsten doorgaans worden gemeten in percentages van één cijfer.
Voorbehoud en beschikbaarheid
Zoals bij elk in een laboratorium gepubliceerd resultaat, worden de cijfers zelf gerapporteerd door het Qwen-team en zijn ze nog niet onafhankelijk gereproduceerd. Een praktische vraag voor externe onderzoekers is de toegang: hoewel sommige berichtgeving QwenGyre als open source heeft beschreven, was er op het moment van schrijven nog geen duidelijke openbare code-release opgedoken, dus onafhankelijke verificatie van de gerapporteerde versnellingen is nog niet mogelijk. AI Buzz Wire wordt bijgewerkt zodra er meer details beschikbaar komen.
Toch is het artikel een nuttig signaal van waar de training van agenten naartoe gaat. Naarmate agenten langere en waardevollere taken op zich nemen, wijkt de infrastructuur die nodig is om ze te trainen sterk af van de RL-pijplijn uit het chattijdperk – en de kloof tussen de twee zal alleen maar groter worden.
---
Blijf AI een stap voorOntvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.
Lees meer AI-nieuws →
