Alibabas Qwen-team drar ny uppmärksamhet den här veckan för QwenGyre, ett ramverk för förstärkning av lärande som utformats för att träna AI-agenter i uppgifter som pågår i timmar i taget. Systemet beskrevs i en artikel med titeln "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents", författad av tretton Qwen-forskare och publicerad på arXiv i slutet av september, med detaljerad bevakning i AI-pressen den 12 och 13 oktober.
Ramverket riktar sig till en kategori av arbetsbelastningar som teamet kallar "xLong-horizon"-uppgifter, där en enda exekvering sträcker sig över timmar, involverar hundratals interaktioner mellan modellen och dess miljö och förbrukar nära en miljon tokens per utrullning. Kodningsagenter som arbetar genom ett helt arkiv, eller assistenter som utför flerstegsoperationer för en användares räkning, är typiska exempel. Utbildningsmodeller för att göra detta bra med onlineförstärkningsinlärning har varit ett av de svårare infrastrukturproblemen på området – och det är en naturlig prioritet för teamet bakom Qwens allmänt använda agentmodeller med öppen vikt. För läsare som spårar brytande AI-nyheter på träningsinfrastruktur, är QwenGyre en titt på hur ett av de största teamen med öppen modell har omkonstruerat sin RL-pipeline kring agentarbetsbelastningar.
Två flaskhalsar i Long-Horizon RL
Uppsatsen identifierar två grundläggande problem med att tillämpa onlineförstärkningsinlärning på extremt långa agentuppgifter.
Den första är GPU-tomgång. Eftersom utrullningar varierar enormt i utförandetid – en agentkörning kan avslutas på några minuter medan en annan kör i timmar – väntar träningssidan av pipelinen ständigt på eftersläpande. Resultatet, enligt författarna, är massiv inaktivitetstid över dyra GPU-flottor, som är den enskilt största kostnaden i någon RL-utbildning.
Det andra är banaredundans. Långa agentuppgifter går inte i en rak linje. De förgrenar sig: en agent försöker ett tillvägagångssätt, backar, försöker ett annat, och förgreningen multipliceras när uppgifterna blir längre och mer komplexa. Mycket av denna förgreningshistoria är överflödig, och träning på allt detta slösar med beräkningar och destabiliserar inlärningen. Författarna beskriver denna redundans som förödande träningseffektivitet i stor skala.
Hur QwenGyre tilltalar dem
QwenGyre är ett heltäckande ramverk för online-RL med lång horisont byggt kring två kärnmekanismer.
Den första är elastisk GPU-omfördelning. Ramverket skiftar GPU:er mellan utrullningssidan (där agenter kör och genererar erfarenhet) och utbildningssidan (där modellen uppdateras) utan att avbryta liveexekveringen. I konventionella inställningar är fördelningen mellan utrullning och utbildningsresurser fast, så ena sidan går på tomgång medan den andra fungerar. Att göra gränsen elastisk innebär att en utrullningstung fas kan låna träningshårdvara, och vice versa, när arbetsbelastningen skiftar.
Den andra är en bana processor som tämjer förgreningsproblemet. Den rekonstruerar förgreningshistorik så att delade prefix inte behandlas som orelaterade data, gör partiella framsteg på ofullständiga försök – viktigt när de flesta långa utrullningar slutar i misslyckande – och deduplicerar redundanta vägar till bundna utbildningskostnader.
Ekonomin här är okomplicerad. När det gäller förstärkningsinlärning för stora modeller är beräkning den dominerande kostnaden, och utbyggnads- och utbildningsfördelningen avgör hur mycket av en GPU-flotta som faktiskt tjänar sitt behåll vid ett givet tillfälle. Ett ramverk som håller GPU:er på användbart arbete istället för tomgång multiplicerar effektivt genomströmningen av samma hårdvara. För agentträning med lång horisont - där tidningen beskriver tomgångskörning som "massiv" - kan skillnaden mellan en statisk och en elastisk split avgöra om ett träningsprogram överhuvudtaget är praktiskt.
Varför det är viktigt för agentens ekosystem
Agentprodukter har flyttats från demos till implementeringar, och träningsteknikerna bakom dem håller på att hänga med. En kodningsagent som slutför en riktig biljett, eller en assistent som hanterar ett arbetsflöde i flera steg, kan behöva hundratals interaktioner innan den når ett resultat som en människa skulle acceptera – och belöningssignalerna för dessa utfall är sparsamma och svåra att definiera. Online förstärkningsinlärning är fortfarande det dominerande tillvägagångssättet för att skärpa agentbeteende, vilket gör genomströmningen av RL-pipelinen till en direkt begränsning av hur snabbt ett labb kan förbättra sina agenter.
Det är därför ramverk som QwenGyre betyder något bortom Alibaba. Om RL med lång horisont blir dramatiskt billigare per erhållen kapacitetspoäng, har fler team råd att utbilda agenter på långa, röriga uppgifter som liknar verkligt arbete, snarare än på korta syntetiska episoder som är billiga att rulla ut men svaga som proxy. Teamen som löser genomströmningsproblemet kommer att kunna iterera på agentkapacitet mycket snabbare än alla andra.
De rapporterade resultaten
Det mest framträdande resultatet i tidningen kommer från att skala QwenGyre till Qwens flaggskeppsmodell, Qwen 3.8 2.4T, med utrullningar av 700 000 tokens. Träning med ramverket gav en absolut vinst på 6,0 procent på NL2RepoBench – ett riktmärke för att översätta naturliga språkförfrågningar till kodändringar på förvarsnivå – och lyfte modellen från 52,5 procent till 58,5 procent på bara 48 RL-steg.
När det gäller effektivitet rapporterar teamet att QwenGyre levererar hastigheter på upp till 1,85 gånger över en samlokaliserad RL-baslinje och 1,78 gånger över en asynkron installation, över utvärderingar som spänner över olika träningsdomäner. Det är betydande siffror inom ett område där genomströmningsvinster vanligtvis mäts i ensiffriga procentsatser.
Varningar och tillgänglighet
Som med alla labbpublicerade resultat är siffrorna självrapporterade av Qwen-teamet och har ännu inte reproducerats oberoende. En praktisk fråga för utomstående forskare är tillgång: medan viss bevakning har beskrivit QwenGyre som öppen källkod, hade en tydlig offentlig kodfrigivning inte dykt upp i skrivande stund, så oberoende verifiering av de rapporterade hastighetshöjningarna är ännu inte möjlig. AI Buzz Wire kommer att uppdateras när mer information blir tillgänglig.
Ändå är tidningen en användbar signal om vart agentutbildningen är på väg. När agenter tar på sig längre och mer värdefulla uppgifter, avviker infrastrukturen som krävs för att utbilda dem kraftigt från chatttidens RL-pipeline - och klyftan mellan de två kommer bara att växa.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
