Tým Qwen společnosti Alibaba tento týden přitahuje novou pozornost na QwenGyre, výukový rámec pro posilování navržený k výcviku agentů AI na úkolech, které běží celé hodiny. Systém byl popsán v dokumentu nazvaném „QwenGyre: Výukový rámec elastického posílení pro výcvik agentů xLong-Horizon“, jehož autorem je třináct výzkumníků Qwen a který byl zveřejněn na konci září na arXiv, s podrobným pokrytím v tisku AI 12. a 13. října.
Rámec se zaměřuje na kategorii pracovních zátěží, které tým nazývá úkoly „xLong-horizon“, kde jedno provedení trvá hodiny, zahrnuje stovky interakcí mezi modelem a jeho prostředím a spotřebuje téměř milion tokenů na jedno zavedení. Typickými příklady jsou kódovací agenti, kteří pracují přes celé úložiště, nebo asistenti, kteří provádějí vícekrokové operace jménem uživatele. Tréninkové modely, aby to dobře fungovalo s online posilovacím učením, byly jedním z nejtěžších infrastrukturních problémů v této oblasti – a pro tým stojící za široce používanými modely agentů s otevřenou váhou je přirozenou prioritou. Pro čtenáře, kteří sledují nejnovější zprávy o AI o školicí infrastruktuře, je QwenGyre pohledem na to, jak jeden z největších týmů s otevřeným modelem přepracoval svůj RL kanál pro agentní pracovní zátěže.
Dvě úzká místa v Long-Horizon RL
Článek identifikuje dva základní problémy s aplikací online učení posilování na extrémně dlouhé úlohy agentů.
První je volnoběh GPU. Vzhledem k tomu, že zavádění se velmi liší v době provádění – jeden běh agenta může skončit během několika minut, zatímco jiný utíká celé hodiny – trénovací stránka neustále čeká na opozdilce. Výsledkem je podle autorů obrovská prostoje napříč drahými flotilami GPU, což jsou ty největší náklady v jakémkoli běhu školení RL.
Druhým je redundance trajektorie. Dlouhé úkoly agenta neprobíhají přímočaře. Větvují se: agent zkouší jeden přístup, ustupuje, zkouší jiný a větvení se násobí, jak se úkoly prodlužují a jsou složitější. Velká část této rozvětvené historie je nadbytečná a školení na všechny z nich plýtvá výpočtem a destabilizuje učení. Autoři popisují tuto redundanci jako ochromující efektivitu tréninku ve velkém měřítku.
Jak je QwenGyre oslovuje
QwenGyre je end-to-end framework pro online RL s dlouhým horizontem postavený na dvou základních mechanismech.
První je elastické přerozdělení GPU. Rámec přesouvá GPU mezi stranu zavádění (kde agenti běží a generují zkušenosti) a stranu školení (kde je model aktualizován), aniž by došlo k přerušení živého provádění. V konvenčních nastaveních je rozdělení mezi zaváděcí a školicí zdroje pevné, takže jedna strana běží naprázdno, zatímco druhá funguje. Učinit hranici elastickou znamená, že fáze náročná na zavádění může půjčit tréninkový hardware a naopak, jak se pracovní zátěž posouvá.
Druhým je procesor trajektorie, který krotí problém s větvením. Rekonstruuje historii větvení, aby se se sdílenými prefixy nezacházelo jako s nesouvisejícími daty, boduje částečný pokrok u nedokončených pokusů – což je důležité, když většina dlouhých zavádění končí neúspěšně – a deduplikuje redundantní cesty k vázaným nákladům na školení.
Ekonomika je zde přímočará. V posilovacím učení u velkých modelů je výpočet dominantním nákladem a rozdělení zavádění a školení určuje, kolik z flotily GPU si skutečně vydělává v daném okamžiku. Rámec, který udržuje GPU na užitečné práci namísto nečinnosti, efektivně znásobuje propustnost stejného hardwaru. U tréninku agentů s dlouhým horizontem – kde článek popisuje volnoběh jako „masivní“ – může rozdíl mezi statickým a elastickým rozdělením rozhodnout, zda je tréninkový program vůbec praktický.
Proč je to důležité pro ekosystém agentů
Produkty Agent se přesunuly od ukázek k nasazení a tréninkové techniky za nimi se snaží udržet krok. Kódovací agent, který dokončuje skutečný tiket, nebo asistent, který řídí vícekrokový pracovní postup, může potřebovat stovky interakcí, než dosáhne výsledku, který by člověk přijal – a signály odměn za tyto výsledky jsou řídké a těžko definovatelné. Online posilovací učení zůstává dominantním přístupem pro zostření chování agentů, což činí propustnost RL potrubí přímým omezením toho, jak rychle může laboratoř zlepšit své agenty.
To je důvod, proč na rámcích jako QwenGyre záleží mimo Alibaba. Pokud se RL s dlouhým horizontem dramaticky zlevní na získaný bod schopností, více týmů si může dovolit školit agenty na dlouhých, chaotických úkolech, které připomínají skutečnou práci, spíše než na krátkých syntetických epizodách, které jsou levné, ale slabé jako proxy. Týmy, které řeší problém s propustností, budou schopny opakovat agentní schopnosti mnohem rychleji než všichni ostatní.
Hlášené výsledky
Nejvýraznější výsledek v tomto dokumentu pochází ze škálování QwenGyre na vlajkový model Qwen, Qwen 3.8 2.4T, s uvedením 700 000 tokenů. Školení s tímto rámcem přineslo absolutní zisk 6,0 procenta na NL2RepoBench – benchmarku pro překládání požadavků v přirozeném jazyce do změn kódu na úrovni úložiště – a tím se model zvedl z 52,5 procenta na 58,5 procent v pouhých 48 krocích RL.
Pokud jde o efektivitu, tým uvádí, že QwenGyre poskytuje zrychlení až 1,85krát oproti společné základní linii RL a 1,78krát oproti asynchronnímu nastavení, napříč hodnoceními zahrnujícími různé oblasti školení. To jsou podstatná čísla v oboru, kde se zisky propustnosti obvykle měří v jednociferných procentech.
Upozornění a dostupnost
Stejně jako u všech výsledků publikovaných v laboratoři jsou čísla hlášena sama týmem Qwen a dosud nebyla nezávisle reprodukována. Jednou praktickou otázkou pro externí výzkumníky je přístup: zatímco některé zpravodajství popisovalo QwenGyre jako open source, jasné veřejné vydání kódu se v době psaní neobjevilo, takže nezávislé ověření hlášených zrychlení zatím není možné. AI Buzz Wire se aktualizuje, jakmile budou k dispozici další podrobnosti.
I tak je tento dokument užitečným signálem toho, kam školení agentů směřuje. Jak agenti přebírají delší a hodnotnější úkoly, infrastruktura potřebná k jejich výcviku se prudce odchyluje od RL potrubí z éry chatu – a propast mezi nimi se bude jen zvětšovat.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →
