Echipa Qwen a lui Alibaba atrage o nouă atenție săptămâna aceasta pentru QwenGyre, un cadru de învățare de consolidare conceput pentru a instrui agenții AI în sarcini care rulează ore întregi. Sistemul a fost descris într-o lucrare intitulată „QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents”, scrisă de treisprezece cercetători Qwen și postată pe arXiv la sfârșitul lunii septembrie, cu o acoperire detaliată în presa AI pe 12 și 13 octombrie.
Cadrul vizează o categorie de sarcini de lucru pe care echipa le numește sarcini „xLong-horizon”, în care o singură execuție se întinde pe ore, implică sute de interacțiuni între model și mediul său și consumă aproape un milion de jetoane per lansare. Agenții de codare care lucrează printr-un întreg depozit sau asistenții care efectuează operațiuni în mai mulți pași în numele unui utilizator sunt exemple tipice. Modelele de instruire pentru a face acest lucru bine cu învățarea prin consolidare online a fost una dintre problemele mai grele de infrastructură în domeniu - și este o prioritate naturală pentru echipa din spatele modelelor de agenți deschise de la Qwen, utilizate pe scară largă. Pentru cititorii care urmăresc știri de ultimă oră AI cu privire la infrastructura de antrenament, QwenGyre este o privire asupra modului în care una dintre cele mai mari echipe de model deschis și-a reproiectat conducta RL în jurul sarcinilor de lucru agentice.
Două blocaje în Long-Horizon RL
Lucrarea identifică două probleme fundamentale legate de aplicarea învățării de întărire online la sarcinile de agenți extrem de lungi.
Primul este GPU-ul inactiv. Deoarece lansările variază foarte mult în timpul de execuție - un agent se poate termina în câteva minute, în timp ce altul trece ore în șir - partea de antrenament a conductei îi așteaptă în mod constant pe cei rătăciți. Rezultatul, potrivit autorilor, este un timp de inactivitate masiv în flote scumpe de GPU, care reprezintă cel mai mare cost în orice cursă de antrenament RL.
A doua este redundanța traiectoriei. Sarcinile lungi ale agentului nu se desfășoară în linie dreaptă. Se ramifică: un agent încearcă o abordare, dă înapoi, încearcă alta, iar ramificarea se înmulțește pe măsură ce sarcinile devin mai lungi și mai complexe. O mare parte din această istorie de ramificare este redundantă, iar antrenamentul pe toate acestea irosește calculul și destabilizaază învățarea. Autorii descriu această redundanță ca fiind o eficiență de antrenament paralizantă la scară.
Cum le abordează QwenGyre
QwenGyre este un cadru end-to-end pentru RL online pe orizont lung construit în jurul a două mecanisme de bază.
Prima este realocarea elastică a GPU-ului. Cadrul schimbă GPU-urile între partea de lansare (unde agenții rulează și generează experiență) și partea de instruire (unde modelul este actualizat) fără a întrerupe execuțiile live. În configurațiile convenționale, împărțirea dintre resursele de lansare și de formare este fixă, astfel încât o parte este inactivă în timp ce cealaltă funcționează. Facerea elastică a limitei înseamnă că o fază grea de lansare poate împrumuta hardware de antrenament și invers, pe măsură ce volumul de lucru se schimbă.
Al doilea este un procesor de traiectorie care îmblânzește problema de ramificare. Reconstituie istoriile de ramificare, astfel încât prefixele partajate să nu fie tratate ca date nelegate, înregistrează progrese parțiale în încercările incomplete - important atunci când majoritatea lansărilor lungi se termină cu eșec - și deduplică căile redundante la costurile de formare limitate.
Economia de aici este simplă. În învățarea prin consolidare pentru modele mari, calculul este cheltuiala dominantă, iar împărțirea lansare-instruire determină cât de mult dintr-o flotă de GPU își câștigă efectiv păstrarea la un moment dat. Un cadru care menține GPU-urile în lucrul util în loc să rămână inactiv, multiplică efectiv debitul aceluiași hardware. Pentru formarea agenților pe orizont lung - în care lucrarea descrie mersul în gol ca fiind „masiv” - diferența dintre o divizare statică și una elastică poate decide dacă un program de formare este practic.
De ce contează pentru ecosistemul agentului
Produsele agent au trecut de la demonstrații la implementări, iar tehnicile de antrenament din spatele lor se întreabă pentru a ține pasul. Un agent de codare care completează un bilet real sau un asistent care gestionează un flux de lucru în mai mulți pași, poate avea nevoie de sute de interacțiuni înainte de a ajunge la un rezultat pe care un om l-ar accepta - iar semnalele de recompensă pentru acele rezultate sunt rare și greu de definit. Învățarea prin consolidare online rămâne abordarea dominantă pentru ascuțirea comportamentului agentului, ceea ce face ca debitul conductei RL să fie o constrângere directă asupra cât de repede își poate îmbunătăți agenții un laborator.
De aceea cadre precum QwenGyre contează dincolo de Alibaba. Dacă RL cu orizont lung devine dramatic mai ieftin pe punct de capacitate câștigat, mai multe echipe își pot permite să antreneze agenți în sarcinile lungi și dezordonate care seamănă cu munca reală, mai degrabă decât pe episoade sintetice scurte care sunt ieftine de lansat, dar slabe ca proxy. Echipele care rezolvă problema debitului vor putea repeta capacitatea agentică mult mai repede decât toți ceilalți.
Rezultatele raportate
Cel mai proeminent rezultat din lucrare vine de la scalarea QwenGyre la modelul emblematic Qwen, Qwen 3.8 2.4T, cu lansări de 700.000 de jetoane. Antrenamentul cu cadrul a produs un câștig absolut de 6,0 la sută pe NL2RepoBench — un etalon pentru traducerea cererilor de limbaj natural în modificări de cod la nivel de depozit — ridicând modelul de la 52,5 la sută la 58,5 la sută în doar 48 de pași RL.
În ceea ce privește eficiența, echipa raportează că QwenGyre oferă accelerări de până la 1,85 ori față de o linie de bază RL colocată și de 1,78 ori peste o configurare asincronă, în cadrul evaluărilor care acoperă diverse domenii de antrenament. Acestea sunt numere substanțiale într-un domeniu în care câștigurile de debit sunt de obicei măsurate în procente de o singură cifră.
Avertismente și disponibilitate
Ca și în cazul oricărui rezultat publicat în laborator, numerele sunt auto-raportate de echipa Qwen și nu au fost încă reproduse independent. O întrebare practică pentru cercetătorii externi este accesul: în timp ce o anumită acoperire a descris QwenGyre ca sursă deschisă, o lansare de cod public clar nu a apărut la momentul scrierii, astfel încât verificarea independentă a accelerațiilor raportate nu este încă posibilă. AI Buzz Wire se va actualiza pe măsură ce vor fi disponibile mai multe detalii.
Chiar și așa, lucrarea este un semnal util despre unde se îndreaptă pregătirea agenților. Pe măsură ce agenții își asumă sarcini mai lungi și mai valoroase, infrastructura necesară pentru a-i antrena diverge brusc față de conducta RL din era chat - și decalajul dintre cei doi va crește doar.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.
Citiți mai multe știri AI →
