Il team Qwen di Alibaba sta attirando nuova attenzione questa settimana per QwenGyre, un framework di apprendimento per rinforzo progettato per addestrare agenti IA su compiti che durano ore alla volta. Il sistema è stato descritto in un documento intitolato "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents", scritto da tredici ricercatori Qwen e pubblicato su arXiv alla fine di settembre, con una copertura dettagliata seguita dalla stampa AI il 12 e 13 ottobre.
Il framework si rivolge a una categoria di carichi di lavoro che il team chiama attività "xLong-horizon", in cui una singola esecuzione dura ore, coinvolge centinaia di interazioni tra il modello e il suo ambiente e consuma quasi un milione di token per implementazione. Esempi tipici sono gli agenti di codifica che lavorano attraverso un intero repository o gli assistenti che eseguono operazioni in più passaggi per conto di un utente. I modelli di addestramento per ottenere questo risultato con l'apprendimento per rinforzo online sono stati uno dei problemi infrastrutturali più difficili nel campo ed è una priorità naturale per il team dietro i modelli di agenti a peso aperto ampiamente utilizzati di Qwen. Per i lettori che tengono traccia delle ultime notizie sull'intelligenza artificiale sull'infrastruttura di formazione, QwenGyre offre uno sguardo a come uno dei più grandi team a modello aperto ha riprogettato la propria pipeline RL attorno ai carichi di lavoro degli agenti.
Due colli di bottiglia nella RL a lungo orizzonte
L'articolo identifica due problemi fondamentali legati all'applicazione dell'apprendimento per rinforzo online a compiti estremamente lunghi degli agenti.
Il primo è la GPU inattiva. Poiché le implementazioni variano notevolmente in termini di tempo di esecuzione (l'esecuzione di un agente potrebbe terminare in pochi minuti mentre un'altra può durare ore), il lato formazione della pipeline è costantemente in attesa di ritardatari. Il risultato, secondo gli autori, è un enorme tempo di inattività su flotte di GPU costose, che rappresentano il costo più grande in qualsiasi corso di formazione RL.
Il secondo è la ridondanza della traiettoria. Le attività lunghe dell'agente non procedono in linea retta. Si ramificano: un agente tenta un approccio, torna sui suoi passi, ne prova un altro e le ramificazioni si moltiplicano man mano che le attività diventano più lunghe e complesse. Gran parte di questa storia ramificata è ridondante e la formazione su di essa comporta uno spreco di calcolo e destabilizza l’apprendimento. Gli autori descrivono questa ridondanza come un’efficienza paralizzante della formazione su larga scala.
Come QwenGyre li affronta
QwenGyre è un framework end-to-end per RL online a lungo orizzonte costruito attorno a due meccanismi principali.
Il primo è la riallocazione elastica della GPU. Il framework sposta le GPU tra il lato di implementazione (dove gli agenti eseguono e generano esperienza) e il lato di formazione (dove il modello viene aggiornato) senza interrompere le esecuzioni dal vivo. Nelle configurazioni convenzionali, la suddivisione tra risorse di implementazione e formazione è fissa, quindi una parte è inattiva mentre l'altra lavora. Rendere elastico il confine significa che una fase pesante di implementazione può prendere in prestito hardware di formazione e viceversa, man mano che il carico di lavoro cambia.
Il secondo è un processore di traiettoria che risolve il problema delle ramificazioni. Ricostruisce le cronologie delle ramificazioni in modo che i prefissi condivisi non vengano trattati come dati non correlati, valuta i progressi parziali sui tentativi incompleti (importante quando le implementazioni più lunghe terminano con un fallimento) e deduplica i percorsi ridondanti per limitare i costi di formazione.
L’economia qui è semplice. Nell'apprendimento per rinforzo per modelli di grandi dimensioni, l'elaborazione è la spesa dominante e la suddivisione tra implementazione e formazione determina quanta parte di una flotta di GPU sta effettivamente guadagnando il suo mantenimento in un dato momento. Un framework che mantiene le GPU in funzione invece che inattive moltiplica efficacemente il throughput dello stesso hardware. Per la formazione degli agenti a lungo orizzonte – dove il documento descrive l’inattività come “massiccia” – la differenza tra una suddivisione statica ed elastica può decidere se un programma di formazione è pratico.
Perché è importante per l'ecosistema degli agenti
I prodotti per agenti sono passati dalle demo alle implementazioni e le tecniche di formazione dietro di essi fanno a gara per tenere il passo. Un agente di codifica che completa un ticket reale, o un assistente che gestisce un flusso di lavoro in più fasi, potrebbero aver bisogno di centinaia di interazioni prima di raggiungere un risultato che un essere umano accetterebbe – e i segnali di ricompensa per tali risultati sono scarsi e difficili da definire. L’apprendimento per rinforzo online rimane l’approccio dominante per affinare il comportamento degli agenti, il che rende il rendimento della pipeline RL un vincolo diretto sulla rapidità con cui un laboratorio può migliorare i propri agenti.
Ecco perché strutture come QwenGyre contano anche oltre Alibaba. Se il RL a lungo orizzonte diventa notevolmente più economico per punto di capacità guadagnato, più team possono permettersi di formare agenti su compiti lunghi e disordinati che assomigliano al lavoro reale, piuttosto che su brevi episodi sintetici che sono economici da implementare ma deboli come proxy. I team che risolvono il problema del throughput saranno in grado di eseguire iterazioni sulla capacità degli agenti molto più velocemente di chiunque altro.
I risultati riportati
Il risultato più importante nel documento deriva dal ridimensionamento di QwenGyre al modello di punta di Qwen, Qwen 3.8 2.4T, con lanci di 700.000 token. L'addestramento con il framework ha prodotto un guadagno assoluto del 6,0% su NL2RepoBench, un punto di riferimento per tradurre le richieste del linguaggio naturale in modifiche al codice a livello di repository, portando il modello dal 52,5% al 58,5% in soli 48 passaggi RL.
Per quanto riguarda l'efficienza, il team riferisce che QwenGyre offre accelerazioni fino a 1,85 volte su una linea di base RL colocalizzata e 1,78 volte su una configurazione asincrona, attraverso valutazioni che abbracciano diversi domini di allenamento. Si tratta di numeri sostanziali in un campo in cui i guadagni di produttività sono solitamente misurati in percentuali a una cifra.
Avvertenze e disponibilità
Come per ogni risultato pubblicato in laboratorio, i numeri sono stati riportati dal team Qwen e non sono stati ancora riprodotti in modo indipendente. Una questione pratica per i ricercatori esterni è l'accesso: mentre alcuni articoli hanno descritto QwenGyre come open source, al momento della stesura di questo articolo non era emerso un chiaro rilascio pubblico del codice, quindi non è ancora possibile una verifica indipendente delle accelerazioni riportate. AI Buzz Wire verrà aggiornato non appena saranno disponibili ulteriori dettagli.
Anche così, il documento è un utile segnale di dove sta andando la formazione degli agenti. Man mano che gli agenti assumono compiti più lunghi e preziosi, l’infrastruttura necessaria per formarli si sta allontanando nettamente dalla pipeline RL dell’era delle chat – e il divario tra i due non farà altro che aumentare.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
