QwenGyre: il nuovo framework di apprendimento per rinforzo elastico di Alibaba
Alibaba Qwen ha presentato ufficialmente QwenGyre, un innovativo framework di apprendimento per rinforzo online progettato specificamente per l'addestramento di agenti intelligenti su compiti che richiedono interazioni estese nel tempo. Questa nuova soluzione affronta una categoria di problemi che il team definisce come "XLong-horizon", ovvero attività che si sviluppano nell'arco di ore e coinvolgono centinaia di interazioni tra il modello e gli strumenti disponibili. QwenGyre rappresenta un passo significativo nella ricerca di Alibaba per migliorare l'efficienza dell'apprendimento per rinforzo in scenari ad alta complessità.
Il framework è stato testato sui modelli flagship di Qwen, in particolare sul Qwen 3.6 122B e sul Qwen 3.8 2.4T, dimostrando risultati notevoli in termini di velocità e efficienza computazionale. A differenza di molti framework alternativi, QwenGyre non richiede modifiche agli ambienti di esecuzione, funzionando come un sistema "black-box" che si integra facilmente con harness non modificati come Claude Code. Questa caratteristica lo rende particolarmente pratico per applicazioni reali dove l'integrazione con sistemi legacy è una considerazione importante.
Il problema che QwenGyre risolve
Il team di ricerca di Alibaba ha identificato chiaramente la natura dei problemi affrontati dai sistemi di apprendimento per rinforzo tradizionali quando operano su scale estreme. I compiti "XLong-horizon" sono definiti come esecuzioni di agenti che si estendono per molte ore e coinvolgono centinaia di interazioni con modelli e strumenti. Esempi concreti includono la generazione di interi repository da specifiche tecniche, come dimostrato dal benchmark NL2Repo-Bench, dove un agente deve comprendere requisiti complessi e produrre codice funzionante su larga scala.
Due problemi critici emergono quando si lavora a questa scala:
- Coda lunga nei rollout: In una configurazione tradizionale di collocazione (Colocate), il processo di addestramento rimane inattivo mentre aspetta che le esecuzioni più lente si completino. Questo comporta uno spreco significativo di risorse computazionali. Nei sistemi completamente asincroni (Async), invece, i pool di GPU con capacità fissa non possono prestare capacità di calcolo inutilizzata da un componente all'altro, creando colli di bottiglia dinamici.
- Alberi di esecuzione ramificati: Harness sofisticati come Claude Code compattano il contesto, generano sotto-agenti e tentano riesecuzioni automatiche. Questa logica trasforma quella che potrebbe sembrare un'unica traiettoria in un albero ramificato di esecuzioni. Se ogni percorso fosse addestrato indipendentemente, si produrrebbe una duplicazione massiccia dei prefissi condivisi, inflazionando significativamente il costo computazionale dell'addestramento.
L'architettura elastica di QwenGyre
QwenGyre introduce un'architettura innovativa basata su due idee fondamentali che risolvono i problemi identificati. La prima idea centrale è lo spostamento dinamico delle GPU tra rollout e addestramento, permettendo un utilizzo più efficiente delle risorse senza interrompere gli agenti in esecuzione. La seconda idea è la trasformazione degli storici ramificati degli agenti in campioni di addestramento limitati e ottimizzati.
Il framework suddivide le GPU disponibili in "celle" che condividono un layout di addestramento comune. Ogni cella può svolgere la funzione di server per i rollout oppure ospitare una replica completa del processo di addestramento. Una cella centrale (core cell) mantiene l'autorità su pesi e stato dell'ottimizzatore, mentre le celle satellite possono unirsi al processo di addestramento in momenti successivi.
Lo scheduler elastico di QwenGyre monitora costantemente un valore di "waterlevel" per i rollout, tracciando le esecuzioni in coda e quelle in corso. Quando le esecuzioni si completano, le celle passano alla modalità addestramento una volta che le celle rimanenti possono ancora servire tutto il lavoro attivo. Un aspetto cruciale è che le chiamate ai modelli vengono instradate attraverso un proxy, permettendo alla harness di continuare a funzionare senza interruzioni anche durante le transizioni di ruolo.
Meccaniche chiave del sistema elastico
- Migrazione della cache KV: I blocchi della KV-cache migrano attraverso RDMA (Remote Direct Memory Access) durante il rerouting, riducendo significativamente la ricomputazione dei prefissi e migliorando l'efficienza complessiva.
- Inserimento delle celle satellite: Le celle satellite scaricano i pesi dalla cella centrale attraverso il Transfer Engine di Mooncake e si uniscono a un batch in corso, riducendo la latenza di coordinamento.
- Addestramento in streaming: Le celle possono rivendicare micro-step man mano che i dati diventano disponibili, invece di aspettare batch completi, migliorando il parallelismo.
- Velocità di transizione: I cambi di ruolo medi richiedono 8,52 secondi per passare da rollout a addestramento e 3,46 secondi per passare da addestramento a rollout, il che è notevolmente veloce considerando la complessità dell'operazione.
Il processore di traiettoria e la costruzione dei campioni
Un componente sofisticato di QwenGyre è il Trajectory Processor, che costruisce in modo intelligente campioni di addestramento dalle esecuzioni ramificate. Un proxy registra gli ID esatti dei token e le log-probabilità del comportamento utilizzando il metodo token-in, token-out (TITO), consentendo una registrazione precisa del comportamento del modello durante l'esecuzione.
Le chiamate sono memorizzate come alberi di traiettoria con prefissi condivisi, il che consente una deduplicazione efficiente. Il sistema implementa diverse strategie intelligenti per ottimizzare l'uso delle risorse di addestramento:
- Scoring parziale: Anche le esecuzioni che raggiungono il timeout vengono valutate in base al loro lavoro completato e al workspace preservato. Gli errori dell'evaluator sono esclusi e mai trattati come una ricompensa nulla, preservando informazioni preziose anche da esecuzioni incomplete.
- Limitazione dei campioni: Un massimo di 5 traiettorie per esecuzione viene mantenuto e selezionato secondo una gerarchia di priorità: main > main-summary > sub-agent > sub-agent-summary. Questa limitazione mantiene l'equilibrio computazionale.
- Deduplicazione intelligente: I target condivisi contano una sola volta, e solo i token generati dalla policy vengono usati per l'addestramento, evitando di contare due volte le componenti comuni.
- Pesatura equa: Le perdite vengono mediate all'interno di ogni esecuzione, garantendo che rami aggiuntivi non inflazionino il peso dell'esecuzione complessiva nel batch di addestramento.
Un cap di 5 traiettorie ha dimostrato di essere il punto di equilibrio ottimale: mantiene i risultati uguali a configurazioni senza limiti mentre riduce il tempo di forward-backward del 25,2%. L'addestramento utilizza un algoritmo adattato di GSPO (Group-wise Supervised Policy Optimization) con 16 rollout per gruppo, garantendo una convergenza stabile e efficiente.
Risultati dei benchmark e prestazioni
I test di prestazione di QwenGyre sono stati condotti in modo rigoroso, utilizzando Claude Code 2.1.220 come harness uniforme in tutti gli esperimenti, con budget GPU uguali e staleness (ritardo dei pesi) abbinato tra i differenti metodi per garantire confronti equi.
I risultati mostrano accelerazioni consistenti e significative:
| Workload (modello) | vs Async | vs Colocate |
|---|---|---|
| NL2RepoBench (Qwen 3.6 122B, 48 step) | 1,42x - 1,53x | 1,36x - 1,47x |
| DeepSWE (Qwen 3.6 122B, 24 step) | 1,569x - 1,572x | 1,610x - 1,824x |
| TerminalBench (Qwen 3.6 122B, 24 step) | 1,383x - 1,430x | 1,809x - 1,849x |
| NL2RepoBench (Qwen 3.8 2.4T, 48 step) | 1,78x | 1,21x |
Dettagli delle prestazioni su scala estrema
Sui modelli più grandi, i risultati sono ancora più impressionanti in termini assoluti. Nel test su Qwen 3.8 2.4T per NL2RepoBench, QwenGyre ha completato 48 step di addestramento in 75,42 ore, mentre Async ha richiesto 134,55 ore e Colocate 91,47 ore. Questo rappresenta un'accelerazione end-to-end di 1,78x rispetto ad Async e 1,21x rispetto a Colocate.
Parallelamente al miglioramento della velocità, le prestazioni del modello sono migliorate significativamente. La pass rate di valutazione su NL2RepoBench è aumentata dal 52,48% iniziale al 58,54%, rappresentando un miglioramento tangibile della qualità delle soluzioni generate dal modello durante l'addestramento con rinforzo.
Per quanto riguarda la scala computazionale, il modello 122B è stato addestrato su cluster GPU multi-nodo che utilizzavano 24-32 nodi, mentre la versione 2.4T è stata addestrata su una scala molto più grande: 192 nodi organizzati in 4 celle di 48 nodi ciascuna. I rollout hanno generato in media circa 700K token per esecuzione, richiedendo quindi coordinamento sofisticato per mantenere l'efficienza.
Configurazione tecnica e infrastruttura
QwenGyre è stato sviluppato come un framework di addestramento piuttosto che come un modello standalone. La sua implementazione tecnica si basa su componenti consolidati dell'ecosistema di machine learning open-source e proprietario di Alibaba:
- Addestramento: Utilizza Megatron-LM per il parallelismo distribuito efficiente durante la fase di addestramento.
- Serving per i rollout: Impiega SGLang per il serving ad alta prestazione delle inferenze durante i rollout degli agenti.
- Trasferimento dati: Si avvale del Transfer Engine di Mooncake per ottimizzare la migrazione dei pesi tra celle.
- Harness di esecuzione: Funziona perfettamente con Claude Code 2.1.220 senza richiedere modifiche al codice della harness.
La dimensione del modello più piccolo testato è stata di 122 miliardi di parametri, mentre il più grande ha raggiunto 2,4 trilioni di parametri. Sebbene il tipo specifico di GPU non sia stato divulgato nella documentazione disponibile, la scala dell'infrastruttura (fino a 192 nodi per il modello più grande) suggerisce l'impiego di GPU di classe enterprise ad alte prestazioni.
Confronto con altri framework di apprendimento per rinforzo agentico
Nel panorama dell'apprendimento per rinforzo per agenti intelligenti, QwenGyre si posiziona all'interno di un ecosistema crescente di framework specializzati. Un confronto dettagliato con i principali competitor rivela le caratteristiche distintive di QwenGyre:
| Caratteristica | QwenGyre | veRL | AReaL | Agent Lightning |
|---|---|---|---|---|
| Sviluppatore | Alibaba Qwen | ByteDance Seed + comunità | Tsinghua IIIS + Ant Group | Microsoft |
| Licenza | Non divulgata | Apache-2.0 | Apache-2.0 | MIT |
| Posizionamento GPU | Celle elastiche, cambio durante rollout | Mapping dispositivo flessibile, resharding HybridEngine | Completamente asincrono | Non divulgato |
| Harness black-box | Si, via proxy | Non divulgato | Si, via base_url swap | Si, con cambio minimo di codice |