L'IA che si migliora da sola: progressi ma rischi di errori mascherati

Introduzione alla self-supervision multi-agente

Ricercatori dell'istituto Sakana AI e dell'Università della California di Berkeley hanno sviluppato un nuovo approccio rivoluzionario per il miglioramento ricorsivo dei modelli linguistici, chiamato "Multi-Agent Self-Supervision" (MASS). Questo metodo consente a un singolo modello linguistico di migliorarsi progressivamente senza l'intervento di insegnanti esterni più forti o assistenza umana diretta. La metodologia funziona attraverso un sistema di team interno dove copie dello stesso modello distribuiscono compiti, valutano i risultati e ottimizzano i flussi di lavoro per l'addestramento successivo.

L'approccio rappresenta una soluzione elegante a un problema fondamentale nella ricerca di frontiera dell'IA: la necessità di valutatori affidabili. Come sottolineano gli autori dello studio, gli esperti umani spesso non riescono più a valutare in modo affidabile i risultati, poiché le valutazioni richiedono prove costose o esperimenti lunghi. Un singolo studio su plasma può richiedere più di 120 milioni di ore di CPU secondo il paper. In questa situazione, il modello stesso diventa il valutatore più disponibile e pratico.

Il problema fondamentale dell'auto-valutazione

Tuttavia, questo approccio presenta un rischio intrinseco: poiché lo stesso modello risolve il problema, lo valuta e lo rivede, potrebbe facilmente trascurare esattamente quegli errori commessi durante la risoluzione iniziale. Anziché correggerli, il modello potrebbe effettivamente amplificarli. Questo ciclo negativo rappresenta una delle sfide più critiche dell'auto-miglioramento non supervisionato: i risultati errati o le soluzioni manipolate potrebbero essere facilmente validati come successi dalla valutazione interna e quindi incorporati permanentemente nella generazione successiva del modello.

Architettura del sistema MASS

L'organizzazione del flusso di lavoro nel sistema MASS è stata ispirata da "Society of Mind", un libro del pioniere dell'IA Marvin Minsky. In questo sistema, ogni flusso di lavoro consiste in un testo aggiunto al prompt che definisce il ruolo e le istruzioni di ciascun sotto-agente. Il sistema include anche un "Contract", che specifica quali informazioni e verifiche devono essere restituite, e un "Hop", che determina l'ordine delle chiamate. Un orchestratore distribuisce il lavoro tra gli agenti.

Per esempio, quando il team testa una strategia di trading utilizzando dati storici dei prezzi, lo specialista dati deve garantire tramite contract che la strategia utilizzi esclusivamente dati che erano noti in quel momento specifico. Questo meccanismo di verifica integrato è fondamentale per mantenere l'integrità dei risultati attraverso tutto il sistema.

Funzionamento del ciclo di ottimizzazione

Il sistema opera attraverso due loop distinti. Nel ciclo interno, i pesi rimangono fissi. Il team esegue un flusso di lavoro candidato, il valutatore confronta il risultato con il "Champion" precedente, e l'ottimizzatore propone il prossimo flusso di lavoro basandosi sul feedback, principalmente modificando i contract e gli hop. Nel ciclo esterno, il modello campione viene eseguito 18 volte per ogni compito, con il modello che classifica i risultati autonomamente, permettendo a fino a 15 esecuzioni di alimentare l'addestramento successivo.

Un team di copie dello stesso modello esegue il flusso di lavoro, un auto-valutatore confronta il risultato con il campione precedente, e un auto-ottimizzatore scrive il prossimo flusso di lavoro sulla base del feedback. Dopo ogni iterazione, il modello impara dalle migliori esecuzioni, raffinando progressivamente il suo approccio.

Processo di apprendimento e generalizzazione

Per gli esempi di addestramento, i ricercatori rimuovono il testo del flusso di lavoro dal prompt iniziale dell'orchestratore, in modo che il modello impari a organizzare autonomamente il lavoro sulla base del compito stesso. Tuttavia, le assegnazioni concrete ai sotto-agenti rimangono registrate nei flussi tracciati. Dopo l'affinamento LoRA, il modello riprende nuovamente tutti e tre i ruoli: solutore, valutatore e ottimizzatore.

La base della ricerca utilizza Qwen 3.6-27B con Qwen Code come harness. La raccolta di compiti comprende dodici compiti di ricerca generati da GPT-4 nei settori della finanza, della robotica e della farmaceutica. Tre di questi sono rimasti come compiti di test per valutare la generalizzazione, mentre nove erano destinati all'addestramento. Otto hanno finalmente fornito dati di addestramento, poiché per un compito di addestramento non è stato trovato alcun flusso di lavoro che superasse il riferimento.

Risultati sui benchmark di test

Sui compiti di test, il tasso di vittoria rispetto al modello di base aumenta dal 53,9 percento dopo una iterazione al 69,9 percento dopo due iterazioni. Su MLR-Bench, DSBench, ScienceAgentBench e AstaBench, il modello raggiunge da 1,2 a 1,6 volte il valore di base, misurato come punteggio per token di output. In numeri assoluti, i salti a volte sono piccoli: DSBench ad esempio migliora solo da 0,473 a 0,482. Su Terminal-Bench 2.0 e SWE-bench Verified, i valori diminuiscono leggermente.

Questi risultati misti suggeriscono che i miglioramenti non sono universali su tutti i tipi di compiti. Su MLR-Bench, DSBench, ScienceAgentBench e AstaBench il modello è in vantaggio dopo due iterazioni, mentre su Terminal-Bench 2.0 e SWE-bench Verified il modello di base mantiene punteggi più elevati.

Analisi critica dei risultati e dei limiti

L'appendice del paper restringe ulteriormente i risultati. Su MLR-Bench, l'aumento principale è nella quantità di lavoro consegnato, passando da 31 a 50 su 60, mentre il voto medio degli articoli consegnati diminuisce da 3,07 a 2,88. Lo strumento di delegazione non è stato utilizzato in nessuna delle 180 esecuzioni, lasciando incerto se il lavoro di squadra sia veramente la causa dei miglioramenti. Confrontando compito per compito, la significatività statistica scompare. Gli autori stessi riconoscono un'immagine incoerente attraverso i compiti di ricerca. Lo stesso modello emerge su AstaBench.

Un problema critico emerso dall'analisi è che i miglioramenti nei benchmark sono principalmente guidati da una maggiore quantità di lavoro consegnato, piuttosto che da una migliore qualità di ogni singolo output. Questo suggerisce che il sistema può semplicemente stimolare il modello a produrre più risultati, non necessariamente migliori, mascherando i difetti attraverso il volume.

Miglioramento delle altre funzioni attraverso l'addestramento

Sorprendentemente, sebbene il modello sia stato addestrato solo su percorsi di soluzione, anche le altre due funzioni migliorano. L'accordo del valutatore automatico con i giudici esterni aumenta dal 73 al 93 percento. I flussi di lavoro trovati dal modello nel primo turno vincono nel 64 percento dei casi contro quelli del modello di base, anche quando entrambi vengono eseguiti dal modello di base. Senza specifiche di flusso di lavoro, il modello di base delega ai sotto-agenti in 1 su 110 esecuzioni, mentre dopo due turni lo fa in 87. Sebbene il modello padroneggiasse già questo con istruzioni esplicite, l'uso spontaneo senza prompt è nuovo.

Durante il corso dell'ottimizzazione, la conoscenza del compito migra nei contract e negli hop, mentre i ruoli e le istruzioni diventano più generici. Tuttavia, la base di dati per questa scoperta è sottile, con solo da 8 a 9 compiti, richiedendo cautela nell'interpretazione.

Efficienza dell'addestramento con flussi di lavoro di squadra

I percorsi di squadra si rivelano più efficienti come dati di addestramento rispetto ai percorsi di agenti singoli. Il modello MASS raggiunge un tasso di vittoria del 68,3 percento utilizzando il 31 percento di token in meno rispetto a uno studente agente singolo che raggiunge il 64 percento. I giudici esterni preferiscono i risultati di squadra nell'85,1 percento dei casi, ma le squadre producono approssimativamente 2,4 volte più token. A lunghezza comparabile, la preferenza rimane all'80 percento, supportata da solo dieci coppie. Questo mostra un vantaggio dei percorsi di squadra valutati, ma non prova che la delegazione sia l'unico responsabile. I percorsi di squadra e agente singolo differiscono anche nelle istruzioni di flusso di lavoro e valutazione, oltre che nella selezione degli episodi completati con successo.

Comparazione con il feedback esterno più forte

Con circa 29 milioni di token di addestramento elaborati, il modello MASS M+ raggiunge un tasso di vittoria del 68,3 percento, mentre lo studente agente singolo S++ raggiunge il 64,0 percento con 42 milioni di token. Questo mostra l'efficienza relativa dell'approccio multi-agente.

Quando i ricercatori hanno sostituito solo il valutatore con GPT-4, l'aiuto è stato minimo. Le cose sono migliorate significativamente solo quando anche l'ottimizzatore era più forte. I risultati suggeriscono che il feedback di qualità superiore sviluppa il suo effetto solo quando l'ottimizzatore può effettivamente elaborarlo. Quando Qwen assume tutti i ruoli da solo, trova comunque flussi di lavoro vincenti per 11 su 12 compiti, ma richiede più tempo per farlo.

Instabilità e rumore nella ricerca

La ricerca di flussi di lavoro procede inoltre in modo rumoroso. Quanto fortemente viene riscritto un flusso di lavoro dice poco sulla sua efficacia. Due flussi di lavoro byte-identici hanno vinto tutti e sei i giudizi esterni in un'occasione e perso tutti e sei in un'altra, perché l'agente rimase intrappolato in un ciclo. I ricercatori sospettano che l'ottimizzatore abbia bisogno di una sorta di freno che dosifichi i suoi cambiamenti e stabilizzi così la ricerca complessiva.

Questo fenomeno rivela una sfida fondamentale nel sistema: la natura caotica e impredittibile della ricerca dello spazio dei flussi di lavoro. Piccole variazioni nella stessa struttura possono portare a risultati drammaticamente diversi, suggerendo che il sistema non ha ancora raggiunto una convergenza stabile.

Accelerazione con componenti esterni più forti

Con GPT-4 come valutatore e ottimizzatore, la ricerca del flusso di lavoro vince tutti e dodici i compiti dopo solo cinque iterazioni, con una velocità di convergenza notevolmente superiore rispetto all'approccio completamente autonomo. Questo evidenzia il valore dell'utilizzo di componenti esterni più forti quando disponibili, anche se l'obiettivo a lungo termine rimane l'auto-miglioramento completamente autonomo senza tali dipendenze.

Implicazioni e considerazioni critiche

Lo studio di Sakana AI e UC Berkeley rappresenta un avanzamento significativo nel campo dell'auto-miglioramento ricorsivo, dimostrando che i modelli linguistici possono effettivamente ottimizzarsi con un feedback interno limitato. Tuttavia, i risultati mixti sui benchmark, la dominanza della quantità sulla qualità negli output, e l'instabilità intrinseca della ricerca dello spazio dei flussi di lavoro suggeriscono che questa tecnologia rimane in fase di sviluppo iniziale.

Il rischio più critico identificato nello studio è che i risultati errati o manipolati possono facilmente essere validati come successi dal sistema di valutazione interno e quindi incorporati permanentemente nelle generazioni successive del modello. Questo potrebbe portare a una degradazione lenta ma sistematica della qualità nel corso di più cicli di auto-miglioramento. I risultati dimostrano chiaramente come questa sia una considerazione fondamentale per il futuro deployment di tali sistemi, richiedendo controlli e saldi rigorosi per garantire che il feedback negativo non si perpetui attraverso il sistema.