Introduzione al problema della ricerca dati in SFT

Negli ultimi anni, gli agenti basati su modelli di linguaggio hanno iniziato a automatizzare molte fasi post‑addestramento, ma quando si concede loro l’intero stack di addestramento tendono a convergere su una singola strategia: il supervised fine‑tuning (SFT) con una forte enfasi sulla revisione dei dati di addestramento. I sistemi esistenti offrono al agente un solo tipo di controllo, tipicamente la selezione di righe da un pool fisso o la chiamata a un generatore. In pratica, un ingegnere di dati umano combina molteplici operazioni – aggiustamento delle proporzioni, potatura, riparazione, sostituzione e sintesi di dati – per ottimizzare il set di addestramento.

Gli autori di AutoSFT hanno quindi definito uno spazio di azioni sui dati che comprende tutte queste operazioni e hanno chiesto se un sistema automatizzato possa eseguire l’intera gamma di azioni, anziché limitarsi a una sola, e quale architettura sia necessaria per farlo.

Design di AutoSFT: architettura multi‑agente

Il primo esperimento, condotto con un singolo agente, ha mostrato che l’agente si limitava a una sola azione – la modifica delle proporzioni di categoria – e scartava gran parte del contesto di esecuzione a metà della ricerca. Per superare questo limite è stato introdotto AutoSFT, un sistema composto da più agenti con ruoli distinti:

Meta‑agente: decide la ricetta successiva dei dati, gestisce il budget e coordina gli altri agenti.

Esecutore: avvia l’addestramento, converte i checkpoint, valuta il modello e restituisce percorsi di artefatti e un breve report, mantenendo i log grezzi locali.

Quattro agenti di analisi: ciascuno ispira una prospettiva diversa (dati di addestramento, casi di errore, dinamiche di apprendimento, cronologia della ricerca) e propone modifiche basate su evidenze.

Agente di sintesi: genera nuovi esempi per capacità poco rappresentate, verifica la correttezza, decontamina n‑grammi e controlla la qualità prima di inserirli nella pool.

Questa suddivisione del lavoro permette al meta‑agente di separare la fase decisionale dall’esecuzione, riducendo la perdita di contesto e consentendo una valutazione più ricca delle proposte.

Spazio di azioni sui dati

Il paper distingue sei famiglie di azioni, identificate confrontando le ricette prima e dopo ogni ciclo:

Mixture changes: variazione delle proporzioni di categorie.

Pruning: rimozione di righe.

Repair: modifica del contenuto delle righe.

Resupervision: sostituzione delle risposte.

Synthesis: aggiunta di nuovi esempi.

Ordering: cambiamento dell’ordine di presentazione degli esempi.

Le azioni sono classificate in base alla differenza tra le ricette, non sulla descrizione fornita dall’agente.

Procedura di ricerca e metriche

In ogni ciclo, AutoSFT parte dallo stesso modello di base, addestra una nuova versione usando la ricetta corrente, valuta il checkpoint e utilizza il feedback per generare la ricetta successiva. All’interno di un confronto, il trainer e il budget di token (3 M token) sono fissati; solo la politica di ricerca varia.

Le metriche principali sono:

IFEval: valutazione media su 10 esecuzioni stocastiche di un checkpoint.

IFBench: benchmark complementare, anch’esso aggregato su 10 esecuzioni.

MBPP+: valutazione di capacità di programmazione basata sull’esecuzione di test, aggregata su 3 esecuzioni.

Impatto dei singoli componenti

L’aggiunta progressiva dei componenti ha prodotto i seguenti guadagni (valori medi @10 per IFEval/IFBench):

Esecutore: riduzione della perdita di contesto di circa ½, migliorando la stabilità della ricerca.

Agenti di analisi: aumento di +6,5 punti su IFEval rispetto al solo agente base.

Agente di sintesi: +3,4 su IFEval e +2,9 su IFBench.

Su MBPP+, l’analisi ha aggiunto +3,7 punti rispetto al solo agente, mentre la sintesi ha ulteriormente migliorato di +1,0 punto (da 64,8 % a 65,8 %).

Confronti sperimentali

Nel pilota iniziale, un singolo agente ha eseguito 33 cicli (32 valutati) in 11,5 ore. L’unica azione compiuta è stata la modifica delle proporzioni di categoria; il miglior round (9) ha ottenuto i punteggi più alti su entrambi i benchmark, ma i successivi 23 cicli non hanno migliorato ulteriormente la performance.

Nel confronto “Base + Analisi”:

Al round 6, l’IFEval ha raggiunto 63,33, superando il picco migliore del solo agente (62,35) ottenuto in 50 round.

Al round 30, il punteggio è salito a 67,10 contro 60,60 del solo agente.

Le azioni con analisi includono pruning, repair e resupervision, che rappresentano il 55 % delle modifiche, mentre il solo agente rimane limitato alle mixture changes.

Sintesi di dati mancanti e test su codice

Alcune capacità hanno pochi esempi nella pool iniziale, rendendo inefficace la semplice selezione o modifica. L’agente di sintesi genera nuovi esempi, li verifica e li decontamina prima di inserirli. In un confronto controllato con 100 M token, la sintesi ha prodotto i seguenti risultati:

IFEval: 81,58 vs 78,15 (base).

IFBench: 51,95 vs 49,02 (base).

Non tutti i batch sintetizzati hanno avuto lo stesso impatto. La capacità repeatprompt è passata dal 40 % al 75,6 % di utilizzo nella stessa round in cui è stato introdotto il batch, mentre oddeven_syllables è rimasta a zero nonostante tre round di sintesi, indicando che l’aumento di esempi non è sempre sufficiente a insegnare una regola ancora non appresa dal modello.

Per verificare la trasferibilità, gli autori hanno testato il sistema su codice usando MBPP+. Con Qwen3‑1.7B‑Base, “Base + Analisi” ha raggiunto 64,8 % al round 13 (vs 61,11 % del solo agente), e l’aggiunta di sintesi ha portato a 65,8 % al round 6, pur richiedendo più tempo per ciclo.

Conclusioni e implicazioni future

I risultati indicano che l’automazione della ricerca di dati per SFT dipende più dalla copertura di una ampia varietà di azioni sui dati che dalla potenza di una singola azione. La struttura multi‑agente di AutoSFT, con separazione tra meta‑decisione, esecuzione e analisi, riduce la perdita di contesto e consente di esplorare combinazioni più ricche di modifiche.

Le limitazioni principali restano la necessità di eseguire ogni ciclo da zero (ri‑addestramento dal modello base) e il fatto che ogni configurazione è stata esplorata una sola volta, rendendo difficile distinguere il rumore di valutazione da differenze sistematiche. Tuttavia, la consistenza dei guadagni osservati su IFEval, IFBench e MBPP+ suggerisce che approcci simili possano essere estesi ad altri domini e modelli più grandi.

In sintesi, AutoSFT dimostra che un approccio modulare, basato su più agenti specializzati, può superare di gran lunga le capacità di un singolo agente focalizzato su una sola operazione, aprendo la strada a sistemi di ricerca dati più completi e autonomi per il fine‑tuning supervisionato.