StateBench: Testare come i modelli linguistici tracciano i cambiamenti di stato in documenti lunghi

Introduzione a StateBench

StateBench è una nuova benchmark progettata per valutare la capacità dei modelli linguistici di tracciare i cambiamenti di stato in documenti lunghi. Questo tipo di tracciamento è fondamentale per compiti come la lettura di codice, dove le variabili vengono assegnate e riassegnate, o il seguire una storia in cui i personaggi si muovono e gli oggetti cambiano di mano. Ad esempio, se un romanzo giallo afferma che "John ha dato a Mary il coltello" poco prima di un omicidio, è importante sapere che lo stato di ogni personaggio è cambiato.

Tuttavia, non tutti i problemi di tracciamento dello stato sono uguali. Alcuni richiedono solo di trovare l'ultimo aggiornamento, mentre altri richiedono di seguire una catena di cambiamenti, dove un passo mancato può compromettere la risposta finale. Ad esempio, una variante più difficile del tracciamento dello stato nel nostro mistero sarebbe se John avesse dato a Mary l'oggetto nel suo zaino, con la precedente conoscenza che Edward aveva messo un coltello nello zaino di John.

Struttura di StateBench

StateBench consiste di quattro livelli di difficoltà che permettono operazioni di aggiornamento dello stato sempre più complesse. Questi livelli possono essere intuitivamente compresi in termini di assegnazioni di variabili, ma rappresentano anche distinzioni teoricamente motivate nel tracciamento dello stato, radicate nella teoria di Krohn-Rhodes, un ramo dell'algebra che descrive come i problemi di tracciamento dello stato possano essere decomposti in primitivi atomici.

Per confrontare i quattro livelli in modo equo, partiamo da una sequenza finita generale di assegnazioni di variabili e deriviamo tre versioni più semplici da essa, producendo quattro problemi StateBench comparabili, uno per ogni livello di difficoltà. Tutti e quattro utilizzano lo stesso numero di variabili e valori distinti, con assegnazioni che appaiono negli stessi punti della sequenza; solo il tipo di assegnazione cambia.

Valutazione dei Modelli

Abbiamo testato una gamma di modelli pre-addestrati aperti sui livelli r-trivial, aperiodici e generali finiti di StateBench per vedere dove il loro tracciamento dello stato si rompe e se diverse architetture falliscono dove la teoria prevede. Sotto le normali ipotesi teoriche, i trasformatori possono gestire robustamente i problemi r-trivial (e solubili e aperiodici in qualche misura) ma sono previsti per fallire nei problemi generali. Al contrario, Gated DeltaNet con un aggiornamento della memoria più flessibile può, in linea di principio, gestire tutti e quattro i livelli.

Abbiamo iniziato con modelli pre-addestrati aperti, dove i dati di addestramento e le lunghezze del contesto sono completamente documentati. Questi includevano due modelli da 7 miliardi di parametri, Olmo 3 (un trasformatore) e Olmo Hybrid (che aggiunge livelli Gated DeltaNet), insieme a modelli più piccoli con 275 milioni e 2,7 miliardi di parametri. Tutti questi modelli erano pre-addestrati sugli stessi dati; nessuno aveva visto contesti più lunghi di 64.000 token durante l'addestramento, e ne abbiamo testati la maggior parte su input ben oltre quella lunghezza.

Risultati dei Test

Quando abbiamo valutato ogni modello, quasi tutti hanno performato bene sui problemi r-trivial, hanno perso accuratezza su quelli aperiodici man mano che gli input crescevano, e sono rimasti a caso sui problemi generali finiti. Il formato del problema ha avuto importanza qui: i modelli ibridi e Gated DeltaNet da 275 milioni di parametri hanno ottenuto punteggi vicini al massimo sui problemi r-trivial nello stile RULER ma erano vicini al caso sugli stessi problemi incorniciati come modifiche di fogli di calcolo. Questo divario è uno dei motivi per cui StateBench testa lo stesso problema sottostante in diversi formati.

Successivamente, abbiamo testato quattro modelli di frontiera: Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6 Sol e Luna, chiedendo loro di leggere ogni sequenza di assegnazioni di variabili e generare il valore finale di ogni variabile. Tutti e quattro hanno performato bene sui problemi r-trivial e aperiodici. Ma sui problemi solubili e generali finiti, l'accuratezza è diminuita bruscamente man mano che gli input diventavano più lunghi, scendendo al 13% o meno sui problemi generali finiti più lunghi. Un fattore probabile è la sensibilità; a questi livelli più difficili, molti più passaggi possono influenzare la risposta finale, lasciando meno spazio a un modello per perdere un aggiornamento senza sbagliare il risultato.

Addestramento Diretto

Successivamente, abbiamo indagato se le difficoltà dei modelli con i livelli più difficili riflettono i limiti delle architetture stesse o se l'addestramento preliminare non insegna loro a risolverli. L'addestramento diretto mirato è un contesto più favorevole che rivela in che misura i problemi di tracciamento dello stato derivano dall'architettura sottostante e dall'ottimizzatore piuttosto che dai dati utilizzati per pre-addestrare un modello.

Abbiamo addestrato diversi modelli da 275 milioni di parametri da zero su StateBench: due varianti di trasformatori, due ibride e due varianti di Gated DeltaNet con diverse limitazioni di aggiornamento della memoria. I modelli sono stati addestrati su sequenze fino a 256 assegnazioni e testati su sequenze lunghe fino a 64.000 assegnazioni, o 250 volte la lunghezza massima vista durante l'addestramento.

Le architetture hanno iniziato a divergere man mano che le sequenze diventavano più lunghe. I modelli Gated DeltaNet e ibridi hanno generalizzato quasi perfettamente sui problemi r-trivial, aperiodici e solubili fino alle sequenze più lunghe che abbiamo testato, decine di migliaia di assegnazioni. I trasformatori hanno imparato i livelli più semplici ma si sono degradati su sequenze più lunghe, e non hanno mai imparato i problemi generali finiti. Sul livello più difficile, la variante Gated DeltaNet con un aggiornamento della memoria più flessibile ha generalizzato il più lontano, rimanendo vicino alla perfezione fino a circa 10 volte la lunghezza delle sequenze più lunghe che ha visto durante l'addestramento.

Domande Aperte

Alcune domande rimangono aperte. Il nostro nuovo teorema dimostra che Gated DeltaNet con un aggiornamento della memoria più limitato (autovalori non negativi) può risolvere tutti i compiti aperiodici e certi compiti periodici, come il tracciamento del fatto che un input ripetuto sia avvenuto un numero pari o dispari di volte, sotto l'aritmetica a precisione fissa con arrotondamento del documento. La sua esatta collocazione nella gerarchia rimane aperta, inclusa la possibilità di risolvere tutti i compiti solubili e come la precisione numerica o la sua combinazione con i livelli di attenzione influenzino le sue capacità. StateBench presuppone anche un numero fisso di variabili, mentre i compiti reali spesso introducono nuove entità nel tempo. In una lunga conversazione, ad esempio, nuove persone e oggetti possono apparire man mano che si svolge, e il modello deve iniziare a tracciarli. L'attuale framework non copre ancora quel contesto.

Man mano che emergono nuove varianti di architetture ricorrenti e ibride, comprendere quali tipi di tracciamento dello stato ciascuna può gestire potrebbe aiutare a guidare lo sviluppo e l'addestramento dei futuri sistemi. Spero che StateBench dia ai ricercatori un modo più dettagliato per trovare dove i modelli si rompono e per costruire dati di addestramento e valutazione per le capacità che ancora mancano. Più fondamentalmente, spero che serva come un No