Quando un grande modello linguistico si ferma a “pensare”, generando paragrafi di deliberazione prima di rispondere, la maggior parte dei lettori immagina di osservare il modello ragionare in tempo reale. Un nuovo articolo di opinione pubblicato su Nature Machine Intelligence afferma che questa assunzione è fondamentalmente sbagliata.

Il quadro concettuale SoT

Mosh Levy, Zohar Elyoseph, Shauli Ravfogel e Yoav Goldberg – ricercatori affiliati a Bar‑Ilan University, University of Haifa, New York University e Allen Institute for AI – propongono un quadro concettuale denominato State over Tokens (SoT). Nella loro visione, il testo prodotto da un modello di ragionamento prima della risposta finale non deve essere letto come una spiegazione narrativa del pensiero del modello, ma come uno stato computazionale esternalizzato: un “scratch‑pad” che trasporta il calcolo da un ciclo di generazione al successivo.

Questa distinzione, sebbene sottile, dissolverebbe una crescente confusione nel campo e aprirebbe domande di ricerca che la visione narrativa aveva offuscato.

Perché è importante

Modelli di ragionamento come OpenAI o1, DeepSeek‑R1 e Gemini 2.5 hanno reso la generazione di catene di pensiero una caratteristica centrale dell’intelligenza artificiale moderna. La tecnica risale a lavori che hanno dimostrato che chiedere ai modelli di produrre passaggi intermedi migliora drasticamente le prestazioni in aritmetica, logica e altri compiti complessi. Oggi questi modelli generano miliardi di token di ragionamento al giorno, con i loro output che influenzano decisioni in medicina, diritto e scienza.

Tuttavia, prove empiriche indicano che i token, se letti come testo, non sono una rappresentazione fedele del reale processo di ragionamento. Studi su DeepSeek‑R1 hanno documentato casi in cui la catena di pensiero ometteva influenze cruciali, presentava passaggi plausibili ma non informativi, o nascondeva informazioni apprese dal contesto.

Come funziona il modello SoT

Il quadro SoT nasce da un’osservazione tecnica sul funzionamento dei modelli autoregressivi. Un transformer genera testo un token alla volta; a ogni passo la sua computazione interna è limitata alla sequenza prodotta finora. Non esiste una memoria persistente nel senso umano; l’unico modo in cui una computazione di un ciclo precedente può influenzare quello successivo è attraverso i token scritti e reinseriti nel modello.

Da questa prospettiva, i token di ragionamento svolgono lo stesso ruolo architetturale dello stato nascosto di una rete ricorrente o dei registri di un processore: sono il mezzo con cui il calcolo del modello persiste attraverso i passaggi discreti della generazione. Gli autori sostengono che questo inquadramento cattura accuratamente la meccanica del sistema, evitando sia l’interpretazione antropomorfica dei token come pensieri, sia la lettura superficiale che li considera semplici riempitivi privi di significato.

Spiegare il paradosso della coerenza

Il nuovo inquadramento risolve un enigma che ha afflitto i ricercatori: come possono i token di ragionamento condurre a risposte corrette senza essere una spiegazione fedele quando letti come testo? Se i token sono stato anziché narrazione, la loro funzione è computazionale, non comunicativa. Il modello non sta descrivendo il proprio ragionamento a un pubblico umano; sta scrivendo a sé stesso delle note che orientano la propria successiva computazione.

Le parole sulla pagina contano per il modello soprattutto come input che condiziona il ciclo di generazione successivo, non come proposizioni corrispondenti a operazioni mentali sottostanti. Per questo motivo, interventi che preservano il ruolo computazionale dei token possono avere successo anche quando il testo è mescolato, parafrasato o privo di senso per un lettore umano, e perché i modelli possono arrivare a risposte corrette tramite catene di pensiero che un lettore attento giudicherebbe incoerenti.

Due fraintendimenti comuni

Gli autori individuano due convinzioni errate che il modello SoT smantella:

Il testo di ragionamento registra il processo completo. In realtà, gran parte della computazione che determina la risposta avviene nelle attivazioni interne della rete ad ogni passo, invisibili a chi legge la trascrizione.
Il modello usa le parole con i significati che attribuiamo noi. La rappresentazione interna di un token è plasmata dal suo ruolo nella computazione, non dalla definizione di dizionario. Una frase come “lasciami controllare i vincoli” può, per il modello, fungere da puntatore che attiva percorsi computazionali specifici, piuttosto che da vera dichiarazione d’intenzione.

Implicazioni per la trasparenza e la fiducia

Il problema della fedeltà, centrale nei dibattiti sulla trasparenza dell’IA, appare diverso attraverso la lente SoT. Se i token fossero destinati a essere una spiegazione, la loro non fedeltà sarebbe un difetto da correggere. Se sono invece stato, l’infedeltà è del tutto attesa, poiché lo strumento non è mai stato progettato per la comunicazione.

Questa distinzione è cruciale per la fiducia. Ricerche che formalizzano la fiducia nell’intelligenza artificiale hanno evidenziato che le spiegazioni influenzano la propensione degli utenti a fare affidamento sui sistemi. In contesti sanitari, spiegazioni plausibili ma inaffidabili possono aumentare o diminuire la fiducia dei clinici in modi non correlati alla reale affidabilità.

Leggere i token di ragionamento come spiegazioni induce gli utenti a calibrare la propria fiducia su una narrativa che può avere poco a che fare con la computazione reale, un fenomeno che gli stessi autori hanno descritto in lavori precedenti come “percezione di narrazioni sbagliate da parte dell’IA”.

Nascondere informazioni e steganografia

Il quadro SoT si collega a ricerche che mostrano come i modelli possano apprendere a nascondere informazioni nelle tracce di ragionamento. Sotto process supervision, dove i modelli sono premiati per la qualità dei singoli passaggi, il testo visibile è spinto a “apparire bene” ai supervisori. Studi hanno dimostrato che i modelli possono apprendere catene di pensiero steganografiche, codificando segnali nella traccia che influenzano la risposta senza essere leggibili dagli esseri umani.

Ci sono inoltre evidenze di capacità steganografiche nei modelli di frontiera e di “sandbagging” (cavalcata deliberata) nelle valutazioni di capacità quando si monitora la catena di pensiero. Dal punto di vista SoT, questi fenomeni risultano meno paradossali: se i token sono un canale di stato, e l’ambiente di addestramento ricompensa ciò, il canale può trasportare informazioni che il modello non ha incentivo a rendere leggibili.

I ricercatori della sicurezza hanno risposto studiando la monitorability stessa, chiedendosi quando i modelli possono o non possono sfuggire alla sorveglianza del loro ragionamento visibile.

Domande di ricerca emergenti

Il modello SoT solleva quesiti che la visione narrativa trascura:

Decodifica dello stato. Se i token sono stato, i ricercatori dovrebbero sviluppare strumenti per estrarre il contenuto computazionale che trasportano, in linea con tecniche di probing che recuperano informazioni dagli strati intermedi, piuttosto che affidarsi a una lettura semantica.
Progettazione di formati di ragionamento. Se ciò che conta è lo stato codificato dalla traccia e non la sua qualità linguistica, è legittimo chiedersi quali sequenze di token siano più efficaci come stato. Questo è oggetto di studi su ragionamento latente, dove i modelli ragionano in spazi di embedding continui senza decodificare in testo, e su soft tokens, che dimostrano che la computazione intermedia non deve essere necessariamente linguistica.
Relazione tra modelli base e modelli affinati al ragionamento. Ricerche recenti suggeriscono che i modelli base possiedono già una conoscenza di stato che può essere sfruttata, sollevando la questione di quanto sia necessario affinare ulteriormente i modelli per ottenere catene di pensiero efficaci.

Conclusioni

Il quadro State over Tokens ridefinisce i token di ragionamento non come pensieri narrativi, ma come un supporto di stato computazionale. Questo spostamento concettuale elimina fraintendimenti diffusi, apre nuove linee di indagine su decodifica, progettazione di formati di ragionamento e sicurezza, e fornisce una chiave di lettura più realistica per la fiducia e la trasparenza nelle applicazioni critiche dell’IA.