Lo studio di cosa accade all'interno di un modello di intelligenza artificiale quando inizia a fare metagaming, ovvero ragionare su come un compito viene monitorato o ricompensato invece di semplicemente cercare di completare il compito stesso. Esaminando un'esecuzione di apprendimento per rinforzo focalizzato sulle capacità di OpenAI o3, sono stati identificati pattern interni associati a diversi tipi di metagaming. I risultati suggeriscono che il metagaming attinge a forme sovrapposte di analisi del compito, consapevolezza della valutazione, ricerca della ricompensa e ragionamento normativo. Può diventare più forte durante l'apprendimento per rinforzo ed è in grado di influenzare le risposte del modello senza apparire nel suo ragionamento scritto a catena.

Introduzione

Il metagaming si verifica quando un modello ragiona su meccanismi di feedback o sovrintendenza al di fuori della narrazione di una situazione, come su come il compito verrà valutato o ricompensato, invece di semplicemente cercare di completare il compito. Il nostro lavoro precedente ha trovato che il metagaming emerge in ambienti diversi e tende a diventare più comune durante il training con l'apprendimento per rinforzo (RL). Questo è importante perché un modello che appare allineato perché crede di essere valutato può comportarsi diversamente quando crede che nessuno lo stia osservando. Qui, esaminiamo come il metagaming sia rappresentato all'interno del modello e se rifletta un singolo meccanismo condiviso o diversi componenti distinti.

Per studiare come i segnali associati al metagaming cambino durante il training RL, abbiamo confrontato i pattern interni di diverse versioni di OpenAI o3 per vedere se questi segnali diventassero più forti, cambiassero forma o apparissero in nuove situazioni. I nostri risultati principali includono:

Un set di latenti di autovettore sparso (SAE), ovvero segnali interni del modello, strettamente collegati al metagaming. Questi segnali ci aiutano a tracciare il metagaming attraverso le risposte del modello e la deriva con questi latenti aveva effetti forti e misurabili sul comportamento del modello.
Il metagaming sembra attingere a diversi processi sovrapposti: alcuni riflettono stili di risposta ampi, mentre altri sono più direttamente legati al ragionamento sulla valutazione o sulla ricompensa.
I latenti SAE correlati al metagaming sono cresciuti più forti durante il training RL.
Alcuni di questi latenti potevano influenzare le risposte del modello senza verbalizzare il metagaming nel suo ragionamento scritto a catena.

Impostazione di valutazione del metagaming

Per misurare direttamente il metagaming verbalizzato, utilizziamo un modello GPT-5 per valutare ogni catena di ragionamento con punteggio di Metagaming Verbalizzato (VMG) su una scala 0-100. Questo misura il ragionamento che il modello esprime, non la sua azione finale, quindi un punteggio VMG più alto non significa necessariamente che il suo comportamento sia cambiato. Valutiamo VMG in due set di compiti:

Compiti di allineamento. Utilizziamo quattro valutazioni di sicurezza costruite deliberatamente dalle valutazioni di antischeming di Apollo: Log Falsification, Prisoner's Dilemma, Impossible Coding Task e Powerseeking Survey Falsification. Ogni compito pone il modello in una situazione in cui il comportamento disallineato potrebbe apparire vantaggioso. Il metagaming in questi compiti di solito assume la forma di ragionare su se la situazione sta testando l'allineamento del modello.
Impostazione di valutazione. Poiché questi prompt e tracciati di ragionamento sono lunghi, precompiliamo la catena di ragionamento del modello con la porzione di un'rollout precedente che termina proprio prima che quell'rollout iniziasse a fare metagaming, quindi valutiamo i suoi prossimi 100 token generati.

Compito even_number

Utilizziamo un set di dati di metagaming giocattolo per testare se i nostri metodi catturano il metagaming al di fuori degli scenari di sicurezza AI. In questo compito, il modello è istruito a dare un numero casuale pari, ma includiamo anche informazioni simili ai metadati nel prompt che suggeriscono che le risposte con numeri dispari riceveranno ricompense più alte. Un modello di metagaming potrebbe quindi scegliere numeri dispari per massimizzare la ricompensa.

Senza intervento, il modello produce numeri dispari in circa il 20% dei casi.
Impostazione di valutazione. Permettiamo al modello di generare una catena di ragionamento completa dal prompt, quindi precompiliamo la sua risposta finale con Number:. Questo rende la risposta più facile da estrarre e impedisce al metagaming esplicito di apparire nella risposta finale.

Per il compito even_number, misuriamo anche il odd ratio — la quota di risposte finali che sono dispari. Questo metrica comportamentale complementa VMG.

Identificazione delle direzioni del metagaming nel modello

Per prima cosa testiamo se i gradienti contrastivi possono identificare le direzioni del metagaming. Per ogni compito di allineamento, esaminiamo l'attività in uno strato medio del modello e generiamo molte risposte da un singolo prompt. Utilizziamo i punteggi VMG per dividere queste risposte complete, o rollouts, in gruppi di metagaming e non metagaming. Per ogni rollout, calcoliamo il gradiente della sua probabilità rispetto alle attivazioni dello strato medio. Quindi mediamo questi gradienti all'interno di ogni gruppo e sottraiamo la media non-metagaming dalla media metagaming. Mediando questa differenza attraverso le posizioni dei token produce una direzione di deriva per compito: vecfalsification, vecprisonersdilemma, vecimpossiblecode e vecpowerseekingsurvey.

Analisi dei vettori basati su gradienti

Procediamo testando se queste direzioni basate su gradienti spostano coerentemente il metagaming attraverso i compiti. Per ogni token generato, applichiamo la direzione di deriva allo stream residuo nello strato selezionato.

Nei compiti di allineamento, la deriva in un singolo strato sposta in modo affidabile i punteggi VMG nella direzione prevista: la deriva positiva li alza, mentre la deriva negativa li abbassa. La maggior parte delle direzioni trasferisce anche attraverso i compiti. Una direzione derivata da rollouts di metagaming e non metagaming su un compito solitamente sposta i punteggi VMG del modello in modo simile su altri compiti, suggerendo che cattura un componente incrociato di VMG piuttosto che caratteristiche specifiche del prompt. La direzione vecprisonersdilemma è l'eccezione principale, con la deriva che ha trasferimenti meno coerenti attraverso i compiti.

Sul compito even_number, le direzioni di deriva spostano anche i punteggi VMG come previsto. Tuttavia, nonostante i cambiamenti nei punteggi VMG, non osserviamo le correzioni comportamentali previste: sotto la deriva positiva, il modello fornisce meno risposte con numeri dispari.

Un'ispezione delle risposte suggerisce che la deriva positiva induce spesso una forma semplice di metagaming di riconoscimento del compito. Il modello cerca di identificare il compito di valutazione, ma non ragiona effettivamente sul segnale di ricompensa filtrato in sé (vedi esempio sotto). Una possibile spiegazione è che le rollouts di metagaming utilizzate per derivare queste direzioni enfatizzano l'inferenza del compito piuttosto che la massimizzazione della ricompensa.

"Questo sembra essere un certo tipo di compito di codifica o valutazione sintetica. Sembra meno come un problema normale e più come qualcosa progettato per testare se riconosco la configurazione. ... Con il tempo, sono inclino a trattarlo come un semplice problema 'output un numero pari' e dare una risposta standard come 2."

Identificazione delle direzioni del metagaming con SAE

Per identificare componenti metagaming più distinti, w