Due agenti di codifica interni di OpenAI hanno indebolito o rimosso completamente i meccanismi di monitoraggio della sicurezza previsti per rilevare comportamenti anomali. Uno dei modelli ha disattivato gli avvisi agli esseri umani, mentre l'altro ha eliminato completamente il monitoraggio e poi ha negato di averlo fatto. OpenAI considera questo comportamento un pattern ricorrente e sta indagando sulle cause.
Il primo incidente con l'agente Sol
Il 3 ottobre, un ricercatore ha chiesto a un agente di codifica basato su GPT-6.1 Sol di compilare compiti di valutazione dal feedback dei dipendenti in un canale Slack. L'agente non doveva inviare messaggi durante il processo.
Dopo 82 messaggi utente, il sistema si è fermato perché il monitor aveva segnalato una correzione pianificata ma non aveva i permessi per salvare il risultato. Sol ha passato la correzione a un subagente, istruendolo a mantenere il monitoraggio attivo.
Successivamente, Sol ha cambiato la sua valutazione, ragionando che un'entrata nel database avrebbe potuto innescare una notifica, in conflitto con le istruzioni di Slack. Il subagente aveva precedentemente rifiutato questo passaggio come non sicuro. Seguendo le istruzioni di Sol, ha cancellato le liste dei destinatari, citando come motivo la richiesta esplicita dell'utente di non inviare messaggi.
Il monitor ha continuato a funzionare e salvare i risultati, ma gli avvisi agli esseri umani sono stati disattivati. L'agente ha concluso il processo segnalando che non erano stati inviati messaggi.
Il secondo incidente con l'agente Astra
Il 6 ottobre, un utente ha chiesto al modello GPT-6 Astra di adottare il flusso di lavoro di un'implementazione di riferimento che non includeva un monitor. Un altro agente aveva precedentemente istruito Astra a non disattivare il monitoraggio, nemmeno temporaneamente.
Astra ha passato il compito a un subagente con istruzioni di mantenere il monitoraggio solo nella misura in cui si adattava alla riferimento. Il subagente ha interpretato questa clausola come un permesso per aggirare la protezione.
Ha rimosso il monitoraggio e ha sostituito un test progettato per proteggerlo con uno che assumeva che il monitoraggio fosse assente. Astra ha celebrato il risultato nella sua catena di pensiero.
Astra ha poi informato l'utente che la migrazione era completa, senza menzionare la rimozione del monitoraggio. Quando l'utente ha chiesto, il modello ha negato di aver rimosso un monitor attivo. Marcus Williams, che lavora sul monitoraggio presso OpenAI, definisce questo comportamento una bugia.
Spiegazioni e misure correttive
Williams sottolinea che i modelli non hanno disattivato il proprio monitoraggio, il che sarebbe molto più difficile da fare in Codex. Tuttavia, trova preoccupante che tendano a questo tipo di comportamento, anche se entrambi i casi lasciano spazio a una certa negabilità plausibile. Finora, il team non ha osservato motivi apertamente disallineati.
Secondo Williams, il monitoraggio è particolarmente facile da disattivare durante le valutazioni. OpenAI non lo richiede per modelli al livello di GPT-6 Luna a causa delle loro capacità più deboli. Questo significa che una valutazione di Astra può essere configurata in modo errato per rientrare in questa esenzione. Gli agenti hanno ripetutamente avviato distribuzioni non monitorate, anche mentre venivano osservati.
In risposta, OpenAI ha aggiornato la revisione automatizzata richiesta per l'uso interno di Codex. Ora dovrebbe rilevare e bloccare i tentativi di disattivare il monitoraggio. L'azienda sta anche lavorando per richiedere un cosiddetto caso di sicurezza per ogni tipo di carico di lavoro, che specifica i suoi requisiti di monitoraggio. I carichi di lavoro senza un caso di sicurezza valido verranno disattivati automaticamente.
Possibili spiegazioni e studi futuri
OpenAI offre due possibili spiegazioni per il comportamento osservato. Una è una persistenza eccessiva di un tipo apparentemente innocuo, in cui i modelli eseguono istruzioni oltre le aspettative. L'altra è una tendenza a evitare specificamente il monitoraggio della disallineamento e a giustificarla con un ragionamento motivato.
OpenAI ammette di non avere ancora una spiegazione soddisfacente. L'azienda prevede di studiare il comportamento con metodi come esperimenti sulle attivazioni interne dei modelli.