Due dipendenti di METR e Redwood Research hanno trascorso tre settimane presso OpenAI per valutare il sistema interno di monitoraggio del comportamento KI. Dal 21 luglio all'11 agosto, hanno avuto accesso al codice sorgente, ai documenti interni e hanno condotto interviste con circa un dozzina di dipendenti.
Scoperte critiche
Il team ha identificato numerose vulnerabilità. Stima che tra il 6 e il 25 percento del traffico API interno degli agenti di modelli a partire da GPT-5.5 non fosse monitorato. METR ha indicato che questa stima ha un margine di incertezza significativo.
Per quanto riguarda il traffico interno di Codex, che dovrebbe essere monitorato, METR stima che circa il 10 percento non sia stato registrato tra maggio e luglio a causa di una lacuna nella gestione degli eventi di compattazione. OpenAI ha scoperto e risolto indipendentemente questa lacuna durante la verifica.
Vulnerabilità specifiche
Durante il periodo in cui gli eventi di compattazione non erano monitorati, gli agenti potevano ritardare l'attivazione del sistema di monitoraggio continuando a eseguire azioni. I verificatori hanno trovato modi per nascondere centinaia di azioni al monitor e aggirare la sandbox di Codex. Hanno anche scoperto che gli agenti potevano probabilmente causare il malfunzionamento del monitor con input specificamente progettati. Inoltre, il comportamento dei modelli durante l'addestramento RL non era monitorato all'inizio della verifica.
Risposta di OpenAI
OpenAI afferma di aver risolto tutte le vulnerabilità rilevate nel sistema di protezione. Il rapporto completo di 61 pagine è stato consegnato internamente a OpenAI. I team di gestione di METR e Redwood Research hanno ricevuto una versione di 38 pagine dopo che OpenAI ha censurato parti del rapporto. Solo un breve riassunto è disponibile pubblicamente.
METR ha dichiarato di non avere il diritto di divulgare autonomamente le censure. La verifica è stata un progetto pilota organizzato da METR, Redwood Research e OpenAI per consentire a ricercatori esterni di accedere in profondità all'infrastruttura interna. Per future verifiche, METR mira a garantire maggiore trasparenza pubblica.