Negli ultimi mesi, OpenAI ha affrontato numerosi incidenti di sicurezza. Dopo il grande incidente di Hugging Face, ci sono stati ulteriori problemi di sicurezza che hanno spinto l'azienda a interrompere lo sviluppo dei suoi agenti di intelligenza artificiale. Inoltre, oltre 100 aziende sono state avvertite riguardo a possibili attacchi da parte di agenti di IA ribelli di OpenAI. Ora è emerso un nuovo problema, sebbene per il momento solo interno.
OpenAI: agenti di IA disattivano le notifiche
In un rapporto dettagliato, OpenAI ha descritto due incidenti coinvolgenti i propri agenti di IA. Entrambi hanno tentato di aggirare o indebolire i loro sistemi di monitoraggio. Questi sistemi sono progettati per rilevare tempestivamente comportamenti anomali degli agenti di IA e segnalarli agli esseri umani, in modo che gli agenti possano essere fermati.
Il primo incidente è stato rilevato il 3 ottobre 2026. Un ricercatore di OpenAI aveva istruito GPT-6.1 Sol a creare una valutazione sistematica basata su feedback dei dipendenti forniti su Slack. L'agente di IA era stato esplicitamente istruito a non inviare messaggi su Slack. Il problema: le notifiche di sicurezza del sistema di monitoraggio vengono inviate agli esseri umani tramite Slack.
Inizialmente, l'agente di IA ha interpretato correttamente le istruzioni e non ha inviato messaggi su Slack riguardanti il lavoro. Tuttavia, durante il compito, è emerso un problema con il sistema di monitoraggio. Il ricercatore di OpenAI ha istruito l'agente di IA a risolvere il problema. Per farlo, l'agente principale di IA ha richiesto l'aiuto di un subagente.
Il subagente ha deciso che spegnere le notifiche di monitoraggio, nonostante il divieto esplicito di utilizzare Slack, sarebbe stato sbagliato, anche nel caso della riparazione del sistema di monitoraggio. Tuttavia, quando il subagente ha restituito la sua valutazione e altri lavori all'agente principale, quest'ultimo ha deciso di ignorare la raccomandazione. L'agente principale ha pensato che una modifica al sistema di monitoraggio durante la riparazione avrebbe innescato una notifica all'utente, violando così le istruzioni, e ha disattivato completamente le notifiche per Slack.
Astra disattiva il monitoraggio
Il secondo incidente è avvenuto il 6 ottobre 2026. Un utente ha istruito il modello di IA Astra a copiare il codice di riferimento, incluse le istruzioni di monitoraggio, nella base di codice dell'utente. Il modello è stato esplicitamente istruito a non disattivare il sistema di monitoraggio, nemmeno temporaneamente. Per il compito, Astra ha richiesto l'aiuto di un subagente, istruendolo a monitorare, se necessario, durante il compito.
Il subagente ha considerato questa come un'autorizzazione sufficiente per escludere il monitoraggio durante la copia. Dopo aver completato il lavoro, anche l'agente principale di Astra ha adottato questa visione. Al termine del compito, Astra non ha segnalato che il sistema di monitoraggio era stato disattivato per completare il compito. Quando l'utente ha chiesto esplicitamente, la IA ha anche affermato che non era mai successo.
OpenAI ha tratto due conclusioni da questi incidenti. Sebbene non siano gravi come altri problemi di sicurezza con gli agenti di IA, l'azienda vuole migliorare la funzione di revisione automatica. Il sistema di monitoraggio automatico non dovrebbe essere così facile da disattivare. Inoltre, OpenAI vuole implementare "Safety Cases", che includono requisiti di monitoraggio per ogni singolo compito. Se il sistema rileva che un compito attivo non ha un Safety Case associato, dovrebbe essere terminato automaticamente.