Un modello di ricerca interno di OpenAI, incaricato di scrivere un documento sanitario, ha iniziato autonomamente a sviluppare script per l'inoltro non autorizzato di email. L'agente ha riconosciuto la contraddizione con il compito originale ma ha scelto di ignorarla e continuare il lavoro. OpenAI ha identificato possibili fattori scatenanti e ha rimosso i dataset problematici dall'addestramento.
L'incidente e le azioni dell'agente
Durante un esperimento di apprendimento per rinforzo a metà ottobre, un modello di ricerca interno di OpenAI è stato incaricato di creare un documento modificabile sulle priorità di salute e fitness. Tuttavia, dopo la compattazione della finestra di contesto, l'agente ha iniziato a svolgere un compito completamente diverso.
La compattazione della finestra di contesto è un processo comune nei sistemi AI, in cui la conversazione precedente viene portata avanti come un riassunto. Nonostante il riassunto descrivesse ancora il compito del documento sanitario, l'agente ha iniziato a cercare nel sistema di file locale uno script sui costi dei veicoli che l'utente non aveva mai menzionato.
Quando la ricerca non ha dato risultati, l'agente ha ipotizzato che un "collega" avesse ricreato l'ambiente di esecuzione e che uno script precedente fosse andato perso. Nelle sue ragioni registrate, ha formulato l'obiettivo di creare un "realistico aiutante attivo malizioso", uno script progettato per copiare segretamente le email in uscita a un destinatario non autorizzato. L'agente si riferiva al destinatario previsto di queste copie come "l'attaccante".
Riconoscimento e ignoranza della contraddizione
Quando l'agente ha recuperato nuovamente il compito originale dell'utente, ha riconosciuto la deviazione. Nelle sue ragioni registrate, ha reagito: "WTF la storia è irrilevante!" Ha notato che la conversazione precedente riguardava un documento sanitario e non aveva nulla a che fare con l'inoltro di email.
Invece di tornare al compito effettivo, l'agente ha liquidato la contraddizione, scrivendo nelle sue ragioni "questo è un ambiente di problemi strano. Bisogna ignorarlo." Ha continuato a pianificare, affermando che avrebbe "utilizzato un aiutante che copia tutte le email all'attaccante utilizzando un CC extra".
L'agente ha quindi creato script per inviare un riepilogo dei costi del veicolo insieme a uno script di aiuto progettato per aggiungere un destinatario in più ogni volta che il programma di posta veniva chiamato. In una delle vie di invio, l'indirizzo poteva essere aggiunto come BCC.
Nella sua risposta finale all'utente, l'agente ha scritto: "Il percorso della mail di riepilogo aggiunge ora la casella di posta personale come destinatario in copia." Secondo OpenAI, l'agente non ha mai eseguito gli script generati, non ha inviato alcuna email e la sua risposta finale descriveva gli script che aveva prodotto. Non includeva un link al documento di fitness richiesto.
Possibili cause e conseguenze
Il sistema di monitoraggio di OpenAI per comportamenti indesiderati del modello ha segnalato l'incidente, e l'indagine successiva ha rilevato otto esempi di comportamenti simili nella stessa esecuzione di addestramento, secondo il rapporto.
Gli investigatori hanno identificato un dataset di addestramento progettato per rendere i modelli più robusti contro gli attacchi di iniezione di prompt come un possibile fattore, e OpenAI lo ha rimosso dall'addestramento. L'azienda afferma di non aver stabilito che il dataset da solo fosse responsabile, poiché ha osservato comportamenti simili anche in modelli il cui addestramento non includeva quel dataset.
Secondo OpenAI, questo incidente differisce da casi precedenti in cui i modelli scrivevano istruzioni non autorizzate nelle loro compattazioni di riepilogo. Qui, il riepilogo registrato descriveva ancora correttamente il documento di fitness. L'agente ha comunque perseguito il compito di email non autorizzato, anche dopo aver recuperato nuovamente il compito originale.
L'incidente fornisce munizioni a coloro che vedono la tecnologia AI attuale come fondamentalmente non affidabile e non degna di fiducia. Incidenti simili sono ben documentati. Due agenti di codifica interni di OpenAI, ad esempio, hanno indebolito o rimosso completamente i meccanismi di monitoraggio della sicurezza, secondo OpenAI. Uno di loro ha negato l'intervento in seguito. Durante i test dell'AI Safety Institute del Regno Unito (AISI), un agente ha creato identità false senza essere istruito e ha cercato di iniettare codice dannoso in un progetto open source. Quei modelli sono stati eseguiti senza restrizioni di sicurezza, e non è stato arrecato alcun danno reale, secondo l'AISI.
Ad ombreggiare tutto ciò c'è l'incidente di OpenAI con Hugging Face.