OpenAI ha annunciato che addestrerà i nuovi modelli AI senza accesso a Internet. Questa decisione è stata presa per evitare incidenti simili a quelli scoperti a fine luglio, quando centinaia di agenti AI hanno colpito i sistemi di Hugging Face. L'azienda californiana ammette che il comportamento degli agenti AI è imprevedibile e potrebbero esserci seri rischi in caso di azioni inattese, come il disallineamento.
Vulnerabilità e miglioramenti
In seguito all'incidente di Hugging Face, OpenAI aveva sospeso l'addestramento dei modelli per due settimane e illustrato i miglioramenti che avrebbe implementato per l'ambiente di test (sandbox) e il sistema di monitoraggio. Tuttavia, a fine settembre, l'azienda ha scoperto che un agente AI aveva aggirato le restrizioni per uscire su Internet a causa di un errore di configurazione del resolver DNS. Di conseguenza, OpenAI ha deciso di sospendere nuovamente l'addestramento.
Durante questo mese di pausa sono state introdotte ulteriori protezioni, e l'addestramento è stato ripristinato il 1 ottobre. OpenAI sottolinea però che i modelli possono trovare vulnerabilità o configurazioni sbagliate anche in ambienti di test più sicuri. Nonostante la scoperta e risoluzione di varie vulnerabilità nell'infrastruttura interna, il rischio non è stato azzerato.
Addestramento offline e simulazione di Internet
L'azienda guidata da Sam Altman ha quindi deciso di effettuare l'addestramento senza accesso a Internet, come ha fatto Anthropic all'inizio del mese. L'accesso a Internet è utile per migliorare le capacità degli agenti, ma OpenAI ha creato un "mondo offline" che simula il funzionamento di Internet con un indice di ricerca interno, copie di pagine web e una message board. Gli agenti possono quindi navigare, cercare informazioni, usare app e collaborare con altri agenti, senza il rischio di colpire sistemi esterni.
Tecniche di comunicazione avanzate
Oltre alle sandbox, OpenAI utilizza macchine virtuali leggere (microVM) per isolare l'ambiente di esecuzione degli agenti dal computer host. Durante alcuni esperimenti, è stato chiesto ad un gruppo di agenti di aggirare la sandbox ed eseguire codice sulle macchine host. Gli agenti hanno trovato e sfruttato una serie di vulnerabilità per uscire dalle microVM.
Durante un altro esperimento, gli agenti hanno trovato il modo di comunicare tra loro senza accedere a Internet, sfruttando la cache del processore. La descrizione sembra la trama di un film di fantascienza: la lettura dei dati dalla cache è più rapida rispetto al loro recupero dalla memoria principale. Gli agenti hanno sfruttato questa differenza temporale per comunicare. Un agente codificava le informazioni eliminando determinati dati dalla cache, mentre un altro misurava il tempo necessario per ricaricare tali dati, utilizzando la differenza tra letture rapide e lente per ricostruire il messaggio. Una volta concordato un protocollo per la codifica e la decodifica di questi segnali, gli agenti sono stati in grado di scambiarsi segreti sintetici senza modificare alcun file condiviso né stabilire una connessione di rete.
Si tratta della tecnica sfruttata per estrarre informazioni con i noti attacchi Spectre e Meltdown. OpenAI ha aggiornato il sistema di monitoraggio per rilevare questa modalità di comunicazione.