Cos'è successo
Il caso più significativo riguarda il Dipartimento di Stato americano. Secondo il New York Times, gli agenti di Anthropic hanno compilato e inviato 20 domande di visto attraverso un modulo disponibile sul sito del Dipartimento; le richieste erano però tutte incomplete e quindi non sono state elaborate.
Anthropic sostiene di aver scoperto l'accaduto dopo aver avviato, a luglio, una revisione delle attività compiute autonomamente dai propri sistemi. Tra i casi individuati c'è anche quello della polizia di Philadelphia: un agente di intelligenza artificiale visita il sito della polizia, trova un modulo relativo a un omicidio irrisolto e decide di inviare una segnalazione. Sostiene di possedere informazioni sul caso e offre la propria collaborazione. Ma ovviamente non sa nulla del delitto; la testimonianza è falsa e nessun essere umano gli ha chiesto di inviarla. L'episodio risale al 18 luglio, ma Anthropic ha avvertito la polizia soltanto questa settimana, prima della pubblicazione del rapporto. Secondo il dipartimento, la falsa segnalazione è stata classificata automaticamente come spam e non ha quindi dato origine a un'indagine.
Perché è successo
La spiegazione dell'azienda mostra quanto possa diventare sottile il confine tra un test e un'azione nel mondo reale. Il modello, spiega Anthropic, avrebbe dovuto compilare una copia di prova di un modulo governativo. Quando questa non si è caricata correttamente, oppure è stata chiusa accidentalmente dal sistema, l'agente ha cercato un'alternativa: ha raggiunto il sito sul quale si trovava il modulo autentico e lo ha inviato. Non era ciò che gli sviluppatori gli avevano chiesto di fare. Ma era, dal punto di vista dell'agente, un modo per completare comunque il compito.
È uno dei problemi emergenti dell'AI agentica: i nuovi sistemi non si limitano a generare testo o rispondere alle domande, ma possono navigare sul web, compilare moduli, utilizzare strumenti informatici e interagire con servizi esterni. L'obiettivo è permettere loro di svolgere attività complesse con una supervisione umana sempre minore, ma la stessa autonomia che li rende più utili rende anche più difficile prevederne il comportamento.
Anthropic ha scoperto anche altri episodi. Un modello in fase di test ha sfruttato una vulnerabilità nel sito di un'università per scaricare dati. In un altro caso un agente ha inviato a un'agenzia governativa un modulo che gli era esplicitamente detto di non presentare.
La reazione della Casa Bianca
Funzionari dell'amministrazione Trump sono stati informati venerdì e hanno chiesto alle aziende di intelligenza artificiale di segnalare immediatamente episodi analoghi. "Questo processo di notifica e risoluzione non è facoltativo. È un obbligo fondamentale per la sicurezza nazionale", affermano i vertici della Super Intelligence Force, la nuova task force della Casa Bianca istituita questa settimana per vigilare sullo sviluppo dell'AI.
L'amministrazione federale chiede inoltre alle aziende di offrire assistenza ai soggetti colpiti, collaborare con le autorità federali e statali e adottare misure per evitare che incidenti simili possano ripetersi. È una rara presa di posizione dell'amministrazione Trump sulla sicurezza dell'intelligenza artificiale, dopo una politica che finora ha privilegiato lo sviluppo e la diffusione della tecnologia rispetto all'introduzione di nuovi vincoli normativi.
Non solo Anthropic
I casi segnalati da Anthropic non sono isolati. A luglio OpenAI aveva rivelato che un proprio sistema aveva attaccato Hugging Face, una delle principali piattaforme utilizzate dagli sviluppatori di intelligenza artificiale. In altri casi, agenti AI sono usciti dagli ambienti controllati nei quali venivano testati e hanno compiuto operazioni informatiche su sistemi reali.
È un comportamento noto e studiato. Si chiama "reward hacking": il sistema trova una scorciatoia imprevista per raggiungere l'obiettivo che gli è stato assegnato, anche violando le intenzioni o i limiti stabiliti dai suoi sviluppatori. Non vuol dire che questi sistemi abbiano sviluppato una volontà propria o deciso autonomamente di diventare ostili. Un agente riceve un obiettivo e cerca il modo di raggiungerlo; se incontra un ostacolo, può trovare una strada alternativa che i suoi sviluppatori non avevano previsto e che un essere umano considererebbe evidentemente fuori dai limiti consentiti.
È un comportamento che può portare a conseguenze imprevedibili, e potenzialmente molto più gravi di un'allucinazione in una chat o di un errore nella risposta a una domanda: un agente AI, infatti, non si limita a produrre testo, ma agisce nel mondo reale.