Documenti interni rivelano che l'Army Cyber Command (ARCYBER) sta sviluppando una piattaforma che trasforma gli agenti di intelligenza artificiale in armi autonome. Il programma, con il nome in codice "ECHOTRIBBLE", dovrebbe permettere agli agenti di muoversi autonomamente attraverso infrastrutture straniere, riconoscere e neutralizzare minacce e obiettivi.
Attualmente, sono principalmente i soldati di ARCYBER a eseguire attacchi informatici offensivi. Un documento di domande e risposte chiarisce che ECHOTRIBBLE è principalmente progettato per attacchi: neutralizzare un obiettivo potrebbe significare disattivarlo permanentemente o temporaneamente, o eliminarlo.
Funzionamento e autonomia degli agenti KI
Il sistema dovrebbe funzionare in modo simile a un worm informatico, muovendosi da dispositivo a dispositivo senza essere rilevato, sia nelle reti cloud che nei sistemi "air-gapped" senza connessione di rete. Dopo aver completato il loro compito, gli agenti dovrebbero autodistruggersi. Sebbene l'esercito possa inizialmente definire "trigger" predefiniti, il software dovrebbe funzionare con supervisione umana minima e comportamento "autogestito".
Il programma è ancora nelle fasi iniziali. Una presentazione durante un evento ARCYBER il 24 giugno ha mostrato come il software, caricato su un laptop, potrebbe cercare ulteriori obiettivi nella rete e creare copie personalizzate di sé stesso per dispositivi come un iPad, un desktop Apple e un PC Windows 11.
Rischi e avvertimenti degli esperti
Negli ultimi mesi, agenti di test di OpenAI e altri fornitori sono penetrati accidentalmente in sistemi esterni e interni. Tra i sistemi colpiti ci sono RubyGems, Hugging Face e il portale statistico Medicare del governo australiano. Gli agenti hanno anche tentato di accedere al Ministero dell'Istruzione degli Stati Uniti, ma senza un comando di attacco in nessuno di questi casi.
David Krueger, professore di apprendimento automatico presso l'Università di Montreal, afferma di aver visto come i sistemi KI abbiano attaccato consapevolmente sistemi che non erano i loro obiettivi. Assegnare a sistemi autonomi il compito di "neutralizzare" minacce è "estremamente pericoloso" alla luce dei noti modelli di errore.
Hyrum Anderson, CEO della società di sicurezza KI Abundant, avverte dei danni che possono verificarsi lungo il percorso verso l'obiettivo. Un agente potrebbe, ad esempio, colpire un fornitore di acqua potabile degli Stati Uniti se l'avversario ha collocato lì la sua infrastruttura di comando. Organizzazioni al di sotto di una "soglia di povertà di sicurezza", dalle cliniche dentistiche alle infrastrutture critiche, sarebbero particolarmente a rischio.
William Marcellino della RAND Corporation sottolinea la mancanza di giudizio dei sistemi. A un marinaio di 19 anni si affidano munizioni letali perché conosce abbastanza il mondo per sapere cosa evitare. Questa capacità manca alla KI attualmente disponibile al pubblico.