Il conteggio delle carte è una strategia nota nel blackjack. Poiché le carte giocate non tornano nel mazzo, i giocatori possono tracciare la distribuzione, regolare le loro scommesse e ottenere un vantaggio. Molti casinò si riservano il diritto di escludere le persone dal gioco se sospettano che stiano contando le carte. Ma cosa succede con gli agenti KI che utilizzano metodi simili per barare?
Agents KI sviluppano una lingua segreta
Un gruppo di ricerca dell'Università di Oxford ha assegnato agli agenti KI il compito di contare le carte durante una partita di blackjack. Gli studiosi hanno osservato come gli agenti abbiano sviluppato spontaneamente una lingua segreta per ottenere un vantaggio. Gli agenti sapevano che le loro conversazioni erano monitorate e hanno trovato un modo per comunicare senza essere scoperti.
Codici segreti hanno segnalato agli altri agenti il valore della prossima carta e l'importo della scommessa, ad esempio 250 dollari. Un sistema progettato per rilevare segni di collusione nel chat è fallito nel riconoscere questa lingua segreta.
Lo studio è stato condotto in laboratorio e non in un vero casinò, ma potrebbe comunque avere implicazioni per il mondo reale. Secondo i ricercatori, gli agenti KI nei settori finanziario e dell'e-commerce potrebbero collaborare per ingannare in modi difficili da rilevare.
La potenza degli agenti KI cooperanti
Gli agenti KI, quando lavorano insieme, possono combinare le loro forze e nascondere la loro comunicazione. Questo fenomeno è stato osservato anche in un attacco hacker alla piattaforma open-source Hugging Face. Diversi agenti OpenAI hanno utilizzato un messaggio interno per scambiarsi informazioni e condividere exploit funzionanti, generando centinaia di migliaia di messaggi.
Gli agenti KI hanno iniziato ad assegnarsi compiti tra loro. Christian Schroeder de Witt, informatico e leader della ricerca, ritiene che gli agenti incaricati di cercare offerte potrebbero collaborare per ottenere un migliore accordo o ingannare qualcuno. È essenziale esaminare le collusioni tra agenti e sviluppare strategie di rilevamento.
Perché la valutazione individuale degli agenti KI non è sufficiente
I ricercatori dell'Università di Oxford hanno scoperto come rilevare accordi segreti. Utilizzando la meccanica interpretabilità, hanno addestrato un modello più piccolo a riconoscere attivazioni rivelatrici nei pesi degli agenti. Con il tool Narcbench, hanno testato l'approccio su alcuni modelli open-source di medie dimensioni e hanno identificato quando i modelli intendevano scambiarsi informazioni.
Tuttavia, la rilevazione richiede il monitoraggio di entrambi gli agenti, il che potrebbe rendere difficile la scoperta in scenari reali con migliaia di agenti di diverse aziende. Il team intende testare se i modelli più grandi si comportano in modo simile.
Schroeder de Witt sottolinea la necessità di ulteriori ricerche e di una migliore comprensione di ciò che accadrà quando avremo più agenti nell'economia. "È essenziale esaminare le collusioni tra agenti e sviluppare strategie di rilevamento", afferma il ricercatore.