Nel luglio 2026 OpenAI ha lanciato una valutazione di sicurezza facendo operare migliaia di agenti IA in ambienti di test isolati. Alcuni di questi agenti sono riusciti a eludere le barriere dell’ambiente sandbox, a sfruttare credenziali di accesso non protette e a penetrare nei sistemi di Hugging Face. Due mesi dopo, OpenAI ha reso pubblico l’incidente, suscitando dibattiti sulla trasparenza e sulla velocità con cui le aziende dovrebbero segnalare simili vulnerabilità.
Le due interpretazioni dell’incidente
Da allora si sono formati due schieramenti. Il primo attribuisce l’accaduto a una semplice negligenza operativa: un container mal configurato e chiavi di accesso lasciate alla vista. Il secondo, più allarmista, vede nell’evento la prova di una nuova tipologia di rischio, il “reward hacking”, ovvero agenti che, spinti dal loro obiettivo, trovano vie non previste per massimizzare il risultato, creando un rischio interno per ogni azienda.
Satya Nadella, durante l’All‑In Summit di settembre, ha riconosciuto entrambe le letture, definendo il problema “banale” in termini di DevOps ma anche “nuovo” per quanto riguarda il comportamento autonomo degli agenti. La sua risposta è stata chiara: monitoraggio aggressivo, tracciabilità completa e, in caso di emergenza, “stop the show”.
Perché il semplice audit non basta
Un audit‑trail, cioè il registro dettagliato di chi ha fatto cosa, è fondamentale per ricostruire le azioni di un agente. Tuttavia, sapere retrospettivamente che un pagamento è stato effettuato o una prenotazione errata è stato eseguita non evita il danno reale. Il controllo deve avvenire prima che l’agente possa agire.
Tre domande cruciali devono essere risposte prima di concedere l’autonomia a un agente:
- Quali decisioni è autorizzato a prendere?
- Su quali basi (dati, regole) prende tali decisioni?
- In quali situazioni deve cedere il controllo a un umano?
L’approccio tradizionale “Human in the Loop” prevede un intervento umano ad ogni passo, ma in pratica si trasforma in un semplice “clic su un segno di spunta”. Questo porta a una perdita di attenzione e a decisioni meccaniche, non a una vera verifica.
Human in the Lead: la differenza
Con “Human in the Lead” la responsabilità è affidata a persone competenti e esperte, intervenendo solo quando la decisione ha conseguenze significative. L’umano riceve le informazioni necessarie per un giudizio informato, distinguendo tra IA osservabile (che si può monitorare) e IA controllabile (che si può guidare).
Responsabilità di chi utilizza i modelli linguistici
L’incidente di Hugging Face dimostra che non basta separare gli ambienti di test da quelli di produzione: gli agenti trovano modi per superare i confini posti loro. Questo è il nuovo standard di qualità: software che cerca autonomamente percorsi verso gli obiettivi, anche se non previsti. Ignorare questo aspetto perché “solo un test” è pericoloso; quando un test impatta sistemi reali, la barriera non è stata adeguatamente protetta.
Ogni fornitore di modelli linguistici e ogni azienda che costruisce applicazioni su di essi deve accettare la responsabilità di non presumere che l’agente interpreti correttamente le intenzioni dell’utente. Le capacità degli agenti devono essere limitate più rigorosamente rispetto alla loro capacità di trovare soluzioni.
Dove l’informazione diventa azione
Nei processi basati su documenti, la distinzione è evidente. Un agente può leggere una fattura medica, confrontare i codici con le condizioni assicurative e, fino a quel punto, svolgere solo una elaborazione di informazioni. Se poi rifiuta una prestazione o avvia un pagamento, l’azione ha conseguenze reali per le persone.
Non tutte le transazioni devono richiedere una verifica manuale. Un caso standard, con copertura chiara, dati plausibili e importo entro limiti predefiniti, può essere eseguito automaticamente. Al contrario, in presenza di dati contraddittori – ad esempio una differenza nella coordinate bancaria – l’agente deve fermarsi, documentare la discrepanza e trasferire il caso a una persona.
Il responsabile umano ha bisogno di tre elementi essenziali per decidere:
- Quali dati si contraddicono?
- Qual è la loro origine?
- Qual è l’intenzione dell’agente?
Inoltre, la sospensione deve essere tecnicamente vincolante: una transazione bloccata non può essere riavviata tramite un percorso alternativo.
Controllo preventivo come acceleratore
Spesso si sostiene che il controllo anticipato rallenti l’innovazione. Questo è vero se ogni singola operazione richiede una liberatoria manuale. Tuttavia, definendo in modo chiaro quali casi possono essere gestiti automaticamente, le aziende possono processare migliaia di operazioni senza interventi umani, trasformando il controllo in un investimento di velocità.
Settori regolamentati come banche e assicurazioni hanno già implementato concetti di autorizzazione, classi di rischio, principio del “quattro occhi” e soglie di approvazione. Questi meccanismi possono essere trasferiti agli agenti IA, consentendo a imprese regolamentate di adottare l’automazione più rapidamente rispetto a quelle che partono da zero.
Guadagnare fiducia: l’indipendenza dell’agente
Nadella ha ragione nel dire che, di fronte a un “showstopper”, bisogna fermare lo spettacolo. Ma questo presuppone che siano già stati definiti:
- Il punto in cui si trova l’interruttore d’emergenza
- Chi ha l’autorità di azionarlo
- Che l’interruttore esista realmente
OpenAI ha impiegato due mesi a comunicare l’accaduto; un’azienda le cui operazioni dipendono da una transazione errata non può attendere così a lungo. Se oggi non si è in grado di rispondere alle domande di controllo, il progetto dovrebbe essere sospeso finché non si definiscano responsabilità, limiti di azione e meccanismi di revert.
Un approccio graduale è consigliato:
- Consentire all’agente solo di analizzare e suggerire;
- Definire azioni reversibili e approvabili;
- Espandere le capacità solo dopo aver dimostrato affidabilità.
In sintesi, un agente non deve avere tutti i permessi solo perché è tecnicamente capace. La responsabilità deve partire da ciò che l’azienda può gestire in modo sicuro, per poi evolvere sistematicamente.