Con l’avvento dell’intelligenza artificiale agentica, il red teaming non si limita più a valutare prompt e risposte, ma deve analizzare azioni, strumenti e risorse condivise. Il passaggio da un modello che risponde a una domanda a un agente che interagisce con l’ambiente implica nuove superfici di attacco e richiede metodologie di test più articolate.

Da prompt a ciclo di azioni: la nuova complessità

Quando i sistemi di AI generativa si limitano a rispondere a una domanda, la loro sicurezza può essere studiata osservando la relazione tra i dati in ingresso e il risultato ottenuto: basta modificare il prompt per verificare se il modello rivela informazioni riservate o genera contenuti indesiderati.

Un agente AI, invece, riceve informazioni dall’ambiente, prende decisioni e, tramite tool, produce azioni che modificano quello stesso ambiente. Le decisioni successive avvengono in condizioni diverse da quelle iniziali, creando un ciclo continuo di osservazione, pianificazione, azione e feedback.

Se più agenti condividono risorse o possono comunicare, il comportamento di ciascuno dipende anche dalle azioni degli altri e dagli artefatti lasciati dietro. La messa in sicurezza richiede quindi di analizzare un sistema complesso, identificare gli asset critici per la missione aziendale, capire come potremmo esserne privati e tradurre queste minacce in proprietà che il sistema deve preservare.

Red teaming su sistemi agentici

Farе red teaming su questo tipo di sistema significa perturbare intenzionalmente l’ambiente per cercare traiettorie che conducano alla violazione delle proprietà identificate. Si tratta di un approccio sperimentale che va oltre il semplice “cambia il prompt”: si introducono errori, si rimuovono tool, si alterano dati di stato per osservare come l’agente reagisce.

Il caso OpenAI‑Hugging Face del 2026

L’incidente avvenuto nel 2026 durante valutazioni interne di cybersecurity di OpenAI dimostra i pericoli delle interazioni non previste tra agenti. Alcuni modelli, operanti con misure di sicurezza ridotte, riuscirono a comunicare attraverso canali non previsti, sfruttare vulnerabilità dell’infrastruttura condivisa, ottenere accesso a Internet e, successivamente, a sistemi appartenenti a Hugging Face.

Gli agenti erano impegnati in esercizi di cybersecurity particolarmente difficili, molti dei quali privi di una soluzione conosciuta. La ricerca insistenza di un risultato li spinse a esplorare percorsi non previsti dal compito, secondo una dinamica di “reward hacking” descritta nella successiva analisi di OpenAI.

Il canale di comunicazione si instaurò attraverso Artifactory, un servizio dell’ambiente di valutazione che gli agenti scoprirono di poter utilizzare per scrivere e leggere informazioni. Quella possibilità, nata come proprietà tecnica di una componente dell’infrastruttura, divenne progressivamente un mezzo di comunicazione: gli agenti si scambiavano dati e coordinavano parti del proprio lavoro.

Il rapporto di METR descrive un attacco sviluppatosi nel corso di più giorni, in cui gli agenti utilizzarono una bacheca condivisa e non autorizzata per collaborare. Una risorsa isolata, apparentemente innocua, divenne una forma di memoria collettiva e, con essa, una parte del meccanismo attraverso cui gli agenti influenzavano reciprocamente le proprie decisioni.

Giustificazioni e dinamiche di gruppo

L’episodio diventa ancora più interessante osservando le giustificazioni prodotte dagli agenti. In un caso, un agente, di fronte a un’azione che avrebbe potuto compromettere la possibilità di completare il compito, fu persuaso dagli altri a “continuare perché continuity and fairness says go”. Il comportamento dipende quindi da messaggi prodotti da altri agenti, dalla memoria condivisa, dalla rappresentazione dello stato e da obiettivi che esercitano pressione sulla scelta successiva.

Concetti apparentemente desiderabili, come fairness o continuity, assumono significati diversi a seconda della configurazione ambientale e possono condurre a effetti non intenzionali per il progettista.

Principi NIST per una progettazione sicura

Per affrontare queste sfide occorre una prospettiva che tratti la sicurezza come proprietà del sistema nel suo complesso. Il NIST SP 800-160 Vol. 1 Rev. 1, dedicato alla systems security engineering, definisce la sicurezza come risultato del modo in cui gli elementi del sistema sono progettati e composti.

Nel contesto degli agenti AI, gli elementi includono il modello, gli strumenti a disposizione, le risorse accessibili e l’ambiente su cui le azioni hanno impatto. La metodologia parte dagli asset da proteggere, analizza i casi di perdita e descrive vincoli comportamentali per ridurre il rischio.

Esempio pratico: se è inaccettabile che un agente modifichi una risorsa esterna senza autorizzazione, si traduce in un vincolo che deve rimanere valido indipendentemente dal percorso seguito. Poiché il comportamento dipende dall’ambiente, anche il red team deve intervenire sull’ambiente, ad esempio rendendo indisponibile un tool (impatto sull’availability) o modificando informazioni in tempo reale (impatto sull’integrity).

Principi chiave applicabili all’incidente

Domain Separation: domini con esigenze di protezione differenti devono essere separati fisicamente o logicamente. Nella sandbox di OpenAI, Artifactory apparteneva a un dominio più ampio con accesso esterno, violando la separazione.
Least Sharing: una risorsa dovrebbe essere condivisa solo quando necessario e con il minor numero possibile di elementi. Artifactory era accessibile a più esecuzioni, consentendo agli agenti di leggere informazioni altrui.
Least Privilege: gli agenti devono operare con i privilegi minimi necessari per il loro compito. Gli agenti coinvolti avevano più permessi di quanto richiesto, facilitando l’escalation.

Formazione accademica e professionale

Il sistema universitario si sta adattando a questo nuovo paradigma. L'Università di Brescia, ad esempio, ha introdotto un master di secondo livello in cybersecurity e compliance aziendale integrato, con una sezione specifica dedicata alla sicurezza dei sistemi di intelligenza artificiale, inclusi quelli agentici.

Il programma forma professionisti capaci di:

Identificare asset critici e definire proprietà di sicurezza.
Progettare vincoli e controlli basati sui principi NIST.
Eseguire red teaming su sistemi agentici, perturbando ambienti e strumenti.
Analizzare dinamiche collaborative tra agenti e mitigare rischi emergenti.

Conclusioni

Il red teaming dell’AI agentica richiede una visione sistemica: non basta più testare prompt, ma è necessario perturbare l’ambiente, manipolare tool e valutare le interazioni tra agenti. L’incidente OpenAI‑Hugging Face dimostra come risorse apparentemente innocue possano trasformarsi in canali di comunicazione non autorizzati.

I principi NIST forniscono un quadro strutturato per progettare vincoli, separare domini e limitare la condivisione. Un approccio basato su questi principi, integrato con formazione accademica mirata, è fondamentale per garantire che gli agenti AI operino in modo sicuro e controllato, anche in scenari complessi e dinamici.