L'intelligenza artificiale (IA) è ormai un motore inarrestabile di innovazione e crescita, promettendo guadagni di efficienza senza precedenti per le aziende di ogni settore. Tuttavia, questa stessa utilità si estende anche agli attori delle minacce, che stanno rapidamente imparando a sfruttare l'IA per potenziare i propri modelli di business criminali. Con un'espansione quasi universale dell'IA in tutte le sfacettature della vita e delle operazioni aziendali, da assistenti digitali che gestiscono attività quotidiane ad agenti IA in grado di automatizzare decisioni complesse, il panorama della sicurezza informatica è in rapida evoluzione.

Il rapporto "State of AI Security Report, 1H 2025" di Trend Micro getta luce su questa duplice natura dell'IA. Emerge chiaramente che un numero crescente di organizzazioni intende intensificare i propri investimenti nell'IA nei prossimi tre anni. Questa tendenza è comprensibile, data la promessa di produttività e innovazione che l'IA porta con sé. Tuttavia, essa si scontra con una realtà preoccupante: ben il 93% dei responsabili della sicurezza si prepara ad affrontare attacchi quotidiani basati sull'IA già nel 2025. Di fronte a queste previsioni, i decisori sono chiamati a riconsiderare profondamente i propri flussi di lavoro e le posture di sicurezza. Il World Economic Forum, nel suo rapporto Global Cybersecurity Outlook, conferma questa urgenza, rivelando che il 66% delle organizzazioni intervistate prevede che l'IA avrà l'impatto più significativo sulla cybersecurity quest'anno. "Ci sono ancora molte domande sui modelli di IA e su come potrebbero e dovrebbero essere usati", afferma Stuart MacLellan, CTO del South London and Maudsley NHS Foundation Trust (SLAM), a Trend Micro. "Nel mio mondo c'è un rischio reale legato alla condivisione di informazioni personali. Abbiamo contribuito alla formazione e stiamo definendo regole per far sapere quali dati risiedono in una determinata posizione e cosa succede loro in un modello di IA."

L'impronta crescente dell'IA e il suo impatto sulla sicurezza

L'espansione dell'IA è inarrestabile e destinata a permeare numerosi aspetti delle nostre vite. Ne sono un esempio gli assistenti digitali (DA) che gestiscono le attività quotidiane delle persone e gli agenti IA che possono automatizzare decisioni aziendali complesse. Questa pervasività ha avuto un riconoscimento significativo nel mondo della cybersecurity: l'introduzione quest'anno di una categoria dedicata all'IA a Pwn2Own, una delle competizioni di hacking più prestigiose al mondo, non è stata solo un segnale di riconoscimento dell'IA come tendenza attuale, ma ha anche messo in evidenza il suo ruolo fondamentale nel ridisegnare i confini della cybersecurity.

Questa nuova categoria, che ha debuttato all'evento durante la conferenza OffensiveCon di quest'anno a Berlino, ha richiamato l'attenzione sulla necessità di sistemi IA che siano sicuri fin dalla progettazione, piuttosto che costringere i difensori a una costante reazione. È un invito a integrare la sicurezza in ogni fase dello sviluppo e del dispiegamento dell'IA, un principio fondamentale per costruire una resilienza duratura.

Con questo rapporto, Trend Micro offre un'esplorazione approfondita sia delle promesse che dei pericoli associati all'uso dell'IA. Il documento incorpora preziose intuizioni derivate dalle prime vittorie IA a Pwn2Own e dalle più recenti ricerche di Trend Micro su questa tecnologia emergente. L'analisi esamina il panorama delle minacce in evoluzione introdotto dalle applicazioni di IA agentica di prossima generazione, così come il modo in cui i criminali stessi stanno sfruttando l'IA per potenziare i loro modelli di business. Il rapporto si conclude con una visione del futuro e delle iniziative che Trend Micro sta mettendo in atto per affrontare queste sfide.

Lezioni chiave per i difensori

I difensori trarranno dal rapporto una comprensione chiara della necessità di rimanere vigili e di proteggere tutti i componenti di un sistema IA, anche quelli già considerati stabili. A tal fine, le migliori pratiche suggeriscono una serie di azioni fondamentali:

Mantenere un inventario di tutti i componenti software, comprese le librerie di terze parti e i sottosistemi.
Effettuare valutazioni di sicurezza regolari di tali componenti.

Queste misure possono aiutare a individuare e mitigare potenziali vulnerabilità prima che gli attaccanti abbiano la possibilità di sfruttarle, trasformando la reattività in proattività.

Parte I: Attacchi attuali contro l'infrastruttura IA

L'IA sotto i riflettori a Pwn2Own Berlino

Pwn2Own, un evento globale ospitato da Trend Zero Day Initiative™ (ZDI), è stato una piattaforma fondamentale per la scoperta e la divulgazione responsabile di vulnerabilità zero-day sin dalla sua creazione nel 2007. Nel corso degli anni, è stato determinante nel prevenire lo sfruttamento di vulnerabilità nel mondo reale, favorendo la collaborazione tra ricercatori di sicurezza di alto livello e fornitori di software. Fedele alla sua tradizione di prendere di mira obiettivi per test offensivi o ricerca di vulnerabilità, la nuova categoria AI di Pwn2Own ha invitato i partecipanti a colpire l'architettura sottostante che supporta gli ecosistemi IA. I sei obiettivi in questa categoria coprivano una varietà di:

Toolkit per sviluppatori
Database vettoriali
Framework di gestione dei modelli

Questi strumenti sono spesso utilizzati per costruire o eseguire modelli IA, rendendoli punti critici per la sicurezza dell'intero ecosistema.

L'evento ha attratto un gruppo globale di concorrenti, provenienti da paesi come Inghilterra, Francia, Germania, Israele, Polonia, Serbia, Singapore, Corea del Sud, Taiwan, Stati Uniti e Vietnam. In tre giorni, i partecipanti hanno scoperto 28 vulnerabilità zero-day uniche, di cui sette nella categoria IA. Questi risultati sottolineano la crescente complessità e le sfide di sicurezza intrinseche nei sistemi IA.

Vulnerabilità chiave scoperte nelle applicazioni IA

Exploit di Chroma DB

Chroma DB è un database vettoriale open source scritto principalmente in Python, che ha guadagnato un'immensa popolarità negli agenti IA basati su Retrieval Augmented Generation (RAG). Come tutti i database vettoriali, consente agli utenti di archiviare vettori associati a blocchi di testo e di recuperare corrispondenze strette dal database per includerle in un prompt di un modello linguistico di grandi dimensioni (LLM). In questo modo, è possibile rendere le risposte degli LLM più pertinenti e, si spera, più accurate.

Non molte vulnerabilità per Chroma erano state precedentemente note, ma a questo evento Pwn2Own, Sina Kheirkhah del Summoning Team è riuscito a portare a termine un exploit di successo, la prima vittoria in assoluto nella categoria IA. L'exploit ha capitalizzato su artefatti che erano stati inavvertitamente lasciati nel sistema dalla fase di sviluppo, richiamando l'attenzione sui rischi di non esaminare e pulire a fondo i sistemi prima che vadano in produzione. Per le organizzazioni, questo sottolinea anche l'importanza di protocolli di dispiegamento rigorosi, come la rimozione di tutti gli artefatti non essenziali e audit di sicurezza regolari per garantire la conformità agli standard di sicurezza.

Abbiamo recentemente ripetuto il nostro sondaggio sui sistemi IA esposti che il team di Forward-looking Threat Research (FTR) di Trend ha condotto l'anno scorso. Allora, avevamo trovato circa 240 server in totale. A maggio 2025, abbiamo osservato oltre 200 server Chroma completamente non protetti. In questi, i dati potevano essere letti e potenzialmente scritti o eliminati senza autenticazione. Ulteriori 300 server erano esposti, ma protetti. È qui che un exploit, come quello trovato da Sina Kheirkhah, potrebbe consentire agli attaccanti l'accesso ai dati e possibilmente al resto della macchina su cui è in esecuzione.

Exploit di NVIDIA Triton Inference Server

Diversi team, tra cui quelli di Viettel Cyber Security, FuzzingLabs e Qrious Secure, hanno preso di mira l'NVIDIA Triton Inference Server. Sebbene molti degli exploit utilizzati fossero bug noti già in fase di patch da parte del fornitore, Qrious Secure ha infine ottenuto una vittoria completa tramite una catena di quattro vulnerabilità. Gli exploit di Triton spesso coinvolgevano il caricamento di dati arbitrari sul server, difetti che avrebbero potuto essere mitigati attraverso una migliore verifica dei dati, patch tempestive e l'implementazione di architetture zero-trust. Queste vulnerabilità dimostrano le sfide della gestione di sistemi complessi composti da numerosi componenti interdipendenti. Le ripetute occorrenze di vulnerabilità note ma non patchate indicano anche la necessità di una migliore gestione delle patch e di una scansione proattiva delle vulnerabilità.

Figura 1. Qrious Secure ha utilizzato una catena di quattro bug per sfruttare il server NVIDIS Triton Inference.

Triton si comporta come un server CNCF KServe ed è solitamente distribuito come parte di un'infrastruttura Kubernetes. Vediamo una manciata di server KServe esposti, ma attualmente non possiamo dire se si tratti di server Triton o di qualcos'altro. In ogni caso, il numero è quasi trascurabilmente basso, suggerendo che, sebbene le vulnerabilità esistano, la loro esposizione diretta su larga scala è meno diffusa per questa specifica configurazione rispetto ad altri servizi.

Exploit di Redis

Redis è un archivio chiave-valore molto popolare nelle applicazioni di content serving, utilizzato come cache per una risposta rapida a query comuni del database, ma ha anche molti altri usi. A partire dalla versione 8, ha anche il supporto integrato per l'archiviazione e il confronto vettoriale. Le versioni precedenti avevano il supporto tramite moduli installabili.

Wiz Research ha ottenuto una vittoria dopo aver utilizzato una vulnerabilità "use-after-free" (UAF) nel database vettoriale Redis. L'exploit si basava su una catena di vulnerabilità che coinvolgevano principalmente il sottosistema Lua: l'uso di una versione obsoleta di Lua all'interno di Redis è stato un fattore critico nell'exploit, dimostrando i pericoli dell'uso di componenti obsoleti o non supportati in sistemi altrimenti maturi. I difensori devono rimanere vigili nel proteggere tutti i componenti di un sistema, anche quelli già considerati stabili. A tal fine, dovrebbero mantenere un inventario di tutti i componenti software, comprese le librerie di terze parti e i sottosistemi, per garantire che questi siano regolarmente aggiornati e patchati. Inoltre, valutazioni di sicurezza approfondite di tutti i componenti possono aiutare a trovare e mitigare potenziali vulnerabilità prima che gli attaccanti abbiano la possibilità di sfruttarle.

Figura 2. Wiz Research ha utilizzato con successo una vulnerabilità UAF contro Redis.

Vediamo oltre un quarto di milione di server Redis esposti su internet, un dato allarmante che evidenzia l'ampia superficie di attacco e la necessità critica di una gestione rigorosa della sicurezza per questi sistemi ampiamente utilizzati.