Vulnerabilità di sicurezza in strumenti di intelligenza artificiale

I ricercatori hanno identificato 253 vulnerabilità di sicurezza verificate in 343 strumenti di agenti di intelligenza artificiale su 118 server Model Context Protocol. Le vulnerabilità espongono debolezze nel modo in cui il software elabora gli argomenti generati dai modelli di linguaggio.

Le vulnerabilità segnalate includono il traversal di percorsi arbitrari, l'iniezione di log, l'esfiltrazione di dati e il bypass di comandi. I dati riflettono diverse unità di misura e non rappresentano totali di vulnerabilità in competizione.

Vulnerabilità di sicurezza

I sistemi agentiche tipicamente connettono un modello di linguaggio a funzioni esterne attraverso un livello di orchestrazione. Il modello riceve descrizioni di strumenti e schemi di input, genera richieste strutturate e si affida all'orchestratore per eseguire quelle richieste. Tuttavia, un'invocazione correttamente formattata non garantisce che i suoi argomenti siano sicuri o autorizzati.

I ricercatori hanno dimostrato questo problema attraverso un attacco "Repeat-After-Me". In questo attacco, un attaccante fornisce del testo contenente uno strumento di destinazione e argomenti specifici, quindi istruisce il modello a riprodurlo.

Quando l'output corrisponde al formato di invocazione riconosciuto dal livello di orchestrazione, il livello interpreta erroneamente come una chiamata di strumento eseguibile anziché come testo ordinario.

Metodologia di ricerca

Il team ha replicato questo comportamento su sei framework di orchestrazione: LangGraph, Microsoft MAF, Google ADK 2.0, AutoGen, AWS Strands e CrewAI.

Questa dimostrazione supporta la conclusione principale dello studio: le implementazioni di strumenti devono trattare gli argomenti generati dal modello come potenzialmente avversari, anche quando provengono da flussi di lavoro di agenti standard.

ToFu: un framework di fuzzing

ToFu riutilizza i metadati degli strumenti in test di sicurezza eseguibili. Il suo corpus include 74 sanitizer semantici che collegano i significati degli argomenti alle proprietà guidate da Common Weakness Enumeration (CWE), input avversari e prove di violazione osservabili.

Ad esempio, uno strumento che afferma di accedere solo a file all'interno di uno spazio di lavoro specifico dovrebbe applicare questa restrizione. Se accetta un input di traversal e legge un file esterno, viola quel contratto, anche se l'esecuzione ha successo.

I risultati sottolineano un problema chiave: le descrizioni degli strumenti spesso non corrispondono al loro codice effettivo. Gli strumenti possono affermare di applicare restrizioni che le loro implementazioni non mantengono.

Risultati e conclusioni

Pertanto, il filtraggio dei prompt e il miglioramento del comportamento del modello non possono sostituire la necessità di controlli di sicurezza all'interno del software che esegue operazioni su file system, rete o comando.

Lo studio si concentra sulle violazioni del contratto a livello di strumento anziché confermare lo sfruttamento di ogni deploy affetto. Il suo take-away pratico è applicare le restrizioni documentate nel tempo di esecuzione e trattare gli argomenti validi dello schema come input non attendibili.

È fondamentale aggiornare le difese contro il nuovo malware non appena appare. È possibile integrare i feed di intelligence delle minacce con dati da 16.000 SOCs.

Importanza della sicurezza

La sicurezza degli strumenti di intelligenza artificiale è di fondamentale importanza per prevenire attacchi e violazioni di dati. È essenziale che gli sviluppatori e gli utenti di questi strumenti siano consapevoli dei potenziali rischi e adottino misure di sicurezza adeguate.

I risultati di questo studio sottolineano l'importanza di testare e valutare la sicurezza degli strumenti di intelligenza artificiale per garantire che siano protetti contro gli attacchi e le violazioni di dati.

In conclusione, la scoperta di 253 vulnerabilità di sicurezza in 343 strumenti di agenti di intelligenza artificiale su 118 server Model Context Protocol sottolinea l'importanza della sicurezza e della valutazione degli strumenti di intelligenza artificiale.

È fondamentale che gli sviluppatori e gli utenti di questi strumenti adottino misure di sicurezza adeguate per prevenire attacchi e violazioni di dati e garantire la sicurezza degli strumenti di intelligenza artificiale.

I ricercatori hanno utilizzato un nuovo framework di fuzzing chiamato ToFu per identificare le vulnerabilità di sicurezza negli strumenti di intelligenza artificiale. ToFu riutilizza i metadati degli strumenti in test di sicurezza eseguibili e include 74 sanitizer semantici che collegano i significati degli argomenti alle proprietà guidate da Common Weakness Enumeration (CWE).

I risultati dello studio sono stati pubblicati su arXiv e sono stati condotti da ricercatori della Pennsylvania State University, dell'Université Montpellier e del Dartmouth College.

La scoperta di queste vulnerabilità di sicurezza sottolinea l'importanza della sicurezza e della valutazione degli strumenti di intelligenza artificiale e può aiutare a prevenire attacchi e violazioni di dati.

Ulteriori informazioni

Per ulteriori informazioni su questo studio e sulle vulnerabilità di sicurezza identificate, è possibile consultare il documento pubblicato su arXiv.

Inoltre, è possibile visitare il sito web della Pennsylvania State University, dell'Université Montpellier e del Dartmouth College per ulteriori informazioni sui ricercatori e sulle loro ricerche.

È anche possibile contattare i ricercatori per ulteriori informazioni e per discutere le implicazioni di questo studio.