OpenAI ha sviluppato GPT-Red, uno strumento interno utilizzato come hacker KI per identificare potenziali vulnerabilità nei modelli KI al momento di essere rilasciati. Questo tool automatizza il lavoro di ricerca delle fallacie tecnologiche, una funzione precedentemente svolta da team di sicurezza umani. GPT-Red ha dimostrato di essere in grado di identificare nuove categorie di attacchi digitali e di superare i team umani di testing in molteplici test.

Qual è la minaccia di GPT-Red?

La sicurezza è una priorità cruciale per OpenAI, soprattutto con l'aumento delle minacce digitali. Il focus di GPT-Red è su una specifica forma di attacco chiamata "Prompt-Injection", dove vengono nascosti comandi malevoli in contesti diversi (es. e-mail, file, o siti) con l’obiettivo di far eseguire al modello operazioni indesiderate.

In un test recente, il team di ricerca ha riscontrato che GPT-Red è riuscito a trovare una classe completamente nuova di tecniche d’attacco, definita "falsa catena di pensiero". Questa consiste nel falsificare informazioni dentro una porzione riservata del modello, causando un comportamento irrazionale. Secondo OpenAI, “è come se qualcuno ti dicesse che 1+1=3 e tu non ne dubiti più perché sembra che l’abbia verificato in un database personale.”

Esempio pratico: attacco a Vendy

Per testare le potenzialità di GPT-Red, OpenAI ha condotto un test su una simulazione basata su un vero distributore automatizzato. Chiamando il sistema “Vendy”, lo strumento ha manipolato i prezzi dei prodotti e ha cancellato ordini di clienti. A seguito di queste scoperte, l’azienda ha annunciato di aver corretto le vulnerabilità rilevate.

Risultati sorprendenti di GPT-Red

Gli esperimenti hanno evidenziato il potenziale di GPT-Red. Lavorando su un modello GPT-5, lo strumento ha dimostrato una percentuale di successo di attacco superiore al 90%. Un confronto diretto con i team umani, effettuato nel 2025, ha mostrato risultati impressionanti. GPT-Red ha sfondato il sistema con successo in circa l’84% dei casi, mentre i team umani hanno riuscito a romperlo in appena il 13%. Questo ha portato OpenAI a rilasciare un modello aggiornato, GPT-5.6, che ha dimostrato una maggiore resistenza a questa forma di attacco, bloccando circa il 77% dei casi.

Limiti e rischi di GPT-Red

Nonostante i risultati notevoli, GPT-Red ha ancora dei punti deboli. Ad esempio, è vulnerabile agli attacchi multi-stadi e alle istruzioni nascoste all'interno delle immagini. Inoltre, spesso gli esperti di sicurezza umani riescono a trovare problemi che lo strumento non riesce a rilevare. Jessica Ji, un'esperta di AI presso l’Università di Georgetown, ha sottolineato l’importanza del lavoro umano nel settore della sicurezza: “Credo che la conoscenza umana continuerà a essere cruciale in questo campo”.

A causa di questi rischi, OpenAI ha deciso di mantenere GPT-Red in un ambiente completamente chiuso. L’idea è di evitare che una tecnologia così potente finisca nelle mani di soggetti malintenzionati.

Altri laboratori condividono una strategia simile

La decisione di OpenAI non è isolata. Altro esempio rilevante è il caso di Anthropic e il modello Claude Mythos. Questo strumento, pur avanzato, è stato testato esclusivamente con aziende di alto profilo come Amazon, Apple, Google e Microsoft. Inizialmente, gli Stati Uniti avevano vietato la sua fuoriuscita estera, a causa di preoccupazioni per la sicurezza. Ora però i limiti sono stati allentati permettendo un accesso limitato a un certo numero di aziende.

Il dilemma etico e pratico

Questa strategia, però, solleva interrogativi etici. Mentre proteggere l'AI interna è una priorità, nasce un dibattito su quanto condividere di queste tecnologie per il progresso globale. Alcuni esperti argomentano che limitare l’accesso può rallentare l’innovazione. Altri invece sottolineano che l’esposizione di modelli come GPT-Red può esacerbare minacce per la privacy e la sicurezza a livello mondiale.

Strategie future di OpenAI

OpenAI ha annunciato di proseguire lo sviluppo di GPT-Red come strumento interno per testare i suoi nuovi modelli KI prima del rilascio. L'obiettivo è renderli sempre più robusti, soprattutto contro quelle tecnologie di attacco che oggi sono quasi trascurate dal mercato.

Una lista riassume le principali minacce digitali attualmente focalizzate dal modello GPT-Red:

Prompt Injection

Manipolazione di informazioni riservate

Attacchi multi-stadi

Inserimento di dati falsi in contesti complessi

Script automatici per bypassare filtri

Gli ostacoli nell’ambito tecnico

Uno dei sfidanti più grandi per GPT-Red è la natura fluida ed evoluta degli attacchi moderni. Gli sviluppatori sottolineano che la sicurezza AI non è un lavoro finito ma una battaglia incessante. I ricercatori devono adattare costantemente gli strumenti di difesa per anticipare nuove minacce emergenti.

La prospettiva globale

Gli sforzi di OpenAI sono parte di un movimento più ampio tra le principali aziende di tecnologia AI: un allontanamento da un’espansione indiscriminata verso un periodo in cui i rischi devono essere valutati con precisione. Con GPT-Red, OpenAI ha aperto una finestra su cosa è in grado di creare la KI avanzata, ma ne ha anche evidenziati i costi per il livello di controllo e di responsabilità sociale che richiede.