OpenAI ha svelato un modello AI chiamato GPT-Red, utilizzato durante il processo di addestramento di GPT-5.6 Sol. L’obiettivo di questo modello non accessibile al pubblico era migliorare la protezione del modello finale contro forme di attacco noti come prompt injection.
GPT-Red è stato sviluppato come parte del processo di addestramento di GPT-5.6 Sol, con lo scopo specifico di rinforzare le sue capacità difensive. Il modello non è mai stato rilasciato al mercato, ma ha svolto un ruolo essenziale nella creazione delle protezioni per GPT-5.6. Queste protezioni mirano soprattutto a prevenire gli attacchi di prompt injection, una forma di manipolazione dove istruzioni nascoste possono influenzare il comportamento dei modelli di intelligenza artificiale.
Il ruolo di GPT-Red
OpenAI spiega che un team dedicato ha lavorato per identificare e risolvere le vulnerabilità dei propri modelli prima del rilascio. In particolare, il team si è concentrato sull'analisi degli attacchi mirati al rilevamento automatizzato del linguaggio.
I cybercriminali, ad esempio, possono sfruttare pagine web, email o repository per nascondere istruzioni dannose. Un modello incautamente concesso potrebbe eseguire queste istruzioni, con conseguente perdita di dati sensibili o di informazioni riservate. La valutazione di questi tipi di vulnerabilità è complessa e impossibile da testare in modo esaustivo, per cui OpenAI ha implementato il concetto di GPT-Red per affrontare il problema.
Come funziona GPT-Red
GPT-Red agisce simulando gli attacchi inviando specifiche istruzioni a cui il modello deve rispondere. Il processo include tre fasi principali:
- Analisi del prompt: GPT-Red presenta al modello di destinazione un testo opportunamente costruito.
- Osservazione della risposta: GPT-Red studia il comportamento rispondente del modello.
- Ripetizione e ottimizzazione: Il modello continua a generare nuovi prompt fino a individuare un’efficacia costante.
Questo ciclo continuo ha portato a risultati concreti: OpenAI ha mostrato che GPT-5.6 Sol riesce a bloccare diversi tentativi avanzati, tra cui l’esfiltrazione di credenziali AWS, l’esecuzione involontaria di pagamenti online, e la disattivazione della doppia autenticazione, un elemento fondamentale della sicurezza digitale.
Addestramento e miglioramento
GPT-Red è stato addestrato con un approccio innovativo denominato self-play reinforcement learning. In questo tipo di addestramento, GPT-Red e una serie di altri modelli LLM (Large Language Models) di difesa vengono addestrati insieme su una vasta gamma di scenari.
Il modello GPT-Red riceve "punti" per aver generato un errore valido, come ad esempio l’esecuzione riuscita di un attacco di prompt injection, mentre i modelli difensori ricevono incentivi per resistere e completare il proprio compito. In questo modo, mentre i modelli difensori si rafforzano, lo stesso GPT-Red viene costretto a sviluppare attacchi più sofisticati per rompere le difese.
Risultati concreti
Al termine del ciclo di addestramento, GPT-Red è riuscito a compromettere praticamente tutti i modelli con cui è stato confrontato, inclusa la versione precedente GPT-5.5. Per rafforzare le difese, OpenAI ha utilizzato GPT-Red per generare un ampio insieme di input maliziosi destinati all’addestramento di GPT-5.6. Il risultato è stato un modello altamente resistente alle minacce emerse durante il processo.
L’azienda americana non si ferma e ha chiarito che aumenterà la potenza di calcolo e la quantità di dati da usare nel futuro addestramento di versioni successive di GPT-Red. Il suo obiettivo è continuare a migliorare la resilienza del suo parco modelli aiuta di un approccio iterativo e continuo.