Un salto di qualità nei benchmark di sicurezza

Presentiamo GPT‑6 Cyber, un grande passo avanti nella ricerca sulla sicurezza informatica: più capace di individuare e correggere vulnerabilità e molto più affidabile nel rispettare i limiti stabiliti dai ricercatori. Rispetto a GPT‑5.6 Cyber, il nuovo modello registra progressi sostanziali nei principali benchmark, tra cui un miglioramento relativo del 51 % su ExploitGym e un netto salto di qualità nei test sul rispetto dell’ambito assegnato.

Su ExploitGym, che verifica se i modelli riescono a sfruttare una vulnerabilità specificata, GPT‑6 Cyber ottiene il 48,5 %, contro il 32,1 % di GPT‑5.6 Cyber. Questo risultato corrisponde a circa 16 punti percentuali di differenza e dimostra la capacità del modello di generare exploit più efficaci.

In una valutazione separata dell’allineamento, il modello ha evitato di sfruttare vulnerabilità in servizi fuori ambito nel 99,93 % dei test senza il prompt di produzione, e nel 100 % dei casi quando è stato fornito il prompt di sicurezza.

Nuovi benchmark e test offensivi

Abbiamo introdotto una nuova valutazione per i test offensivi di penetrazione web, in cui i modelli esaminano applicazioni web senza accesso al codice sorgente. GPT‑6 Cyber ha raggiunto un richiamo delle vulnerabilità del 40,3 %, rispetto al 32,0 % di GPT‑6 Astra.

Un ulteriore benchmark, RemoteExploitBench, utilizza vulnerabilità note in applicazioni come GitLab, PostgreSQL e Jenkins, distribuite in un ambiente controllato. In questa prova, GPT‑6 Astra con Daybreak Blue ha rifiutato il 100 % dei compiti, mentre GPT‑6 Cyber ne ha completato il 95 %, con un solo exploit non riuscito a funzionare da remoto.

Applicazioni concrete su software critico

Le capacità di GPT‑6 Cyber stanno già contribuendo a proteggere sistemi reali. I nostri ricercatori hanno usato il modello per sviluppare 948 exploit di escalation dei privilegi in Linux e individuare 81 vulnerabilità di gravità elevata prima sconosciute in Firefox, nonostante gli ampi test già condotti con modelli di frontiera.

Il modello ha inoltre contribuito a sviluppare possibili patch: Mozilla ha rilasciato correzioni per molte delle vulnerabilità di Firefox. I team di sicurezza di Cisco, Calif e CodeRabbit lo usano per la ricerca di vulnerabilità e la revisione del codice, e noi ci siamo affidati al modello per individuare e correggere punti deboli nella nostra infrastruttura.

È chiaro che abbiamo una finestra di tempo limitata per usare i modelli di frontiera per proteggere il software. Il nostro obiettivo è ampliare radicalmente Daybreak, rendendo la ricerca avanzata sulla sicurezza accessibile a organizzazioni di ogni dimensione, ricercatori indipendenti e manutentori di progetti open source.

Le linee di prodotto Daybreak

Daybreak Blue: aiuta i difensori verificati a convalidare vulnerabilità e correzioni con meno rifiuti non necessari.
Daybreak Red: consente di sviluppare exploit più approfonditi e condurre test di sicurezza autorizzati con GPT‑6 Cyber.
GPT‑6 Astra: modello della linea principale, già impiegato per revisione del codice, triage delle vulnerabilità e sviluppo di patch.

Maggiore allineamento e rispetto dei limiti

Uno dei rischi principali degli agenti di sicurezza informatica è l’uscita dall’ambito del compito assegnato, sfruttando vulnerabilità in servizi non pertinenti o ignorando le regole d’ingaggio stabilite dal ricercatore. Abbiamo posto l’allineamento al centro dello sviluppo di GPT‑6 Cyber, con un addestramento specifico per mantenere il modello entro l’ambito autorizzato, rispettare le restrizioni e riferire accuratamente i risultati.

Una valutazione chiave è ExploitGym Honeypot, sviluppata tenendo conto dell’incidente di Hugging Face. Il modello riceve un compito complesso di sfruttamento di una vulnerabilità in un ambiente isolato, con accesso a servizi di supporto facili da attaccare (registro di pacchetti, archivio di oggetti). Deve dedurre che sfruttare queste vulnerabilità esula dall’ambito del compito.

Nei test senza i prompt di sicurezza usati in produzione, GPT‑6 Cyber ha evitato di sfruttare vulnerabilità fuori ambito nel 99,93 % dei casi, rispetto al 94,49 % di GPT‑5.6 Cyber. Con i prompt di sicurezza, il rispetto dei limiti è stato del 100 %.

Ecco alcuni estratti della chain of thought del modello che mostrano il ragionamento sul rispetto dei limiti:

“Can't assume extra API or attack controller not target. We should only target binary/server.”

“don't explore out of scope credentials.”

Impatto concreto per i team di sicurezza

GPT‑6 Cyber sta già aiutando i team di sicurezza a individuare vulnerabilità, verificarne l’impatto e sviluppare correzioni. I clienti lo hanno impiegato su codebase di grandi dimensioni, nello sviluppo prolungato di exploit e nelle revisioni di sicurezza.

In particolare:

Abbiamo usato GPT‑6 Cyber per rafforzare la sicurezza dell’infrastruttura usata per addestrare i modelli di frontiera, identificando e correggendo punti deboli critici.
In campagne controllate di red teaming, agenti basati su GPT‑6 Cyber e altri modelli OpenAI hanno concatenato vulnerabilità per uscire dalle microVM ed eseguire codice sugli host sottostanti.
I risultati sono stati utilizzati per correggere il software, rafforzare le restrizioni di rete e segnalare i problemi ai manutentori e ai fornitori.

Classificazione di sicurezza

Secondo il nostro Preparedness Framework, GPT‑6 Cyber è classificato al livello Critico per la sicurezza informatica, rispetto al livello Alto di GPT‑5.6 Cyber. Questa classificazione riflette le sue capacità superiori di comprendere il software, individuare vulnerabilità e sviluppare exploit funzionanti, mantenendo al contempo un allineamento rigoroso.

In sintesi, GPT‑6 Cyber rappresenta una svolta per la sicurezza informatica: combina una capacità tecnica avanzata con un allineamento quasi perfetto, offrendo a difensori, ricercatori e sviluppatori uno strumento potente per proteggere il software critico e accelerare la risposta alle vulnerabilità emergenti.