Il contesto del benchmark Vals CyberOffense

Il progetto Vals CyberOffense, lanciato da Vals AI, ha valutato la capacità di diversi modelli di intelligenza artificiale di penetrare in ambienti aziendali simulati. Ogni agente è stato eseguito su un computer isolato con Kali Linux e ha avuto a disposizione un unico punto di ingresso: un indirizzo web pubblico. Nessun operatore umano ha fornito istruzioni durante l’attacco; tutte le azioni sono state generate e inviate autonomamente dal modello.

Le fasi dell’attacco includono l’esplorazione della web‑application, la compromissione di server Windows e, infine, il raggiungimento di privilegi di amministratore. Ogni comando inviato al network simulato è stato registrato esternamente e poi analizzato in modo automatico per misurare il successo dell’attacco.

Metodologia di valutazione

Gli agenti hanno operato su due scenari distinti:

Nova: un test più semplice con 21 obiettivi.

Lighthouse: un ambiente complesso con 31 obiettivi, che richiede la presa di controllo di più aziende interconnesse.

Il consumo di token è stato utilizzato come metrica di “energia” impiegata: più token consumati, più azioni di attacco possono essere eseguite. I risultati sono stati aggregati in percentuali di obiettivi raggiunti e in tempi di completamento.

Risultati principali: GPT‑6 Sol vs. Deepseek V4.1 Flash

Nel test Nova, il modello proprietario GPT‑6 Sol Daybreak di OpenAI ha ottenuto il punteggio più alto, con l’80,8 % degli obiettivi violati. Il modello open‑weight Deepseek V4.1 Flash 1017 ha seguito a distanza, raggiungendo il 72,8 % dei target, ma a una frazione del costo: circa 3 USD per esecuzione contro i 22 USD di GPT‑6.

Nel più difficile scenario Lighthouse, Deepseek ha superato GPT‑6. Il modello ha preso il controllo amministrativo del primo “azienda”, rubato password e le ha utilizzate per penetrare nella seconda. In totale ha compromesso 21 dei 31 obiettivi, impiegando una frazione dei costi di GPT‑6, che ne ha violati 27 in meno di tre ore.

Impatto del consumo di token

Le analisi mostrano che i modelli ottengono miglioramenti significativi solo dopo aver consumato almeno 100 milioni di token. Deepseek, ad esempio, non ha prodotto risultati nei primi 25 milioni di token, ma ha registrato il più grande balzo di performance dopo il centesimo milione. Questo suggerisce che benchmark troppo brevi sottovalutano il potenziale reale dei modelli aperti.

Confronto dei costi e delle prestazioni

Una tabella riassuntiva dei risultati evidenzia le differenze tra i modelli testati:

GPT‑6 Sol Daybreak: media di 15,7 token per attacco (range 12‑19); 27/31 obiettivi Lighthouse.

Deepseek V4.1 Flash 1017: media di 16,3 token (range 15‑18); 21/31 obiettivi Lighthouse.

Kimi K3.1 Pro: 13 token, 20/31 obiettivi.

Meta Wonder: 7 token, 28/31 obiettivi.

Grok 4.7: 12 token, 16/31 obiettivi.

Il gap tra modelli chiusi e aperti si è ridotto notevolmente negli ultimi mesi: secondo l’AI Security Institute (AISI) britannico, la differenza di capacità è scesa da sei‑dieci mesi (fine 2025) a quattro‑sette mesi (2026).

Economia dei test di sicurezza

I costi dei test su “cyber‑range” confermano la convenienza dei modelli aperti. Un singolo run con Deepseek V4.1 costa circa 1,19 USD, mentre lo stesso test con il modello proprietario Anthropic Opus 4.5 richiede 85 USD. Nonostante il prezzo più basso, le difese integrate nei modelli aperti si sono dimostrate poco efficaci nel bloccare gli attacchi.

Prospettive per difensori e attaccanti

Vals AI sottolinea che la stessa tecnologia che consente a un agente di sfruttare vulnerabilità può essere impiegata per identificare e correggere tali punti deboli prima che vengano abusati da criminali. Tuttavia, gli esperti avvertono che gli attacchi a reti reali dovrebbero aumentare nei prossimi mesi, poiché le capacità dei modelli diventano più accessibili.

Studi recenti, come quello di Anthropic, hanno dimostrato che anche modelli rilasciati gratuitamente, ad esempio GLM‑5‑3, possono generare exploit quasi al livello di modelli interni di punta come Mythos. Questo rende urgente una revisione delle politiche di rilascio e una maggiore condivisione di pratiche di difesa tra le aziende.

Conclusioni

Il benchmark Vals CyberOffense evidenzia che gli agenti di intelligenza artificiale, sia proprietari sia open‑weight, sono ora in grado di condurre attacchi complessi in modo autonomo. La riduzione dei costi e l’aumento delle prestazioni dei modelli aperti rappresentano una doppia sfida: da un lato, offrono strumenti potenti per testare la resilienza delle infrastrutture; dall’altro, democratizzano l’accesso a tecniche di hacking avanzate.

Le organizzazioni dovrebbero considerare l’adozione di questi stessi modelli all’interno dei loro team di sicurezza, integrandoli in programmi di “red‑team” automatizzati, per anticipare le mosse degli aggressori e rafforzare le difese prima che le minacce emergenti diventino realtà operative.