Introduzione a CWE‑bench v2

CWE‑bench è stato concepito per testare i limiti delle più avanzate capacità cyber. Nell’ambito della nostra continua ricerca di spingere l’orizzonte presso Collinear AI, la versione 2 del benchmark mette a disposizione un set pubblico di 100 task che chiunque può eseguire per valutare i propri modelli.

Il meccanismo resta invariato: un agente riceve il checkout di un repository open‑source reale e una breve istruzione, con l’obiettivo di individuare e correggere una vulnerabilità di sicurezza senza compromettere la funzionalità esistente. La valutazione è interamente programmatica, garantendo risultati deterministici e riproducibili senza costi aggiuntivi.

Procedura di valutazione

Tutti i controlli programmatici sono stati curati con il supporto di panel di giudici LLM, orientati verso la difficoltà e l’equità.
È mantenuto un set di test riservato (held‑out) per monitorare i progressi su compiti non ancora visti da alcun modello.
Per valutare il proprio modello sul set riservato, è possibile contattare cyber@collinear.ai.

Copertura e obiettivi del benchmark

Il nostro scopo è essere esaustivi: un difensore deve anticipare tutti i possibili modi di ingresso di un attaccante e riuscire a bloccarli ogni volta. I 100 compiti coprono 91 CWEs diversi, spaziando attraverso numerose classi di vulnerabilità.

Un modello performante deve comprendere le molteplici superfici di debolezza che un potenziale aggressore può sfruttare; riconoscere semplici pattern noti non è sufficiente.

Controlli di qualità per ogni task

Verifica che il task sia autonomo e riproducibile.
Conferma che l’istruzione sia chiara e priva di ambiguità.
Assicurazione che il verificatore restituisca risultati deterministici.
Controllo che il task non introduca regressioni di funzionalità.

Ogni compito è stato inoltre revisionato manualmente. L’apertura del set al pubblico fa parte del medesimo impegno volto a migliorare la qualità, e accogliamo con favore feedback e contributi.

Risultati e leaderboard

I risultati sono tracciati in due luoghi sul Hub. La leaderboard nella pagina del dataset CWE‑bench raccoglie modelli a peso aperto e si aggiorna automaticamente: laboratori e community aggiungono un risultato aprendo una pull request nel repository del modello con un file di risultati.

Per il confronto completo, inclusi modelli disponibili solo via API come Gemini, Claude e GPT, consultare lo CWE‑bench leaderboard Space, dove i nuovi modelli vengono inseriti tramite pull request sullo Space.

Performance dei modelli valutati

Gemini 4 Argon: 67,8 % pass@1, 81,0 % pass@4 (leader).
Claude Opus 5.5: 67,3 % pass@1, 78,0 % pass@4.
95 task risolti da almeno un modello, dimostrando la fattibilità complessiva.
Il leader fallisce comunque il 19 % dei compiti su ogni tentativo, indicando una lunga coda ancora irrisolta.

Costi e frontiera di Pareto

In termini di costo, DeepSeek V4.1 Flash (1017), Claude Opus 5.5 e Gemini 4 Argon formano la frontiera di Pareto:

DeepSeek raggiunge il 57,0 % pass@1 a 0,04 $ per rollout.
Claude Opus aggiunge dieci punti a 1,83 $.
Gemini supera entrambi a 3,92 $.

Implementazione tecnica e utilizzo

Ogni task è un Harbor task autonomo (ambiente Docker, istruzione e verificatore deterministico). Il dataset fornisce un registry.json che permette a Harbor di eseguire l’intero benchmark direttamente dal repository Hugging Face, senza necessità di clonazioni locali.

Comandi principali:

-k 4 esegue quattro tentativi per task; il punteggio riportato è la media delle 400 prove complessive.
Il dataset è gated: è necessario accettare le condizioni di accesso sulla pagina del dataset.
Harbor recupera i task via git; è consigliato salvare il token HF nel credential helper di git una volta.

Applicazioni future

I task sono anche etichettati rl‑environment: gli stessi ambienti e verificatori possono fornire ricompense per l’addestramento di agenti difensivi, non solo per la loro valutazione. Questo apre la strada a un ciclo di feedback continuo tra valutazione e miglioramento dei modelli di sicurezza.