Gli agenti di codifica AI necessitano ancora di pulizia umana in quasi tre su quattro compiti

Introduzione al nuovo benchmark Co‑Design Bench

Ricercatori di Alibaba e di diverse università asiatiche hanno creato Co‑Design Bench, un test pensato per valutare gli agenti di codifica AI su richieste di modifica reali provenienti da sessioni di sviluppo software. A differenza dei benchmark tradizionali, qui gli agenti devono rielaborare applicazioni web esistenti in risposta a richieste che includono testi, immagini, registrazioni audio, video o documenti.

Il risultato principale è sorprendente: anche il modello più avanzato, GPT‑6 Astra, soddisfa in media il 70 % dei requisiti di un compito, ma raggiunge una soluzione completamente corretta in appena il 26,4 % dei casi. In pratica, l’agente gestisce la maggior parte del lavoro, ma lascia almeno un dettaglio incompleto, costringendo l’utente a intervenire manualmente.

Perché i benchmark tradizionali non bastano più

Gli autori del paper evidenziano che i benchmark esistenti sono ormai saturi. Quando i modelli possono eseguire, verificare e correggere autonomamente il proprio codice, ottengono punteggi superiori al 99 % e le differenze tra i modelli diventano quasi irrilevanti.

Ad esempio, sul benchmark più noto WebCompass‑edit i modelli di codifica agentica raggiungono quasi la perfezione, mentre su Co‑Design Bench la differenza supera i 35 punti percentuali. Questo divario dimostra che i test tradizionali non riflettono le difficoltà reali incontrate dagli sviluppatori.

Scelta dei casi di test

• Richieste che hanno richiesto più di una riformulazione da parte dell’utente.
• Situazioni in cui gli utenti hanno dovuto annullare modifiche precedenti.
• Compiti che spaziano da piccoli aggiustamenti (es. aggiornare importi su una ricevuta) a revisioni complete di progetto.

Queste scelte assicurano che il benchmark includa prevalentemente le tipologie di compiti che finora hanno rappresentato un ostacolo per gli agenti AI.

Valutazione rigorosa e risultati per modello

La valutazione è effettuata da due giudici AI: il primo verifica il funzionamento dell’app nel browser, mentre il secondo ricontrolla ogni risultato positivo cercando mock‑up o risultati hard‑coded. Solo le funzionalità realmente operative ricevono punti.

Tra i dieci modelli testati, il leader è GPT‑6 Astra, seguito da Claude Opus 5 e Qwen3.8‑Max. Grok 4.6 occupa l’ultimo posto. In scenari di revisioni più estese, il più piccolo Qwen3.8‑27B scala al secondo posto, ma gli autori non attribuiscono un vantaggio generale a questo modello.

Impatto della complessità delle richieste

Quando un compito combina tre o quattro tipologie di modifica (layout, design, interazione, contenuto), tutti i modelli vedono una netta diminuzione delle prestazioni. Questo è significativo perché nella pratica professionale le modifiche sono spesso interconnesse.

Nel tracciato multimodale, che richiede l’estrazione di dati da ricevute, tabelle o video e l’aggiornamento coerente di tutte le viste dipendenti, GPT‑6 Astra risolve completamente solo il 41 % dei compiti, mentre per i compiti basati su repository il tasso scende a appena il 18 %.

L’influenza dell’ambiente di esecuzione

Un esperimento separato ha mostrato che lo stesso modello può ottenere risultati molto diversi a seconda del “harness”, ovvero del programma attraverso cui legge, scrive ed esegue il codice. Qwen3.8‑27B ha ottenuto il 75 % di successo in un ambiente e solo il 56 % in un altro durante revisioni di grandi dimensioni.

Questo implica che i leaderboard che mostrano solo il punteggio del modello offrono una visione parziale. Per le aziende che desiderano adottare un agente di codifica, è fondamentale testare modello e ambiente come un unico sistema.

Limiti del benchmark

• Valuta una singola richiesta fissa per compito; non considera domande di follow‑up o correzioni a metà percorso.
• I giudici AI possono commettere errori di valutazione.
• Non misura l’interazione dinamica tra utente e agente.

Uno studio dell’organizzazione METR ha già evidenziato una discrepanza tra i risultati dei benchmark e l’usabilità reale: il tasso di accettazione del codice generato dall’AI è circa 24 punti percentuali inferiore rispetto ai punteggi di SWE‑bench Verified.

Conclusioni e prospettive future

Co‑Design Bench mette in luce una realtà ancora poco discussa: gli agenti di codifica AI, per quanto avanzati, non sono ancora in grado di consegnare soluzioni completamente autonome nella maggior parte dei casi. La necessità di interventi umani persiste in quasi tre su quattro compiti.

Il test sottolinea anche l’importanza di valutare sia il modello che l’ambiente di esecuzione, poiché entrambi influiscono significativamente sulle prestazioni. Per il futuro, gli sviluppatori di benchmark dovranno incorporare interazioni più dinamiche e considerare metriche che riflettano la collaborazione uomo‑macchina.

In sintesi, mentre i punteggi dei benchmark tradizionali possono suggerire una quasi perfezione, Co‑Design Bench dimostra che nella pratica reale gli agenti AI hanno ancora molta strada da fare prima di eliminare la necessità di pulizia e revisione umana.