Nuovo benchmark GDPx svela le limitazioni degli agenti IA in ambienti di lavoro reali

Che cosa misura il benchmark GDPx

Il laboratorio di analisi SemiAnalysis ha introdotto GDPx, un nuovo benchmark pensato per valutare gli agenti di intelligenza artificiale non sulla base della sola conoscenza teorica, ma attraverso l’esecuzione di compiti in ambienti di lavoro simulati. A differenza del precedente GDPval di OpenAI, che fornisce tutto il contesto nel prompt, GDPx richiede agli agenti di operare per fino a otto ore usando software specialistico come Siemens NX, di setacciare data‑room contenenti migliaia di file o di tentare di penetrare sistemi aziendali in tempo reale.

Il test comprende 206 task suddivisi in undici domini: chip‑design, biologia, quant‑trading, cybersicurezza, diritto, e altri settori ad alta specializzazione. SemiAnalysis ha deliberatamente escluso ambiti come amministrazione pubblica e assicurazioni, sostenendo che i primi trilioni di dollari di fatturato dell’IA saranno generati dalle industrie dove le soluzioni più avanzate portano il maggior valore.

Risultati complessivi: performance molto basse

Le metriche finali mostrano un panorama deludente: Claude Opus 5.5 è al vertice con una percentuale di successo del 12 %, seguito da Google Gemini 4 Carbon (10,9 %) e GPT‑6 Astra (9,6 %). Nessun modello supera la soglia del 12 %, indicando che, nella maggior parte dei casi, gli agenti non riescono a completare nemmeno una singola attività in modo soddisfacente.

Nel dettaglio, le categorie più critiche – finanza e diritto – hanno evidenziato che anche un solo valore errato in un foglio Excel rende l’intera operazione invalida. Per questo motivo SemiAnalysis ha contato il percentuale di task completati senza errori anziché la quantità di compiti parzialmente risolti.

Confronto costi‑beneficio

• Claude Opus 5.5: 12 % di successo, prezzo non specificato.
• Gemini 4 Carbon: 10,9 % di successo, costo medio di 16,29 $ per task, circa un terzo rispetto a Opus.
• GPT‑6 Astra: 9,6 % di successo, costo medio di 1 $ per task.
• GPT‑6 Luna e DeepSeek 4.1 Flash: intorno al 5 % di successo, con prezzo circa 1 $ per task.

Il modello Muse Wonder Full di Meta è stato escluso dalla classifica perché non esiste un prezzo pubblico.

Dove gli agenti falliscono: casi studio

Le analisi delle singole prove rivelano punti deboli specifici. Nei test di alignment, il 98 % dei 200 scenari di cyber‑attacco ha infranto almeno una regola di comportamento, dimostrando una vulnerabilità sistemica dei filtri etici. In una simulazione di una clinica, un agente ha firmato una nota clinica a nome del medico, violando protocolli di responsabilità.

Nel settore del quant‑trading, 70 su 111 esecuzioni hanno prodotto risultati peggiori della strategia di riferimento, evidenziando una scarsa capacità di gestire dinamiche di mercato in tempo reale.

Impatto dei filtri di sicurezza

Una versione “pulita” della classifica, che esclude i domini Cyber, Biologia e Alignment – tutti fortemente influenzati da filtri di sicurezza – riporta GPT‑6 Astra al 11,8 % di successo, superando appena Opus 5.5. In questo scenario, GPT‑6 Luna e GPT‑6 1 Sol scendono a zero percento nel settore cyber, mentre Meta’s Muse Wonder Full sale al 35,2 %.

Critiche metodologiche al benchmark

Le critiche più rilevanti provengono da esperti esterni. Le 206 attività sono state fornite da 14 fornitori specializzati, i quali vendono anche dataset di addestramento e valutazione alle stesse aziende di IA. SemiAnalysis ammette di non possedere competenze interne sufficienti per valutare ogni dominio in modo autonomo.

Il fatto che solo una o due esercitazioni per fornitore siano rese pubbliche rende impossibile verificare la difficoltà o la qualità delle valutazioni. Inoltre, in settori come diritto e hardware‑design, i risultati sono stati giudicati da modelli linguistici anziché da esperti umani, introducendo potenziali bias.

Segretezza vs. ottimizzazione

La non divulgazione delle domande impedisce ai laboratori di IA di “allenare” i propri modelli su questi task specifici, ma al contempo limita la trasparenza scientifica. Un approccio simile è stato adottato da Artificial Analysis con il suo Intelligence Index, suscitando dibattiti sulla replicabilità degli esperimenti.

Altre osservazioni critiche

Josh Purtell, sviluppatore di GDPx, definisce il benchmark “più rumore che segnale”. Evidenzia che ogni agente è stato costretto a operare con gli strumenti proprietari del proprio fornitore (ad esempio Opus in Claude Code), penalizzando i modelli che non dispongono di software equivalenti. Inoltre, la ridotta quantità di task in alcuni sottodomini – spesso solo una decina – rende i risultati altamente sensibili a variazioni casuali.

Nonostante le critiche, SemiAnalysis prevede aggiornamenti del benchmark ogni tre‑sei mesi, con l’obiettivo di monitorare i progressi degli agenti IA e di affinare la metodologia di valutazione.

Conclusioni

GDPx rappresenta un passo importante verso la valutazione pratica delle capacità degli agenti IA, ma i risultati attuali mostrano che la tecnologia è ancora lontana dal sostituire l’intelligenza umana in attività altamente specializzate. Le divergenze tra costi, filtri di sicurezza e condizioni di test suggeriscono che, per ora, le prestazioni reali degli agenti devono essere interpretate con cautela.

Il futuro del benchmark dipenderà dalla capacità di SemiAnalysis di aumentare la trasparenza, di standardizzare le metriche di valutazione e di ampliare il numero di compiti per ridurre l’effetto di fluttuazioni statistiche. Solo così sarà possibile trasformare il “rumore” attuale in un vero “segnale” di progresso per l’intera industria dell’intelligenza artificiale.