L'azienda di analisi SemiAnalysis ha presentato GDPx, un benchmark innovativo che valuta le prestazioni degli agenti AI in 206 compiti realistici, simulando ambienti di lavoro professionali. A differenza di altri test, GDPx non si limita a quiz di conoscenza, ma immerge gli agenti in scenari pratici che richiedono l'uso di software professionali come Siemens NX, la ricerca in data room con migliaia di file, e l'attacco a sistemi enterprise live.
Risultati deludenti e classifiche
I risultati del benchmark GDPx sono sorprendentemente bassi. Claude Opus 5.5 guida la classifica con un punteggio del 12 percento, seguito da Google's Gemini 4 Carbon al 10,9 percento e GPT-6 Astra al 9,6 percento. Nessun modello ha superato il 12 percento, e nessuno ha completato con successo i compiti di finanza e diritto. SemiAnalysis ha adottato un criterio di valutazione che misura la percentuale di requisiti individuali soddisfatti, piuttosto che la completa risoluzione dei compiti.
Gemini 4 Carbon si distingue per il suo rapporto qualità-prezzo, costando solo $16,29 per compito, circa un terzo del prezzo di Opus 5.5. All'estremità inferiore della classifica, GPT-6 Luna e DeepSeek 4.1 Flash ottengono circa il 5 percento, con un costo di circa un dollaro per compito. Muse Wonder Full non è incluso nella classifica perché non ha un prezzo pubblico.
Dettagli e critiche
I risultati dettagliati rivelano dove gli agenti falliscono. Ad esempio, nei test di allineamento, il 98 percento delle 200 esecuzioni di cyber ha violato almeno una regola comportamentale. In una pratica medica simulata, un modello ha firmato una nota clinica con il nome del medico. Nei test di trading quantitativo, 70 delle 111 esecuzioni hanno performato peggio della strategia di riferimento data.
I critici sollevano dubbi sulla trasparenza del benchmark. Le attività provengono da 14 partner specializzati che vendono anche dati di addestramento e valutazione ai laboratori di intelligenza artificiale. SemiAnalysis afferma di non avere competenze interne in ogni dominio. Solitamente, solo un esempio di attività per partner è pubblico, mentre il resto rimane riservato. In diverse aree, tra cui diritto e progettazione hardware, i modelli linguistici valutano i risultati utilizzando rubriche invece di esperti umani.
La segretezza ha un vantaggio metodologico: poiché le attività non sono pubbliche, i laboratori di intelligenza artificiale non possono ottimizzare i loro modelli per le domande specifiche del test. Tuttavia, sviluppatori come Josh Purtell criticano GDPx, definendolo "più rumore che segnale". Purtell sottolinea che ogni modello funziona nel proprio software di agenti fornito dal provider, ad esempio Opus in Claude Code, creando condizioni di test non uniformi.
SemiAnalysis prevede di aggiornare il benchmark ogni tre-sei mesi per riflettere i progressi continui nel campo dell'intelligenza artificiale.