Il divario tra capacità e affidabilità dell'intelligenza artificiale emerge chiaramente dai dati della METR e dal lavoro dei ricercatori di Princeton University. I modelli AI riescono in compiti sempre più complessi, ma restano instabili quando devono operare in contesti reali come lavoro e automazione, dove la continuità, la sicurezza e la prevedibilità sono indispensabili.

Capacità e affidabilità AI: la stessa metrica, due domande

L'intelligenza artificiale supera brillantemente esami notoriamente difficili, ma non sottrae posti di lavoro. Esegue compiti software complessi che richiederebbero a un programmatore esperto diversi giorni, ma ha il 50 per cento di probabilità di riuscire in compiti tecnici complessi. Il 50 per cento non è piuttosto basso?

Il problema, come hanno osservato John Burn-Murdoch e Sarah O’Connor in un recente numero della newsletter The AI Shift del Financial Times, è che stiamo usando le stesse metriche per rispondere a due domande completamente diverse:

Esiste almeno una modesta probabilità che l’AI riesca in questo compito?
Possiamo fidarci che l’AI riesca quasi sempre?

Le due domande hanno implicazioni quasi diametralmente opposte: se un sistema di intelligenza artificiale riesce nel 50% dei casi a infiltrarsi in una rete informatica aziendale, è un grave problema di sicurezza, visto che basterebbe per creare danni devastanti. Ma se lo stesso sistema riesce in compiti lavorativi in soli due casi su dieci, semplicemente non è utilizzabile. Questo contrasto evidenzia due rischi ben distinti: il dangerous success (successo pericoloso) e il dangerous failure (fallimento pericoloso).

Capacità AI: i dati della METR

La comunità della sicurezza ha a disposizione uno strumento molto riconosciuto per misurare le capacità dei modelli AI: il software time horizon, sviluppato da METR. Secondo un paper pubblicato nel febbraio 2026 e aggiornato più volte dopo (Measuring AI Ability to Complete Long Software Tasks), i ricercatori di METR hanno introdotto una metrica chiara: il 50% di completamento in tempo, misurato in base al tempo necessario a un programmatore esperto.

La metrica è intuitiva e pragmatica: se un modello AI ha un orizzonte di 110 minuti, significa che riesce a completare compiti che un programmatore umano richiederebbe quasi due ore.

I risultati sono impressionanti per capacità: dal 2019 al 2025, l’orizzonte temporale di completamento AI passa da 2 secondi di GPT-2 a circa 110 minuti per il modello o3. Il tempo di raddoppio è di circa 207 giorni, poco meno di sette mesi. Il modello riesce in alcuni compiti che richiederebbero a un professionista umano più di quattro ore. Questo trend sembra addirittura accelerare nel periodo 2024-2025.

Se il trend prosegue, come ipotizzato nella ricerca con cautela suggerisce, verso il 2031 l’AI potrebbe completare compiti da oltre 167 ore lavorative con successo almeno una volta su due. Questo punto rappresenterebbe un equivalente economico a un neoassunto che abbia completato l'onboarding.

Perché il focus è sul software?

Il motivo risiede nel ruolo cruciale che la programmazione svolge nel progresso autonomo dei sistemi AI. Gli esperti di METR, in un'intervista al podcast Bloomberg Odd Lots, spiegano che il progresso nel campo dei compiti di programmazione è un segnale per capire quando i sistemi AI potrebbero iniziare ad accelerare il proprio progresso. Questo processo, chiamato miglioramento ricorsivo autonomo, apre la strada a scenari tecnologici potenzialmente sconosciuti e pericolosi.

Le ricerche di METR non guardano solo alle potenzialità AI, ma anche a come l’AI può iniziare a modificare se stessa e l’ambiente in cui opera, aprendo scenari complessi che richiedono una seria attenzione da parte governi, aziende e ricercatori.

La differenza tra capacità e affidabilità aiuta a ridurre i rischi

Tuttavia, esiste un dettaglio chiave nel piano METR: il time horizon all’80% di successo, ovvero la durata dei compiti che l’AI riesce quasi sempre a completare.

Mentre il tempo di raddoppio è quasi simile (204 giorni), l’orizzonte temporale si riduce considerevolmente: modelli che riescono a svolgere alcuni compiti di due ore riescono a completarne compiti da 20-25 minuti quasi sempre. Questi dati mostrano un chiaro divario tra la frontiera della capacità e quella dell’affidabilità.

Per approfondire questa relazione, bisogna andare a guardare il lavoro presentato nell’ottobre 2025 da un team di ricercatori della Princeton University.

Affidabilità AI: il lavoro di Princeton University

Un gruppo guidato da Stephan Rabanser, Sayash Kapoor e Arvind Narayanan ha pubblicato a giugno un lavoro intitolato Towards a Science of AI Agent Reliability presentato all’ICML 2026. Il paper affronta il problema da un’angolatura completamente diversa: non si chiede solo quanto l’AI possa essere competente, ma quanto possa essere affidabile nel mondo reale.

I ricercatori hanno esaminato casi in cui agenti AI hanno fallito in modo imprevedibile:

L’assistente AI di Replit ha cancellato un intero database di produzione nonostante istruzioni esplicite.
L’Operator di OpenAI ha effettuato un acquisto non autorizzato bypassando la conferma dell’utente.
Un chatbot governativo di New York ha offerto consulenze legali errate alle imprese.

Ciò conferma che in contesti aziendali e operativi, persino sistemi giudicati capaci durante i test interni falliscono frequentemente. I ricercatori hanno quindi costruito un nuovo framework mutuato da sistemi safety-critical come quelli dell’ingegneria aeronautica, nucleare e dei veicoli autonomi. Il modello valuta quattro dimensioni complessive attraverso dodici metriche concrete, testate su 15 modelli di AI.

I dati dell’affidabilità

Vediamo i dati centrali dell’indagine:

Nel corso di 24 mesi di sviluppo, l'accuratezza dei modelli ha registrato una pendenza di 0.23 punti per anno sul benchmark GAIA e 0.22 punti per anno su τ-bench. L’incremento in termini di capacità quindi è stato significativo, ma per quanto riguarda l’affidabilit