Quando gli esperti affidano il proprio lavoro a un agente di intelligenza artificiale, si presume che le decisioni cruciali rimangano loro. L’agente genera codice, esegue i calcoli e fornisce consigli, ma spetta all’esperto scegliere cosa misurare, come interpretare le evidenze ambigue e quali passi successivi intraprendere. Spesso esistono più risposte ragionevoli e la scelta dipende dall’esperienza e dai valori del decisore.

Obiettivo dello studio

Il nostro scopo era verificare se, nella pratica, gli esperti mantengono il controllo o se tendono a delegare le scelte all’IA. Per farlo, abbiamo condotto un esperimento, descritto in un nuovo articolo scientifico, coinvolgendo 50 analisti professionisti nell’uso di Claude Code per una simulazione di analisi statistica.

Tutti i partecipanti avevano esperienza nell’inferenza causale, cioè la capacità di determinare, a partire dai dati, se un fenomeno ne provoca un altro. Il compito consisteva nel consigliare una cooperativa agricola sulla bontà di un servizio di consulenza da espandere.

Le quattro scelte chiave

Durante l’analisi, gli analisti dovevano prendere quattro decisioni tra due opzioni ciascuna, ad esempio:

Misurare la produttività come rendimento per ettaro oppure come rendimento per unità di costo operativo?
Adottare un design “difference‑in‑differences” confrontando le variazioni dei rendimenti dei fattori iscritti con quelli non iscritti, oppure confrontare i rendimenti direttamente aggiustando statisticamente le differenze tra le aziende?
Valutare l’effetto solo sui fattori iscritti o sull’intera cooperativa?
Ponderare ogni fattoria allo stesso modo o dare più peso ai grandi produttori?

Le risposte a queste domande avrebbero potuto modificare la stima del guadagno di produttività di diversi punti percentuali, un fattore decisivo dato che il consiglio della cooperativa richiede un miglioramento di 3‑4 % per approvare l’espansione.

Metodologia sperimentale

Per ciascun analista, il “lean” (preferenza) dell’agente su ciascuna delle quattro decisioni è stato determinato da un lancio di moneta, senza che il partecipante ne fosse informato. L’agente, istruito via prompt di sistema, doveva sostenere la propria posizione con gli argomenti più solidi consentiti dai dati, cambiare idea solo se le evidenze lo richiedevano e non fuorviare in alcun modo.

Abbiamo reclutato 61 analisti da un pool pre‑selezionato, tutti con comprovata competenza in Python o R e con esperienza pratica nell’inferenza causale osservazionale. Undici hanno scelto di non usare l’agente e sono stati esclusi dall’analisi principale, lasciando 50 partecipanti.

Le caratteristiche del campione erano:

65 % con master o dottorato, o più di sei anni di esperienza;
90 % si autovalutavano come competenti o esperti in inferenza causale osservazionale (su 48 rispondenti);
Tempo medio di completamento: 65 minuti (intervallo 50‑79 minuti);
Lavoro svolto su VS Code web con Claude Code integrato, usando Claude Opus 4.8 ad “High effort”.

Al termine, gli analisti hanno inviato le quattro scelte, la raccomandazione finale (espansione o interruzione del programma, con eventuale proposta di estensione di un anno) e una stima dell’effetto con intervallo di confidenza. Successivamente hanno compilato un questionario post‑task.

Raccolta dei dati

Un modello di IA separato ha analizzato ciascuna sottomissione e il relativo codice per identificare quale opzione fosse stata effettivamente scelta in ogni decisione. In caso di discrepanze con le risposte del questionario, il modello ha fornito la valutazione finale.

Risultati principali

Gli analisti hanno seguito il “lean” dell’agente nella stragrande maggioranza dei casi:

92 % per la misura dell’outcome;
82 % per il metodo di confronto;
81 % per la popolazione di fattorie considerata;
90 % per la ponderazione.

Complessivamente, l’accordo su tutte e quattro le decisioni è stato dell’86 %.

Quando gli analisti avevano già espresso una preferenza prima dell’intervento dell’agente, hanno cambiato idea nel 60 % dei casi se l’agente dissentiva, contro solo il 6 % quando l’agente era d’accordo.

Nel questionario, il 77 % degli analisti ha citato gli argomenti forniti dall’agente (talvolta parola per parola), ma solo il 15 % ha riconosciuto l’agente come fonte di tali argomenti.

Nonostante la forte influenza, la fiducia degli analisti nella loro raccomandazione finale è risultata simile a quella di chi ha seguito meno le indicazioni dell’agente, così come la percezione di aver agito autonomamente.

Effetto sulla raccomandazione finale

Il “lean” dell’agente ha avuto un impatto più debole sulla decisione finale, ma comunque significativo: quando l’agente favoriva l’espansione, il 54 % degli analisti l’ha raccomandata, contro il 36 % quando l’agente era contrario (una proposta di estensione di un anno è conteggiata come “non espansione”).

Implicazioni e riflessioni

Non si tratta di una semplice avvertenza contro l’uso dell’IA. Gli analisti che hanno utilizzato l’agente hanno terminato il compito più velocemente e hanno commesso molto meno errori gravi rispetto a chi ha lavorato senza AI, sebbene il gruppo di controllo fosse più piccolo e meno esperto.

Tuttavia, con l’aumento dell’automazione, le decisioni rimanenti – quelle che richiedono giudizio e valori umani – diventeranno sempre più critiche. Se gli esperti delegano inconsapevolmente a un agente, le preferenze dell’IA – potenzialmente arbitrarie o non allineate – potrebbero guidare scelte di politica pubblica o direzioni di ricerca.

Questo è particolarmente rilevante per la sicurezza dell’IA. Molti ricercatori usano agenti per condurre esperimenti e analizzare dati; un revisore umano è davvero indipendente solo se il suo giudizio non è stato già plasmato dall’agente.

Limiti dello studio

Non possiamo affermare con certezza che i risultati si generalizzino al mondo reale. In situazioni non manipolate, gli agenti possono mostrare una preferenza più lieve: Claude Opus 4.8 ha replicato le cinque scelte in 112 su 123 esecuzioni senza “lean” forzato. Quando le istruzioni non impongono una posizione chiara, l’effetto sull’utente potrebbe diminuire.

Inoltre, il campione è limitato a analisti con esperienza specifica in inferenza causale osservazionale e a un compito simulato.

Conclusioni

Lo studio evidenzia un fenomeno sottovalutato: gli esperti tendono a seguire le linee guida nascoste degli agenti IA nella maggior parte delle decisioni analitiche, anche quando non se ne rendono conto. Questo può accelerare il lavoro e ridurre gli errori, ma allo stesso tempo introduce il rischio che valori e bias dell’IA influenzino decisioni di grande impatto senza un adeguato scrutinio umano.

Per mitigare questi rischi, è necessario:

Rendere trasparenti le preferenze e i “lean” degli agenti;
Formare gli esperti a riconoscere quando stanno accettando argomenti AI piuttosto che elaborarli autonomamente;
Implementare meccanismi di verifica indipendente, soprattutto in contesti di policy e ricerca scientifica.

Solo così potremo sfruttare i vantaggi dell’automazione senza compromettere l’integrità delle decisioni basate sul giudizio umano.