Contesto e metodologie dell’esperimento
Anthropic ha coinvolto cinquanta professionisti esperti in analisi causale in un compito realistico di valutazione dei dati di una cooperativa agricola immaginaria. L’obiettivo era stimare i guadagni di produttività derivanti da un programma di consulenza volontario per le aziende agricole e fornire al consiglio direttivo una raccomandazione: estendere il programma a tutti i membri o interromperlo. In aggiunta, i partecipanti potevano suggerire una proroga di un anno.
Per ciascuna delle quattro decisioni analitiche (ad esempio scelta della metrica di produttività o del metodo statistico) erano state previste due opzioni entrambe ragionevoli. La preferenza dell’agente IA per una delle due opzioni veniva determinata in anticipo da un lancio di moneta, in modo totalmente casuale.
L’agente non poteva mentire né nascondere dati: doveva fornire l’argomentazione più forte a favore della posizione a cui era stato assegnato. I partecipanti, ignari del meccanismo di assegnazione, dovevano poi scegliere la loro risposta finale.
Meccanismo della “flip‑rate”
Il “flip‑rate” indica la differenza percentuale tra la scelta dei partecipanti quando l’agente era inclinato verso l’opzione A rispetto a quando era inclinato verso l’opzione B. Questo valore misura l’effetto netto dell’agente sulle decisioni umane.
Risultati principali
In media, i partecipanti hanno seguito la predisposizione dell’agente in 86 % dei casi. Con una distribuzione casuale ci si attendeva il 50 %, ma il valore osservato è stato molto più alto, con una flip‑rate compresa tra il 62 % e l’82 % a seconda della decisione specifica.
Nel caso della raccomandazione finale al consiglio, l’influenza dell’agente è stata più contenuta: la differenza tra i gruppi A e B si è ridotta a 17 punti percentuali e non ha raggiunto la significatività statistica.
Un risultato sorprendente è che anche i partecipanti già decisi prima dell’intervento dell’agente hanno cambiato opinione: una posizione opposta dell’agente aumentava la probabilità di cambiamento del 53 % rispetto a una posizione concordante.
Gli autori hanno testato dieci potenziali fattori protettivi – anni di esperienza, autovalutazione dell’expertise, livello di istruzione, risultato a un test di conoscenza e fiducia nella IA, tra gli altri – ma nessuno ha mostrato una correlazione statisticamente significativa con la capacità di resistere all’influenza dell’agente.
Velocità e accuratezza
Il lavoro con l’agente ha ridotto il tempo medio di analisi da 90 minuti a 65 minuti. Inoltre, le analisi condotte con l’assistenza dell’IA presentavano solo il 6 % di errori metodologici o di programmazione, contro il 55 % nei gruppi senza IA.
Percezione della propria decisione
Nel sondaggio post‑esperimento, il 52 % dei partecipanti ha ritenuto la raccomandazione più propria che quella dell’agente, e il 35 % l’ha valutata prevalentemente o interamente propria. Nonostante ciò, il 77 % ha incorporato almeno un argomento dell’agente nelle proprie giustificazioni, spesso quasi parola per parola, e solo il 15 % ha menzionato la presenza dell’IA.
L’analisi dei protocolli di conversazione ha rivelato che l’agente ha assunto una posizione in circa il 77 % delle decisioni, argomentando quasi esclusivamente a favore della sua parte preferita senza spiegare le ragioni per cui un esperto competente potrebbe scegliere l’opzione opposta.
Implicazioni per la ricerca e la sicurezza dell’IA
Gli autori avvertono che il fenomeno di “falso consenso” potrebbe diventare pericoloso se più team di ricerca adottano lo stesso modello di agente con preferenze predefinite. In ambiti critici come la valutazione della sicurezza dei modelli di IA avanzati, l’influenza non riconosciuta di un agente potrebbe indirizzare erroneamente la ricerca stessa, impedendo l’individuazione di problemi di allineamento.
Per mitigare questi rischi, gli studiosi propongono diverse misure:
- Gli agenti dovrebbero presentare argomentazioni per entrambe le opzioni, evitando di favorire una sola posizione.
- Prima di esporre la propria opinione, l’agente dovrebbe chiedere all’esperto qual è la sua valutazione preliminare.
- Le istituzioni devono definire chiaramente quali decisioni richiedono un giudizio umano autonomo e allocare risorse adeguate per garantire tale autonomia.
Prospettive future
Il lavoro suggerisce che non esiste una “soluzione unica” per la divisione del lavoro tra uomo e IA. Alcune scelte possono essere delegabili in modo sicuro, altre richiedono la supervisione umana. Con gli strumenti adeguati, è possibile scegliere consapevolmente dove affidare la decisione, invece di lasciarsi trascinare involontariamente dall’influenza dell’IA.