Anthropic ha condotto un’indagine estesa sul modo in cui i modelli di Ia Claude esprimono e riflettono valori durante le conversazioni degli utenti. L'approccio ha incluso l'analisi di più di 300.000 conversazioni anonime che coprono un campione rappresentativo dei modelli disponibili, inclusi Sonnet 4.6, Opus 4.6 e Opus 4.7, nonché 20 delle lingue più utilizzate su Claude.ai.
L’obiettivo principale della ricerca era individuare e organizzare i concepeti di valore espressi da Claude in base a quattro dimensioni principali: entusiasmo vs. attenzione (“Deference vs. Caution”), calore vs. rigore (“Warmth vs. Rigor”), approfondimento vs. brevità (“Depth vs. Brevity”), e sincerità vs. orientamento all’azione (“Candor vs. Execution” ).
Dal mille al quattro: la riduzione statistica dei valori
Sull’onda della ricerca precedente Values in the Wild, che aveva identificato 3.307 parole e concetti legati alla valutazione morale, Anthropic ha effettuato un’analisi per sintetizzare questo materiale in 339 concetti superiori. Successivamente, attraverso una tecnica di riduzione statistica, il team ha isolato quattro schemi chiave in cui i valori tendono ad apparire contemporaneamente.
L’applicazione metodologica
Per ottenere un quadro sistematico e attendibile del comportamento di Claude, Anthropic ha tenuto presente diversi criteri esterni, come tipo di compito, argomento e valori espressi dagli utenti. Questa procedura ha permesso di evidenziare le variazioni residue, che le quattro dimensioni hanno spiegato circa il 15%. Inoltre, per valutare correttamente il comportamento, Anthropic ha fatto riferimento al modello Sonnet 4.6, facendoti esprimere valutazioni sugli altri modelli.
Modelli con profilo chiaro
I modelli differiscono in maniera misurabile nei loro modelli di risposta. Sonnet 4.6 conferma di frequente le ipotesi degli utenti, utilizza l’humor e spesso si esprime in modo rassicurante. Opus 4.7, invece, solleva spesso questioni, mette in discussione presupposti, esprime apertamente critiche, e riconosce errori o limiti. Opus 4.6 invece tende a rispondere in maniera diretta, aderendo maggiormente all’obiettivo iniziale.
In media, i modelli riflettono l’immagine che gli utenti solitamente attribuiscono. Sonnet 4.6 è visto come caldo e amichevole; Opus 4.7, invece, richiede di più chiarezza e precisione, e gli utenti tendono a notare una maggiore attenzione nel suo linguaggio.
La lingua modifica le risposte
La differenza più evidente è riconducibile alla lingua utilizzata. La dimensione più sensibile alla lingua è “calore vs. rigore”. In Hindi, Claude mostra il suo maggiore calore, espresso in toni cortesi, umoristici, e di conferma. Segue Arabo, mentre il modello è estremamente rigido e critico in Inglese e Russo, spesso chiedendo di chiarire dettagli e fornire prove.
In Arabo, Claude esprime il maggior grado di entusiasmo; in Inglese, il più alto livello di attenzione. Le risposte in Olandese sono più aperte e sincere, mentre quelle in Indonesiano mostrano maggiore orientamento all’azione risultante.
Che cosa ne è causato?
Anthropic attribuisce i cambiamenti di tono e atteggiamento a diversi fattori: la quantità e la provenienza dei dati di training, l'elevata rappresentazione di particolari tipi di testo, e le norme comunicative specifiche per ogni lingua.
In base a queste osservazioni, due persone potrebbero ottenere feedback molto diversi quando presentano lo stesso piano di business in Hindi o in Russo.
L’autodiagnosi e limiti della metodologia
La metodologia, pur presentando un modo nuovo e sistematico per analizzare e classificare le variazioni di comportamento di Claude, non è perfetta. Le quattro dimensioni riescono a spiegare appena il 15% della variabilità residua, che rimane non spiegata anche dopo aver considerato argomento, compito e valori utente.
Relazioni e interazioni non previste
Non tutte le quattro dimensioni rappresentano coppie opposte. Per esempio, maggiore entusiasmo si accompagna spesso a minore attenzione, mentre il calore e il rigore tendono a escludersi a vicenda. Al contrario, approfondimento e brevità si osservano insieme, così come sincerità e orientamento all’azione.
Riconoscere modelli non significa attribuirgli valori
Anthropic ribadisce che non attribuisce valori propri all’Aia, ma descrive modelli normativi evidenziabili nel comportamento del modello. L’interesse si focalizza su come questi modelli corrispondano alle descrizioni fornite per gli stessi modelli e se rappresentino una reale adattazione per le comunità linguistiche o piuttosto un effetto non intenzionale delle procedure di addestramento.
La ricerca rimane una valutazione interna: non esiste un confronto indipendente con riscontri esterni. Inoltre, non si può escludere completamente una distorsione legata alla lingua, nonostante siano state effettuate analisi manili e cross-linguistiche sui dati.