Una panoramica dello studio

Quanto tempo resta valido un risultato scientifico sui grandi modelli linguistici (LLM)? Secondo una recente indagine condotta da Owen Queen e James Zou, ricercatori dell’Università di Stanford, la risposta è “non molto”. Gli autori hanno esaminato cinquanta affermazioni ampiamente citate riguardo ai LLM, testandole su venti modelli pubblicati tra luglio 2024 e settembre 2026 da otto diversi sviluppatori.

Il risultato principale è sorprendente: il 44 % dei risultati testati è già “scaduto”, cioè l’effetto originale è praticamente scomparso. Un ulteriore 34 % ha mostrato un netto indebolimento, mentre solo il 16 % persiste ancora e il 6 % si è addirittura rafforzato.

Tra i 22 risultati con una data di “scadenza” stimata, la vita media è stata di 15,7 mesi. Dopo un anno, il 16 % era già scaduto; dopo due anni, la percentuale era salita al 39 %.

Quali tipologie di affermazioni si deteriorano più rapidamente?

Le affermazioni che riguardano ciò che i modelli non sanno fare sono quelle che perdono validità più rapidamente. In particolare, cinque su nove risultati relativi al “reasoning” (ragionamento) sono risultati “scaduti”, nessuno è rimasto stabile o si è rafforzato. Tra questi troviamo:

Il conteggio dei caratteri in parole come “strawberry”.
L’aritmetica in sistemi numerici non convenzionali.
La perdita di informazioni al centro di contesti molto lunghi.
L’abbandono di risposte corrette quando l’utente introduce contraddizioni.

Gli autori ipotizzano che questi errori rappresentino “veri” punti deboli su cui i developer possono intervenire con addestramenti mirati.

Distribuzione dei risultati per area di ricerca

La scomposizione per settore evidenzia che le affermazioni sul ragionamento logico decadono più velocemente, mentre quelle relative a flattery (lusinghe) e comportamento strategico rimangono più durature.

Affinamenti e rinforzi: cosa resiste?

Le affermazioni riguardanti preferenze e tendenze dei modelli risultano più longeve. Dei 11 risultati che sono rimasti validi o si sono rafforzati, tre riguardano il comportamento dei LLM come valutatori:

Preferiscono le proprie risposte rispetto a quelle di altri modelli.
Valutano in modo simile articoli accettati e rifiutati.
Si lasciano influenzare da una formulazione più “elegante” negli abstract medici.

Altri tre risultati riguardano la tendenza a lusingare e concordare con gli utenti, mentre gli ultimi includono:

Una leggera tendenza politica verso sinistra.
Risposte quasi identiche a domande aperte.
Una distribuzione non uniforme quando si generano numeri casuali.

Case study: le citazioni inventate

Una delle analisi più incisive riguarda la “fabricazione” di riferimenti scientifici. Nella ricerca originale di Walters e Wilder (2023), GPT‑3.5 inventava il 55 % delle citazioni richieste. Quando Queen e Zou hanno riproposto gli stessi prompt ai modelli più recenti, i risultati sono stati:

GPT‑6.1 Sol: 0 % di citazioni inventate.
Claude Sonnet 5.5: 1 %.
Qwen 3.7‑Flash (2026): 69 %, dimostrando che non tutti i modelli più nuovi hanno migliorato questo aspetto.

Nonostante questi progressi, gli autori avvertono contro un’interpretazione troppo ottimistica. In domande “two‑hop”, dove il modello deve combinare due fatti noti, Claude Sonnet 5.5 fallisce in circa il 10 % dei casi, mentre il paper originale riportava un 43 % di errori per ChatGPT.

Altri fenomeni persistenti

Il cosiddetto “Reversal Curse” e le risposte contraddittorie a domande temporali rimangono rilevabili, sebbene in forma attenuata. Le distorsioni sociali mostrano un quadro misto: la tendenza politica verso sinistra persiste, mentre gli stereotipi di genere e le associazioni implicite si sono indeboliti. Curiosamente, i pregiudizi verso parlanti di African American English hanno addirittura mostrato una tendenza inversa.

Varietà tra i modelli

Le differenze tra i singoli modelli sono marcate, anche se pubblicati nello stesso intervallo di tempo. Tra i modelli lanciati da luglio a settembre 2026, il numero di risultati “scaduti” varia da:

11 per DeepSeek V4 Pro.
30 per GPT‑6.1 Sol.

Data di pubblicazione, fornitore o dimensione del modello non riescono a predire in modo affidabile il pattern di obsolescenza.

Raccomandazioni per la ricerca futura

Queen e Zou traggono una conclusione fondamentale: i risultati empirici sui LLM dovrebbero essere presentati come osservazioni su modelli specifici in momenti specifici, non come verità universali. Gli articoli scientifici dovrebbero includere:

Modello, versione e data di test.
Prompt completi e codice di analisi.
Dataset di riferimento e condizioni sperimentali.

Solo così i risultati potranno essere verificati su versioni future dei modelli.

Il punto di vista di Andrej Karpathy

Gli autori citano anche un contributo di Andrej Karpathy, che spiega come le lacune percettive sul comportamento reale dei LLM influenzino la fiducia e l’adozione dell’IA. Karpathy, co‑fondatore di OpenAI e attualmente presso Anthropic, ha recentemente affermato che i modelli attualmente disponibili sono solo un’anteprima delle capacità future.

Conclusioni

Il rapido “moving goalpost” dell’IA rende necessario un approccio più dinamico alla ricerca: documentazione dettagliata, trasparenza dei prompt e aggiornamenti continui sono gli strumenti chiave per mantenere la validità scientifica in un campo in continua evoluzione.