I ricercatori di Stanford Owen Queen e James Zou hanno testato 50 affermazioni ampiamente citate su modelli linguistici di grandi dimensioni (LLM) contro 20 modelli e hanno scoperto che il 44% di queste affermazioni ha già "scaduto". Tra le 22 scoperte con una data di scadenza stimata, la durata media è stata di soli 15,7 mesi.
I due hanno esaminato le affermazioni utilizzando modelli rilasciati tra luglio 2024 e settembre 2026 da otto diversi sviluppatori. L'effetto originale dietro le scoperte scadute è in gran parte scomparso, mentre un altro 34% si è significativamente indebolito. Solo il 16% delle affermazioni è ancora valido e il 6% è addirittura diventato più forte. Dopo un anno, il 16% delle affermazioni era scaduto. Dopo due anni, questo numero è salito al 39%.
Le affermazioni su ciò che i modelli non possono fare scadono più velocemente
Secondo lo studio, le affermazioni su ciò che i modelli non possono fare scadono più velocemente. Cinque delle nove scoperte relative al ragionamento sono considerate scadute e nessuna è rimasta valida o si è rafforzata. Queste includono debolezze note come il conteggio delle lettere in "fragola", l'aritmetica in sistemi numerici non familiari, la perdita di informazioni nel mezzo di contesti lunghi e l'abbandono di risposte corrette quando gli utenti insistono. I ricercatori sospettano che questi tipi di errori abbiano un "risultato corretto", dando agli sviluppatori un obiettivo chiaro verso cui addestrare i modelli.
Preferenze e tendenze dimostrano una durata maggiore
Le affermazioni sulle preferenze e sulle tendenze si sono dimostrate più longeve. Tra le 11 scoperte che sono rimaste valide o si sono rafforzate, tre coinvolgono il comportamento degli LLM come valutatori. Essi preferiscono le proprie risposte, valutano in modo simile articoli accettati e rifiutati e sono influenzati da giri di parole linguistica negli abstract medici. Tre scoperte in più coinvolgono la sycophancy e l'accordo con gli utenti. Inoltre, c'è una tendenza politica di sinistra, risposte quasi identiche a domande aperte e una distribuzione non uniforme nella generazione di numeri casuali.
Riferimenti falsificati diminuiti, ma non ovunque
Come studio di caso, Queen e Zou hanno esaminato la falsificazione di citazioni scientifiche. Nell'studio originale del 2023 di Walters e Wilder, GPT-3.5 ha falsificato il 55% delle sue citazioni. I ricercatori di Stanford hanno inviato gli stessi prompt ai modelli attuali. GPT-6.1 Sol ha falsificato lo 0% e Claude Sonnet 5.5 è arrivato all'1%. Tuttavia, Qwen3.7-Flash, anch'esso un modello del 2026, ha falsificato il 69% delle sue citazioni nello stesso test.
Lo studio avverte contro l'interpretazione di questi risultati come un nullaosta. Nelle cosiddette domande a due passaggi, dove un modello deve combinare due fatti noti, Claude Sonnet 5.5 fallisce ancora nel 10% dei casi in cui risponde correttamente a entrambe le domande individuali. L'articolo originale riportava il 43% per ChatGPT. La "Reversal Curse" e le risposte contraddittorie a domande accoppiate relative al tempo si sono indebolite, ma sono ancora rilevabili.
I bias sociali sono un caso misto
Secondo i ricercatori, i bias sociali sono un caso misto. La tendenza politica di sinistra persiste, mentre gli stereotipi di genere e i bias di associazione implicita si sono indeboliti. I bias contro i parlanti di African American English sono addirittura cambiati di direzione nei dati di tendenza.
Le differenze tra modelli rimangono ampie anche all'interno della stessa generazione
I risultati variano notevolmente tra i modelli, anche all'interno della stessa finestra di rilascio. Tra i modelli rilasciati tra luglio e settembre 2026, il numero di scoperte scadute va da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. Né la data di rilascio, né il fornitore, né la dimensione del modello prevedono in modo affidabile il pattern.
Queen e Zou traggono una conclusione ampia. Le scoperte empiriche sugli LLM dovrebbero essere presentate come osservazioni su modelli specifici in un momento specifico, non come verità generali. Gli articoli dovrebbero documentare il modello, la versione e la data, e pubblicare prompt e codice di analisi in modo che le scoperte possano essere ritestate su modelli futuri.
I ricercatori fanno riferimento a un post di Andrej Karpathy che descrive come i gap di percezione sul comportamento effettivo degli LLM influenzano la fiducia nell'AI e quanto spesso le persone lo utilizzano. Karpathy, co-fondatore di OpenAI che ha poi raggiunto Anthropic, ha recentemente affermato che i modelli attualmente disponibili sono solo un anteprima delle capacità future.