Il divario nelle capacità degli LLM: chi ha ragione tra Karpathy e i critici

L'imbuto delle capacità degli LLM secondo Karpathy

Nel suo post del 11 ottobre 2026 su X, Andrej Karpathy presenta un'analisi che ha ricevuto 4,7 milioni di visualizzazioni nel giro di poche ore. La tesi centrale è affascinante: il divario nella comprensione delle capacità dei modelli linguistici di grandi dimensioni non è più una semplice dicotomia tra due gruppi di persone che "si parlano addosso", ma ha assunto la forma di un imbuto a quattro gradini sempre più netto e differenziato.

Karpathy non propone un'idea completamente nuova, ma aggiorna e affina un messaggio precedente. Il 9 aprile aveva già segnalato il crescente divario di comprensione sulla sua timeline, ricevendo 6,7 milioni di visualizzazioni. In quella occasione, la sua analisi identificava due gruppi principali di persone che fraintendevano reciprocamente le capacità dell'IA. Sei mesi dopo, la situazione si è evoluta in qualcosa di più complesso e stratificato, richiedendo un modello interpretativo più sofisticato. Questa evoluzione riflette non solo il progresso tecnologico, ma anche come le comunità di utenti si siano differenziate in maniera sempre più marcata.

I quattro gradini dell'imbuto

La struttura dell'imbuto proposto da Karpathy si articola in quattro livelli distinti, ognuno caratterizzato da un rapporto differente con i modelli linguistici e da una comprensione divergente delle loro capacità effettive.

Primo gradino: i non-utenti (75% della popolazione)

Il primo e più ampio gradino dell'imbuto raccoglie circa sei miliardi di persone, il 75% della popolazione mondiale. Questo gruppo è caratterizzato da un contatto minimo o praticamente nullo con i modelli linguistici di grande formato. Per queste persone, gli LLM rimangono un concetto astratto, qualcosa di cui hanno sentito parlare nei media o nelle conversazioni, ma che non hanno mai realmente esperito in prima persona. La loro comprensione è mediata interamente da resoconti di terzi, spesso sensazionalizzati o fuori dal contesto. Questo gruppo rappresenta una sorta di "baseline" di ignoranza non colpevole, dove le percezioni sono costruite interamente su narrazioni esterne anziché su esperienza diretta.

Secondo gradino: gli utenti occasionali (20% della popolazione)

Il secondo gradino comprende tra uno e due miliardi di persone, circa il 20% della popolazione mondiale. Questo gruppo utilizza prodotti gratuiti in stile ChatGPT in modo saltuario e spesso superficiale. Karpathy li descrive come persone che usano i modelli come motore di ricerca migliorato o come aiuto per scrivere. In questa categoria rientrano molti professionisti che operano al di fuori dei campi della matematica e della programmazione: dirigenti, manager, consulenti e altre figure professionali che passano le loro giornate a parlare con altre persone. Queste persone comprendono a livello intellettuale cosa stia accadendo nel mondo dell'IA, ma la loro comprensione è necessariamente di seconda mano, filtrata attraverso l'esperienza limitata che hanno con i piani gratuiti dei principali provider.

Il problema cruciale di questo gradino è che la loro esposizione ai modelli riguarda principalmente compiti dove, come vedremo, i modelli non hanno fatto i balzi di performance più significativi. Usano ChatGPT per scrivere una mail, per riassumere un testo, per ottenere suggerimenti stilistici. In questi ambiti, il modello funziona bene ma non straordinariamente, e i fallimenti sono relativamente frequenti e visibili. Di conseguenza, questo gruppo tende a formarsi un'opinione moderata e talvolta scettica sulle capacità dell'IA, perché osserva i modelli nel contesto dove sono meno impressionanti.

Terzo gradino: i professionisti di frontiera (0,2% della popolazione)

Il terzo gradino rappresenta un salto qualitativo drammatico. Raccoglie circa 20 milioni di persone, lo 0,2% della popolazione mondiale, ed è composto da chi usa modelli di frontiera per lavoro, specificamente in matematica e programmazione. Questo è il gruppo che ha accesso ai modelli più potenti disponibili commercialmente, come GPT-5, Claude Pro, o altri sistemi di punta nel settore.

L'esperienza di questo gruppo è radicalmente diversa. Karpathy racconta un aneddoto personale per illustrare il cambiamento: meno di un anno prima di scrivere il post, lui stesso scriveva codice a mano, carattere per carattere, premendo occasionalmente il tasto Tab per completare un piccolo frammento. Oggi, i modelli agentici completano task che richiedevano settimane o mesi di lavoro manuale con un singolo prompt. Le capacità osservabili includono: costruire app da zero, copiarle, tradurle, decompilarle dai file binari. Sono compiti che richiedevano una combinazione di esperienza, attenzione ai dettagli e tempo significativo. Ora il modello può farli in un pomeriggio.

Questo gruppo ha una perspettiva radicalmente diversa perché i compiti che esegue quotidianamente sono esattamente quelli dove i modelli hanno raggiunto performance sovrumane. Quando chiedi a un membro di questo gruppo quale sia il potenziale dell'IA, sentirai storie di trasformazioni produttive radicali. È comprensibile che la loro percezione delle capacità sia molto più ottimistica e radicale rispetto a quella del gradino precedente.

Quarto gradino: i ricercatori interni (0,00006% della popolazione)

L'ultimo gradino dell'imbuto è il più stretto e il più esclusivo: circa 5.000 persone, lo 0,00006% della popolazione mondiale, che hanno accesso interno ai sistemi di frontiera all'interno dei laboratori di ricerca e sviluppo delle aziende leader. Questo gruppo include ricercatori, ingegneri, e personale interno di OpenAI, Anthropic, Google DeepMind, e altre organizzazioni di frontiera.

Karpathy descrive cosa vede questo gruppo con toni quasi fantascientifici. Il mondo esterno ne ha visto solo un'anteprima attraverso i prodotti e i paper pubblicati. In realtà, secondo Karpathy, questo gruppo lavora con:

• Sciami di migliaia di agenti che collaborano per settimane su megaprogetti software
• Sistemi che producono zero-day exploit nel software
• Attacchi e difese informatiche che avvengono a velocità di macchina, non di umano
• Scoperta scientifica nuova in aree dove prima era richiesta comprensione umana
• Avanzamenti matematici che spingono i confini della disciplina

Intanto, scrive Karpathy, la revisione umana comicia a restare indietro. Le macchine producono risultati a una velocità che gli umani non riescono a controllare e validare completamente. Questo non è un problema trascurabile: rappresenta una frattura epistemologica nel modo in cui sappiamo che le cose sono vere.

I tre fattori che guidano il divario

Karpathy identifica tre fattori principali che guidano l'ampiezza e la forma dell'imbuto, creando questa stratificazione così netta nelle capacità osservate:

Primo fattore: l'ambizione

Il primo elemento è l'ambizione, intesa come la dimensione e l'orizzonte dei problemi affrontati. Una domanda che richiede una risposta di un paragrafo non mette il sistema sotto stress significativo. I modelli sono costruiti e addestrati per affrontare problemi che richiedono una riserva di lavoro cognitivo sostanziale. I grandi progetti, i compiti difficili, quelli che la comunità ritiene veramente importanti, sono quelli che attivano pienamente le capacità del modello. Una chat casuale per scrivere una mail non è ambizioso abbastanza per mostrare le capacità massime del sistema.

Secondo fattore: la jaggedness (frastagliatura)

Il secondo fattore, forse il più interessante teoricamente, è quello che Karpathy chiama jaggedness, ovvero la "frastagliatura" delle capacità. I modelli non migliorano uniformemente su tutti i compiti. Le loro capacità presentano picchi eccezionali dove i risultati sono verificabili, digitali e redditizi per le aziende, mentre nel resto del territorio rimangono più piatte. Questa non è una debolezza accidentale, ma il risultato diretto di come i modelli sono addestrati e ottimizzati.

La verifica automatica dei risultati è cruciale. Nel codice e nella matematica, un test passa o non passa, una funzione compila o non compila, una dimostrazione è valida o non è valida. Questa chiarezza consente un addestramento con rinforzo (reinforcement learning) in cui il segnale di ricompensa è nitido e affidabile. In contrasto, compiti come la scrittura creativa, i consigli personali, le valutazioni etiche hanno ricompense difficili da definire formalmente. Chi decide se un articolo è ben scritto? Chi valida se un consiglio era saggio? Questi giudizi sono sfumati, contestuali, spesso opinabili.

Inoltre, i compiti digitali e verificabili tendono a essere più redditizi per le aziende. Un modello che aiuta gli sviluppatori a scrivere codice generato milioni di dollari di valore. Un modello che aiuta con la prosa ricreativa genera valore più diffuso e meno misurabile. Le aziende, naturalmente, investono più risorse nello sviluppare e ottimizzare le aree dove il ROI è più chiaro.

Terzo fattore: l'accesso

Il terzo fattore è semplicemente l'accesso: piano gratuito, piano a pagamento, sistemi interni. L'accesso determina quali modelli una persona può utilizzare e quindi quale spettro di capacità può osservare. Chi ha accesso solo a ChatGPT gratuito vede un prodotto ottimizzato per l'usabilità generale e moderato secondo severe policy di sicurezza. Chi paga 20 dollari al mese accede a una versione un po' più potente. Chi paga 200 dollari al mese per un'azienda accede ai modelli più recenti e potenti disponibili commercialmente. Chi lavora dentro OpenAI accede a sistemi che il pubblico non ha nemmeno visto.

Perché i modelli migliorano più sul codice che sulla scrittura

La frastagliatura delle capacità spiega direttamente perché gli LLM hanno registrato progressi straordinari nella programmazione e nella matematica, mentre la loro performance in scrittura e consulenza è rimasta più moderata, nonostante la percezione pubblica di una AI "generativa" universalmente potente.

Nel codice, il feedback è brutalmente semplice: il test pass o fail. Non ci sono ambiguità. Una funzione che calcola il fattoriale di 5 produce il risultato corretto (120) o no. Un programma che ordina un array lo fa correttamente o introduce un bug. Questo segnale di ricompensa pulitissimo consente agli algoritmi di reinforcement learning di ottimizzare enormemente. Ogni iterazione dell'addestramento fornisce un gradiente di apprendimento chiaro su cui lavorare. La matematica è simile: una prova è rigorous o contiene un errore logico; è verificabile computer-assistito in linguaggi come Lean o Coq.

La scrittura creativa, gli articoli, i saggi, i consigli professionali non hanno questo lusso. Se chiedi a un LLM di scrivere un articolo di opinione su politica, economia, o qualunque argomento umano complesso, come misuri se l'output è "migliore"? Potresti chiedere a umani di valutare, ma le valutazioni umane sono costose, lente, e spesso incoerenti. Le ricompense sono anche meno direttamente monetizzabili. Un'azienda sa che uno strumento che genera codice migliore renderà i suoi ingegneri più produttivi e farà più soldi. Sa meno chiaramente come monetizzare uno strumento che scrive saggi migliori.

Questo spiega la jaggedness. Non è una limitazione fondamentale dei transformer, ma il risultato diretto delle scelte di design, addestramento, e ottimizzazione fatte dalle aziende che li costruiscono. Se investissi risorse enormi nell'addestramento per la scrittura con ricompense ben-definite, probabilmente vedremmo avanzamenti simili anche lì. Ma non l'hanno fatto, perché i driver economici e tecnici puntano altrove.

L'origine dell'analisi: il post di aprile e la sua evoluzione

L'analisi di Karpathy a ottobre non emerge dal nulla, ma è l'evoluzione naturale di un'osservazione precedente. Il 9 aprile 2026, Karpathy aveva già notato sulla sua timeline un crescente divario nella comprensione delle capacità dell'IA. All'epoca, il suo modello era più semplice: due gruppi di persone che fondamentalmente "si parlavano addosso", incapaci di comunicare efficacemente sulla stessa lunghezza d'onda.

In quello stesso post di aprile, Karpathy faceva un'osservazione cruciale. Anche pagando 200 dollari al mese per l'accesso ai modelli agentici di punta, le capacità restano "peaky" (a picco) in aree molto tecn