Il nuovo avvertimento di Richard Sutton

Nel suo recente post su X, il vincitore del Turing Award Richard Sutton ha ribadito che la sola potenza di calcolo non è sufficiente per raggiungere l’intelligenza artificiale. Secondo Sutton, la scienza dell’AI ha ancora bisogno di metodi innovativi e intelligenti, e il lavoro è “lungi dall’essere concluso”. Il messaggio ha scatenato un vivace dibattito nella comunità AI, dimostrando quanto le sue parole siano ancora capaci di colpire un nervo scoperto.

Nel saggio del 2019 “The Bitter Lesson”, Sutton sosteneva che i metodi generali che si scalano con il calcolo finiscono per superare gli approcci sofisticati progettati dall’uomo. L’essenza della lezione è che le idee che crescono con la potenza di calcolo hanno la meglio rispetto a quelle basate su assunzioni umane.

Critiche al semplice scaling dei LLM

Questa posizione non è nuova. In dichiarazioni precedenti, Sutton aveva già criticato i limiti del semplice aumento di dimensioni dei grandi modelli linguistici (LLM). Ha definito l’uso dei dati sintetici un “grande errore”, poiché il mondo reale è infinitamente complesso e qualsiasi simulazione è solo “microscopica”. Inoltre, ha evidenziato che l’expertise umana è il collo di bottiglia che impedisce un vero scaling.

Sutton propone invece agenti con modelli del mondo che apprendono continuamente dalla propria esperienza. Il modello linguistico attuale, secondo lui, non continua ad apprendere dopo la fase di training e non riesce a preservare le conoscenze precedenti durante l’apprendimento continuo.

Le reazioni della comunità di ricerca

Il ricercatore Jerry Tworek, che ha lasciato OpenAI per esplorare nuovi approcci AI, ha contestualizzato l’ultima dichiarazione di Sutton. Tworek afferma che “la bitter lesson è ancora valida, ma più potenza di calcolo viene impiegata nell’addestramento, più l’algoritmo diventa cruciale”.

Alcuni algoritmi scalano bene, altri si bloccano.
Molte dimensioni del scaling rimangono inesplorate.
Il successo temporaneo del scaling dei transformer ha “hackerato” le menti di un’intera generazione di scienziati.

Il ricercatore Jayden Teoh aggiunge una prospettiva diversa. Ha osservato che la bitter lesson ha talvolta ostacolato la ricerca accademica, con idee promettenti scartate perché apparentemente contrarie allo spirito del saggio. Teoh sostiene che questo non è colpa di Sutton, ma di una cattiva interpretazione del suo messaggio.

Il valore delle idee non scalabili

Secondo Teoh, molte idee che in retrospettiva sembrano non aderire alla bitter lesson sono state spesso il motore di progressi importanti. Esse hanno permesso avanzamenti temporanei che, sebbene successivamente sostituiti da approcci più generali, non erano affatto “sbagliate”. Teoh invita la comunità a non respingere subito lavori che non sembrano scalabili a lungo termine, poiché un contributo può essere fondamentale anche se non sopravvive al futuro scaling.

Le startup che scommettono sul nuovo approccio

La tensione tra la chiamata di Sutton a nuovi metodi di apprendimento e la critica di Tworek al blind scaling dei transformer si riflette nella nascita di numerose startup. Nel report Frontier Radar #5 sono state identificate 45 nuove AI labs che puntano proprio su queste lacune.

Jerry Tworek stesso guida Core Automation, una di queste realtà, alla ricerca di algoritmi di apprendimento al di là del pre‑training e del reinforcement learning. Altri fondatori, tra cui Sutton con Oak Lab, condividono la convinzione che l’AI possa diventare molto più capace, ma che la ricetta attuale non sia sufficiente.

Chi ancora crede nel potere del scaling

Alcuni leader industriali hanno una visione opposta. Sam Altman, CEO di OpenAI, ritiene che il scaling dei LLM sia ancora lontano dall’essere esaurito e accusa i critici di rallentare un’intera generazione di ricercatori con un eccessivo pessimismo. Altman cita un modello di OpenAI che ha recentemente smentito una congettura matematica ritenuta irrisolvibile, come prova che il scaling porta a risultati concreti.

Dario Amodei, CEO di Anthropic, condivide lo stesso ottimismo, descrivendo il progresso del scaling come “un arcobaleno senza fine”. Entrambi, naturalmente, hanno un interesse diretto nel successo di questa strategia, poiché le loro aziende basano l’intero approccio tecnico su di essa.

In sintesi, la “bitter lesson” di Sutton rimane un punto di riferimento critico nella discussione sull’AI. Mentre alcuni vedono nel semplice aumento di potenza di calcolo la chiave per il futuro, altri, guidati dalle osservazioni di Sutton, Tworek e Teoh, sostengono che l’innovazione metodologica e l’apprendimento continuo siano gli elementi indispensabili per superare le limitazioni intrinseche del mondo reale.