Cosa sono i world model e come differiscono dagli LLM

Introduzione ai world model

Negli ultimi giorni il settore dell'intelligenza artificiale ha assistito a due movimenti strategici significativi che segnalano l'importanza crescente di una nuova categoria di sistemi chiamati "world model". AMD ha accettato di acquisire World Labs, la società fondata da Fei-Fei Li, per circa 8,2 miliardi di dollari in azioni. Una settimana dopo, NVIDIA è entrata nel capitale di Reactor, una startup specializzata nell'esecuzione dei world model su infrastrutture cloud. Questi sviluppi non sono casuali, ma riflettono una comprensione condivisa dalle principali aziende tecnologiche che i world model rappresenteranno una componente cruciale dell'intelligenza artificiale del futuro, particolarmente per le applicazioni nel mondo fisico e nella robotica.

Cosa sono i world model e come funzionano

Un world model è fondamentalmente un sistema di intelligenza artificiale addestrato principalmente su video che apprende come cambia una scena e simula cosa succede dopo un'azione. Secondo la definizione fornita da Runway, un world model è un sistema che costruisce una rappresentazione interna di un ambiente e la utilizza per simulare eventi futuri all'interno di quell'ambiente stesso. Questa caratteristica fondamentale li distingue da altri sistemi di intelligenza artificiale più comuni.

La natura predittiva del world model è strettamente legata all'azione. Un world model non predice semplicemente lo stato successivo di un ambiente in modo passivo, ma lo fa in funzione di un'azione specifica. Questa azione potrebbe essere un comando inviato a un braccio robotico, un movimento di camera, o qualsiasi altro tipo di intervento umano o meccanico nell'ambiente. Questa capacità di prediczione condizionale è ciò che rende i world model particolarmente utili per le applicazioni pratiche nella robotica e nella simulazione.

Le differenze fondamentali tra world model e LLM

Per comprendere pienamente l'importanza dei world model, è essenziale capire come si differenziano dai Large Language Model (LLM) come GPT o Claude. La differenza principale risiede in ciò che questi sistemi predicono. Un LLM, come suggerisce il nome, è addestrato su testi e predice il testo successivo in una sequenza. Un world model, invece, è addestrato principalmente su video e predice lo stato successivo di un ambiente, facendo questa previsione in funzione di un'azione specifica.

Questa differenza fondamentale ha implicazioni profonde per come questi sistemi vengono costruiti e addestrati. Mentre un LLM impara dai dati testuali come i libri, gli articoli e le conversazioni, un world model apprende dalla ricca informazione visiva contenuta nei video. I video forniscono una fonte di informazione particolarmente valida perché mostrano il cambiamento nel tempo e le conseguenze delle azioni, esattamente ciò che un world model deve imparare.

Le radici storiche e teoriche dei world model

L'idea di base dietro i world model non è nuova. La ricerca su questi sistemi risale almeno al 2018, quando David Ha e Jürgen Schmidhuber addestrarono un agente completamente all'interno del "sogno" generato dal suo stesso modello del mondo. Questo esperimento seminal ha dimostrato che un sistema di intelligenza artificiale potrebbe imparare a comportarsi correttamente non solo nel mondo reale, ma anche in una rappresentazione simulata di quel mondo generata dal modello stesso. Questa idea ha ispirato una linea di ricerca che continua a svilupparsi e che oggi trova applicazioni sempre più concrete.

V-JEPA 2 di Meta: un esempio concreto

Meta ha sviluppato V-JEPA 2, un world model con 1,2 miliardi di parametri che rappresenta uno degli esempi più avanzati di questa tecnologia. Questo modello è stato addestrato su dati enormi e vari: oltre un milione di ore di video e un milione di immagini. Tuttavia, il grosso di ciò che V-JEPA 2 sa viene dai video. Interessantemente, il modello è stato addestrato anche su soli 62 ore di dati di robot, una frazione minima dell'intero dataset di addestramento. Questo dimostra che i video generici contengono una quantità straordinaria di informazione su come il mondo fisico funziona.

Meta ha costruito V-JEPA 2 su un'architettura chiamata JEPA, che Yann LeCun, uno dei padri del deep learning, ha proposto nel 2022. Questa architettura è particolarmente interessante perché si addestra in modo auto-supervisionato, il che significa che non richiede grandi quantità di dati etichettati manualmente. Il modello pianifica immaginando le conseguenze di azioni candidate negli embedding, cioè in una rappresentazione compressa della scena, senza necessità di ricostruire i singoli pixel. Questo approccio è molto più efficiente dal punto di vista computazionale rispetto ad altri metodi che cercano di generare ogni dettaglio visivo.

GWM-1 di Runway: generazione in tempo reale

Runway ha sviluppato GWM-1, un world model che genera i fotogrammi uno alla volta in tempo reale. Questo modello riceve in ingresso informazioni molto specifiche e pratiche: la posa della camera, i comandi al robot e l'audio. Generare video con la qualità e la velocità giuste richiede una quantità notevole di potenza di calcolo. È precisamente questo il servizio che fornisce Reactor, la startup nella quale NVIDIA ha investito. Reactor è uscita ufficialmente dalla "stealth mode" a maggio con un round di finanziamento guidato da Lightspeed, e la sua missione è fornire una piattaforma che permetta di eseguire questi world model intensivi dal punto di vista computazionale su infrastrutture cloud.

L'applicazione più concreta: la robotica

L'uso più concreto e prossimo dei world model è nella robotica. Runway sostiene che simulare le politiche di controllo di un robot dentro il proprio world model predice i risultati reali con una correlazione di 0,95. Questo significa che ciò che il robot farebbe nel mondo simulato è estremamente probabile che corrisponda a ciò che farebbe nel mondo reale. Questa capacità predittiva consente di testare e ottimizzare i comportamenti dei robot prima di farli eseguire sul hardware fisico reale, risparmiando tempo, denaro e potenziali danni.

Runway ha annunciato Praxis-1, descritto come un "world action model" specificamente progettato per i robot. Questo sistema è già in prova con tre aziende significative nel settore della robotica: Noble Machines, Standard Bots e Ultra. L'azienda ha promesso che Praxis-1 sarà rilasciato a pesi aperti, con una disponibilità pubblica prevista "nei prossimi mesi". Questo approccio open-source potrebbe accelerare significativamente l'adozione della tecnologia nel settore robotico.

I risultati dei test sono promettenti. Nei test di Meta, V-JEPA 2 riesce a prendere e posare oggetti nuovi in ambienti mai visti nel 65-80% dei casi. Questo tasso di successo è notevole considerando che il modello non ha mai visto prima quegli oggetti o quegli ambienti specifici. NVIDIA ha presentato Cosmos come base per la "physical AI", e i robot di DreamDojo imparano da ben 44.000 ore di video. Inoltre, altri sistemi robotici sono in corso di addestramento da parte di agenti autonomi, aprendo nuove possibilità per l'apprendimento distribuito.

Applicazioni nei giochi e nei media

Oltre alla robotica, i world model trovano applicazioni interessanti nei giochi e nella produzione di media. DeepMind ha sviluppato Genie 3, un system che crea ambienti interattivi da un prompt testuale, generando video a 24 fotogrammi al secondo con una risoluzione di 720p. La qualità è mantenuta per una durata di alcuni minuti e lo spazio di azioni disponibili è limitato, ma rappresenta un passo significativo verso la generazione di mondi interattivi alimentati da IA.

Runway, con GWM Worlds 2, ha mostrato una research preview il 3 settembre con caratteristiche ancora più avanzate. Tuttavia, questo sistema presenta alcune limitazioni attuali. La memoria di lungo periodo è imperfetta e la qualità cala notevolmente con le rotazioni rapide della camera. Queste limitazioni non sono sorprendenti in una fase di ricerca e si prevede che scompariranno con ulteriori sviluppi. Nonostante queste sfide, il potenziale per applicazioni in giochi, film e altre forme di media è enorme.

Il confine sfocato tra world model e LLM

Sebbene i world model e gli LLM siano concettualmente distinti, il confine tra loro sta diventando sempre meno netto. Cosmos 3 di NVIDIA è definito come un "omni-model" che genera e ragiona su testo, immagine, video, suono e azione. Questo rappresenta un'evoluzione rispetto alle versioni precedenti, Cosmos 2 e 2.5, che tenevano separati percezione e generazione. Il modello di NVIDIA dimostra chiaramente che anche i sistemi nati dal video stanno incorporando il linguaggio, creando sistemi sempre più versatili e potenti.

Questa convergenza tra world model e LLM potrebbe portare a sistemi ancora più capaci in futuro, in grado di comprendere e generare sia informazioni linguistiche che visive in modo integrato. Questa sinergia potrebbe essere particolarmente potente per applicazioni che richiedono sia comprensione del linguaggio naturale che ragionamento su scenari visivi e azioni nel mondo fisico.

Strategie di investimento: AMD e NVIDIA guardano al futuro

Le mosse strategiche di AMD e NVIDIA rivelano come le principali aziende di semiconduttori vedono il futuro dell'intelligenza artificiale. AMD ha annunciato ufficialmente l'acquisizione di World Labs il 28 settembre, collegandola esplicitamente a robotica, simulazione e AI per il mondo fisico. Con questa acquisizione, arriva anche Fei-Fei Li, una delle figure più influenti nel campo dell'intelligenza artificiale, che diventerà Executive Vice President e chief scientist di AMD. Insieme a lei, AMD acquisisce anche modelli di intelligenza spaziale che generano, ricostruiscono e simulano ambienti 3D.

La nostra analisi suggerisce una ragione strategica aggiuntiva per queste acquisizioni e investimenti: comprare oggi una startup che domani potrebbe diventare concorrente, o destabilizzare il settore con un approccio diverso, costa probabilmente meno che inseguirla dopo. Questo è un principio consolidato nella strategia tecnologica di acquistare potenziali rivali prima che diventino troppo grandi e indipendenti.

NVIDIA, che il 5 ottobre è entrata nel capitale di Reactor, ha già un world model proprio con Cosmos, quindi l'investimento le consente di mantenere una posizione strategica accanto a chi fa girare questi modelli su cloud. In questo modo, NVIDIA rimane al centro dell'ecosistema, fornendo sia i chip che i software e mantenendo relazioni con le aziende che forniscono i servizi di esecuzione.

I vantaggi strategici delle acquisizioni startup

Perché le grandi aziende come AMD e NVIDIA preferiscono acquisire startup piuttosto che sviluppare queste capacità internamente? In un gruppo grande e consolidato, una nuova linea di ricerca deve farsi spazio fra priorità, budget e procedure già in corso. Una startup, al contrario, offre una squadra che lavora solo su quel problema, più facile da ottenere che da far nascere e coesistere all'interno di una struttura organizzativa già complessa. L'acquisizione di World Labs ne è un perfetto esempio: con la società arriva non solo una tecnologia proprietaria, ma anche un team di ricercatori dedicati e visionary leader come Fei-Fei Li.

Lo stato attuale e gli ostacoli rimasti

Sebbene i progressi siano impressionanti, rimangono sfide significative. Praxis-1 sarà disponibile a pesi aperti, ma arriva fra mesi ed è attualmente in prova solo con tre aziende. V-JEPA 2, nonostante i suoi risultati notevoli, sbaglia ancora fra il 20 e il 35% dei tentativi quando confrontato con oggetti nuovi. Per le imprese manifatturiere, la scelta del world model potrebbe essere già fatta dal fornitore del robot, limitando la flessibilità e la capacità di innovazione indipendente. Inoltre, restano escluse dall'adozione di queste tecnologie tutte quelle aziende senza dati video propri né potenza di calcolo sufficiente.

Prospettive future e impatto dell'industria

Il futuro dei world model appare brillante, ma pieno di incognite. Le acquisizioni di AMD e gli investimenti di NVIDIA suggeriscono che queste tecnologie diventeranno sempre più importanti nel prossimo decennio. La robotica è il primo campo di applicazione reale, ma le possibilità si estendono ben oltre. I sistemi di guida autonoma potrebbero beneficiare enormemente da world model più accurati. La simulazione per la ricerca scientifica potrebbe essere rivoluzionata. La produzione di contenuti multimediali potrebbe diventare completamente automatizzata.

Tuttavia, rimangono questioni critiche da risolvere. Come garantire che questi modelli rimangono allineati con i valori umani quando simulano azioni nel mondo? Come si affrontano le questioni di sicurezza quando un robot basa le sue azioni su previsioni generate da un'intelligenza artificiale? Come si assicura che lo sviluppo di questa tecnologia rimane distribuito e non concentrato interamente nelle mani di pochi grandi attori tecnologici?

Conclusioni

I world model rappresentano un'evoluzione significativa nel campo dell'intelligenza artificiale, distinta dagli LLM nel modo fondamentale in cui apprendono