Cosmos si espande: nuovi tool per il training di world model

Per accelerare lo sviluppo di world model – modelli capaci di comprendere e simulare la realtà fisica – NVIDIA ha potenziato la piattaforma Cosmos con una serie di strumenti avanzati. Le novità comprendono nuovi tool di addestramento, checkpoint di simulazione e una serie di blueprint per la Cosmos Data Factory, progettate per semplificare la creazione, la curazione e la generazione di dati multimodali a scala.

Il posizionamento della piattaforma è stato confermato da risultati di rilievo: i modelli sviluppati con Cosmos hanno raggiunto le prime cinque posizioni su sei diverse classifiche di modelli aperti, dimostrando la capacità di fornire dati, ricette di training e ottimizzazione per massimizzare le prestazioni prima del deployment.

Costruire dati di training di qualità

La prima fase per realizzare un world model efficace è la raccolta di dati multimodali e multisensoriali. Cosmos Data Factory aggrega tutti gli strumenti necessari per l’etichettatura, la curazione, l’augmentazione e la valutazione dei dati a livello industriale. La versione più recente di Cosmos Curator, una soluzione accelerata da GPU, ora supporta input multimodali e blocchi di elaborazione dedicati.

Blueprint cloud‑native disponibili

Cosmos Data Factory è ora distribuita tramite GitHub, Microsoft Azure, Nebius e CoreWeave, e offre cinque blueprint progettati per casi d’uso specifici:

Autonomous Vehicle Dataset Generation: cura e etichetta dati di guida, aggiungendo esempi sintetici di scenari difficili da catturare per ampliare la copertura di training.
Image Attribute Augmentation: varia l’aspetto degli oggetti per migliorare le ricerche immagini.
Event Video Generation: trasforma immagini statiche in video sintetici di eventi rari o pericolosi.
Defect Image Generation: genera immagini di difetti su circuiti stampati, metalli e vetro per modelli di ispezione.
Video Data Augmentation: modifica condizioni meteorologiche e di illuminazione nei filmati esistenti mantenendo la struttura della scena.

Queste blueprint accelerano la curazione, l’elaborazione e la generazione di dati sintetici grazie a capacità “agentiche” integrate.

Applicazioni concrete in azienda

Già diverse aziende hanno adottato le blueprint di Cosmos Data Factory per ottimizzare i loro flussi di lavoro di Physical AI:

Porsche, in collaborazione con Voxel51 su Microsoft Azure, sta creando un “data flywheel” condiviso per i veicoli autonomi del gruppo Volkswagen. Si prevede una riduzione del 90 % dei test fisici ripetuti e una diminuzione del 85 % dei tempi di sviluppo.
ANYbotics ha prodotto più di 1.500 clip video sintetici, curando dati reali e validando i risultati con la piattaforma Encord, per addestrare robot di ispezione industriale al riconoscimento di fuoriuscite di liquidi e altre anomalie.
Ultralytics ha riaddestrato il modello YOLO usando immagini reali e difetti sintetici generati da Cosmos Data Factory, ottenendo un miglioramento nella localizzazione dei difetti e nella recall.

Questi casi dimostrano come la generazione di dati sintetici possa ridurre i costi di test fisici e migliorare l’efficacia dei modelli di visione.

Framework di training, adattamento e ottimizzazione

Una volta preparati i dati, gli sviluppatori possono scegliere di addestrare una nuova architettura o partire da un modello pre‑addestrato. Al GTC di Berlino, NVIDIA ha presentato l’estensione del Cosmos Framework, che ora include strumenti di training, ottimizzazione e deployment per un più ampio set di modelli open, oltre al nuovo Cosmos 3.

Le novità principali includono:

Fine‑tuning e reinforcement learning per modelli open come GR00T, Alpamayo, QWEN, Pi0.5 e altri disponibili su Hugging Face.
Ottimizzazione tramite distillazione e quantizzazione per ridurre la dimensione senza perdere accuratezza.
Distribuzione con inferenza ad alte prestazioni grazie ai microservizi NVIDIA Cosmos 3 NIM.

Il Cosmos Framework è modulare e aperto: consente di combinare agenti di addestramento, strumenti di ottimizzazione e componenti di deployment in un unico ecosistema.

Esempi di utilizzo avanzato

Il laboratorio di robotica MicroAGI ha post‑addestrato Cosmos 3 su video di manipolazione egocentrica, distillando un modello ragionatore da 32 miliardi di parametri a un “Nano” da 8 miliardi senza perdita di precisione. Inoltre, gli sviluppatori possono etichettare dati e post‑addestrare Cosmos 3 su Roboflow, distribuendo i modelli su GPU NVIDIA on‑premises o in cloud per abilitare il ragionamento video in fabbriche e magazzini.

Testing di policy e inferenza più veloce

Parallelamente, NVIDIA ha rilasciato nuove varianti del modello Cosmos 3 Nano pensate per la simulazione. Queste versioni consentono di testare policy autonome in scenari multivista e multisensoriali difficili da catturare nel mondo reale. Il codice allegato permette agli sviluppatori di adattare i modelli per addestrare e valutare politiche di veicoli autonomi e robot bimanuali in simulazioni chiuse, prima di passare a test fisici.

Grazie ai microservizi NIM, l’inferenza dei modelli di base è ora fino a 2× più veloce senza perdita di qualità nelle configurazioni validate. L’analisi video continua consente di generare avvisi in sub‑secondi.

Metropolis Blueprint per video search e summarization

Per gli sviluppatori di visione AI, il nuovo NVIDIA Metropolis Blueprint VSS 3.3, basato sui microservizi Cosmos NIM, trasforma un singolo prompt in un’applicazione video AI efficiente. Le aziende possono così monitorare il 40 % in più di flussi video con lo stesso hardware GPU.

Un caso emblematico è ADNOC, che utilizza la piattaforma agentica Fogsphere MistIQ, costruita con Cosmos e il blueprint Metropolis VSS, per rilevare pericoli di sicurezza in tempo reale su 65 siti. Per eventi rari, Fogsphere sfrutta la Data Factory per generare dati sintetici, migliorando la capacità di detection senza dover creare situazioni pericolose in loco.

Architettura modulare e open di Cosmos

La piattaforma Cosmos è interamente modulare e open source. Gli sviluppatori possono combinare:

Cosmos Data Factory per la generazione di dataset di training.
Cosmos Framework per addestrare, adattare e ottimizzare i world model.
Cosmos NIM microservices per il deployment e l’inferenza ad alte prestazioni.

Questa integrazione consente di passare rapidamente dalla sperimentazione alla produzione, riducendo tempi e costi, e aprendo nuove opportunità per applicazioni di AI fisica in settori come automotive, robotica industriale, ispezione visiva e monitoraggio di sicurezza.