Introduzione al workflow basato su AI e Omniverse

Portare un’idea di simulazione a uno stato operativo richiede la gestione di asset 3D, l’integrazione di motori fisici accelerati dalla GPU e la verifica che la scena si comporti come previsto. Le librerie NVIDIA Omniverse—ovphysx per la fisica, ovstage per la gestione della scena, ovrtx per il rendering e ovui per l’interfaccia utente—forniscono questi blocchi fondamentali. Quando queste vengono coordinate da modelli AI di frontiera, come GPT‑6 Astra, il processo diventa quasi conversazionale: lo sviluppatore descrive il risultato desiderato, l’agente genera codice, anima asset e collega i componenti, mentre l’utente verifica e corregge in tempo reale.

Simulatore umanoide per ambienti di magazzino

Il primo caso studio mostra come Frank DeLise, product manager di Omniverse, abbia trasformato un magazzino SimReady e un robot umanoide in un simulatore interattivo a visualizzazione in prima e terza persona. DeLise ha dato a Astra il compito di:

    • Collegare le librerie Omniverse: ovphysx, ovstage, ovrtx e ovui.
    • Usare il pacchetto simready-foundation per creare la scena fisica.
    • Generare animazioni e codice applicativo per unire tutti i componenti.

Il risultato è un ambiente dove gli sviluppatori possono sperimentare compiti di automazione, osservare il comportamento del robot e iterare rapidamente sul design delle attività di magazzino.

Workflow di test per la guida autonoma

Doyub Kim, responsabile del team di simulazione presso NVIDIA, ha chiesto ad Astra di costruire “Zero to Alpamayo”, un ambiente di test riutilizzabile basato sulla Market Street di San Francisco. Il flusso di lavoro comprendeva:

    • Mapping dell’intero processo, dalla creazione di asset alla simulazione del traffico.
    • Integrazione della simulazione sensoriale Omniverse RTX e del modello di guida Alpamayo in fasi distinte.
    • Verifica continua di ogni integrazione per garantire coerenza.

Un esperimento separato, denominato Cosmos3‑Nano, ha variato condizioni atmosferiche e di illuminazione nei video simulati, permettendo a Kim di confrontare le risposte del modello di guida sotto scenari identici ma con differenze ambientali.

Creazione e perfezionamento di gemelli digitali tramite differenze sensoriali

Ashley Reid, esperta di validazione sensoriale RTX, ha guidato Astra e gli agenti Claude Fable 5 nella comparazione di uscite camera e LiDAR simulati con dati reali. Il processo, durato circa tre giorni, ha incluso:

    • Misurazione delle discrepanze tra simulazione e registrazioni.
    • Creazione o modifica di scene OpenUSD per colmare le differenze.
    • Valutazione basata su metriche KPI di camera e LiDAR.

Il risultato è stato la generazione di due gemelli digitali da zero e il miglioramento di due esistenti, con accettazione finale legata al rispetto di soglie di errore predefinite.

Robo Olympics: valutare le capacità dei robot in simulazione

Tae Kim, leader dell’ingegneria Omniverse, ha sfruttato video sportivi e istruzioni in linguaggio naturale per far costruire ad Astra “Robo Olympics”, un progetto sperimentale con robot Unitree G1. Astra ha prodotto controller e li ha raffinati attraverso:

    • Prove fisiche con il motore Newton Physics Engine.
    • Accelerazione dei calcoli tramite il framework open source NVIDIA Warp.
    • Rendering delle scene e delle immagini virtuali con ovrtx.

In un test, il robot ha superato un ostacolo in 64 su 100 prove, fornendo a Kim dati preziosi per ottimizzare tempi e controlli del movimento.

Disassemblaggio robotico con CAD e simulazione

Jens Jebens, senior product manager per OpenUSD, ha chiesto ad Astra di modellare una sospensione automobilistica in PTC Onshape e di configurarla in NVIDIA Isaac Sim. L’agente ha:

    • Misurato lo spazio disponibile per gli utensili robotici.
    • Progettato una chiave inglese capace di raggiungere i bulloni della sospensione.
    • Convalidato la rimozione del componente in simulazione.

Questa integrazione collega le decisioni di progettazione e tooling direttamente ai risultati di disassemblaggio, creando un punto di partenza per l’addestramento di politiche robotiche.

Portare la Stazione Spaziale Internazionale nel browser

Nic Johns, direttore ingegneria, ha chiesto ad Astra di assemblare asset NASA in un modello OpenUSD della ISS con telemetria in tempo reale. Il flusso di lavoro comprendeva:

    • Preparazione degli asset in Blender.
    • Rendering con ovrtx, gestione della scena con ovstage e streaming tramite ovstream.
    • Un prompt iniziale per creare l’applicazione e un prompt successivo per ruotare la scena verso il lato illuminato della Terra.

Il risultato è un visualizzatore web che combina modelli 3D e dati operativi, dimostrando come un singolo prompt possa guidare l’intero ciclo di sviluppo.

Conversione di stanze catturate in ambienti di test

Chirag Majithia ha diretto Astra a trasformare catture stereo in uno studio OpenUSD modificabile. Il processo ha integrato:

    • Ricostruzione con PyCuSFM, FoundationStereo e nvblox.
    • Selezione e posizionamento degli oggetti guidati dall’utente.
    • Configurazione del comportamento fisico tramite USD Content Agents.
    • Test in Isaac Sim per verificare collisioni e contatti di porte e cassetti.

Questo collegamento tra geometria catturata e test interatt