Introduzione: dall'idea alla simulazione operativa

Trasformare un concetto di simulazione in un’applicazione funzionante richiede l’assemblaggio di asset, l’integrazione di fisica e rendering e la verifica che la scena si comporti come previsto. Grazie alle librerie NVIDIA Omniverse, che offrono fisica accelerata da GPU, rendering in tempo reale e simulazione di sensori, gli sviluppatori stanno ora affidando parte di questo lavoro a modelli AI di frontiera, come GPT‑6 Astra e Claude Code.

Gli agenti AI vengono guidati tramite istruzioni in linguaggio naturale, i risultati vengono revisionati dagli sviluppatori e le modifiche vengono suggerite in un ciclo iterativo. Questo approccio consente di creare rapidamente applicazioni per esplorare scenari, investigare guasti e migliorare progetti, riducendo costi e tempi di sviluppo.

Digital twin industriali con Falkor Surface

Falkor, una società del gruppo KONGSBERG, ha implementato la piattaforma Falkor Surface per convertire dati CAD e di ingegneria in digital twin a scala di impianto, utilizzando il modello GPT‑6 Astra. La piattaforma sfrutta le librerie Omniverse e le GPU NVIDIA RTX PRO 6000 Server Edition su Microsoft Azure per simulazioni fisiche avanzate.

Gli agenti AI basati sul motore agentico di Falkor comprendono documentazione tecnica densa, relazioni spaziali e le leggi della fisica reale. Gli ingegneri possono così creare e testare piani in simulazione prima di recarsi in loco, riducendo ritardi costosi e errori operativi. Inoltre, è possibile ispezionare apparecchiature e verificare spazi di libertà in una vista condivisa.

Per approfondire, è disponibile l’articolo di Falkor e il livestream che mostrano dettagliatamente la costruzione degli strumenti e la verifica del lavoro degli agenti.

Principali vantaggi

    • Riduzione dei tempi di viaggio: test in simulazione prima della visita sul campo.
    • Controllo delle interferenze: verifica delle clearance e delle collisioni in un ambiente digitale.
    • Scalabilità: utilizzo di GPU cloud per simulazioni su larga scala.

Simulazione robotica pick‑and‑place con Isaac Sim

Gli sviluppatori NVIDIA Dillon Bailey e Rishabh Chadha hanno realizzato una simulazione pick‑and‑place utilizzando asset 3D da SimReady Central e il framework NVIDIA Isaac Sim. Hanno guidato un agente equipaggiato con GPT‑6 Sol e le competenze di Isaac Sim per assemblare la scena e generare i controlli del robot.

Il test della scena assemblata evidenzia il funzionamento congiunto di movimento articolare, comportamento di contatto e capacità della pinza di afferrare, muovere e rilasciare una lattina. Una volta stabilita una baseline, gli sviluppatori possono modificare posizioni degli oggetti e percorsi di movimento, ripetendo i test per valutare l’impatto di ogni variazione.

Un walkthrough dettagliato fornisce prompt d’esempio per l’agente e controlli per verificare il movimento del robot e il comportamento della presa.

VR controllata a voce con asset SimReady

Il sviluppatore della community Omniverse Michael Wagner ha affrontato la sfida di portare asset 3D in realtà virtuale (VR). Ha diretto GPT‑6 Astra a utilizzare Blender per modellare un ambiente di studio partendo da due immagini di riferimento, bilanciando qualità visiva e performance per la VR.

Successivamente, ha impiegato Claude Code per creare un’applicazione che permette agli utenti di trovare asset SimReady Central mediante comandi vocali e interagire con essi in una scena VR immersiva. L’agente ha lavorato per circa otto ore, mentre Wagner ha costruito l’applicazione in un weekend usando una workstation NVIDIA RTX 6000 Ada e un visore Meta Quest 3.

L’applicazione sfrutta le librerie Omniverse:

    • ovstage per condividere la scena OpenUSD
    • ovrtx per il rendering
    • ovxr per il supporto VR
    • ovphysx per la fisica
In una seconda versione è stato introdotto ovnewton, integrato con ovstage, per confrontare i motori fisici.

La difficoltà principale è stata verificare ciò che accadeva all’interno del visore: i test automatizzati non rilevavano vibrazioni percepite al momento del “grab”. Dopo aver segnalato i sintomi, Wagner ha guidato l’agente a modificare il controllo di presa, aggiornandolo una volta per frame, risolvendo così il problema. La lezione chiave è fornire agli agenti render e log da ispezionare, ma anche testare direttamente l’esperienza utente.

Microducks in un ospedale simulato

Il progetto di Maziyar Panahi dimostra come valutare la stabilità di un robot in ambienti complessi. Utilizzando Claude Code con Claude Opus 5.5, ha assemblato un’unità di terapia intensiva (ICU) usando 13 asset NVIDIA SimReady Hospital, già dotati di impostazioni fisiche Newton.

Grazie a Newton, non è stato necessario modellare manualmente i mobili o creare geometrie di collisione. L’ambiente è stato replicato su un’unica GPU RTX PRO 6000, consentendo l’esecuzione simultanea di centinaia di repliche. Poiché i container cloud non supportavano la grafica, Panahi ha separato simulazione e rendering: le pose dei robot venivano registrate nel cloud e renderizzate localmente.

I robot Microduck, addestrati precedentemente, hanno seguito un percorso predefinito. In un test con 256 repliche dell’ICU, 766 su 768 robot sono rimasti in piedi dopo 14 secondi simulati. L’intervento dell’agente ha richiesto circa due ore.

Strategie chiave

    • Uso di oggetti statici per collisioni per ottimizzare le risorse del solver.
    • Separazione tra simulazione (cloud) e rendering (locale) quando l’infrastruttura manca di supporto grafico.
    • Scalabilità su GPU per gestire centinaia di istanze simultanee.

Creazione di asset 3D editabili con Houdini e AI

Nick Scarcella, senior technical artist del team BondLab di NVIDIA, ha guidato agenti AI, prevalentemente Claude, nell’uso delle librerie CUDA e Isaac Sim per generare animazioni complesse. Il team combina SideFX Houdini e la libreria NVIDIA ovrtx per materiali, illuminazione e rendering finale.

In un esperimento, Scarcella ha chiesto ad Astra di ricreare un sintetizzatore portatile OP‑1 partendo da immagini di prodotto, manuali e specifiche tecniche. Il modello è stato esportato in OpenUSD, testato in Houdini e Blender, e successivamente raffinato da Astra e Opus per dettagli materiali e texture, ottimizzando il rendering con ovrtx.

Un altro caso ha coinvolto un checkpoint robot‑hand condiviso in Isaac Sim. Scarcella ha diretto il movimento del robot‑hand e sviluppato materiali e illuminazione in Houdini con l’assistenza di Claude. In collaborazione con Steven Dvornik, il team ha prodotto la visualizzazione “Echos”, in cui versioni traslucide della mano si sovrappongono formando un’unica animazione, offrendo una rappresentazione visiva dell’addestramento robotico.

Questi flussi di lavoro dimostrano come l’assistenza AI possa integrarsi nei tradizionali strumenti di artisti, fornendo contenuti editabili, ispezionabili e rendibili su più piattaforme.

Test di smontaggio robotico con CAD e simulazione

Jens Jebens, senior product manager per OpenUSD di NVIDIA, ha guidato Astra a modellare una sospensione auto in PTC Onshape e a configurarla in NVIDIA Isaac Sim. L’obiettivo era valutare se un robot potesse raggiungere e rimuovere i componenti della sospensione.

Il processo ha incluso:

    • Importazione del modello CAD in OpenUSD.
    • Applicazione delle impostazioni fisiche di Newton per la simulazione di collisioni.
    • Programmazione di percorsi robotici per il disassemblaggio.

Grazie alla simulazione GPU, è stato possibile testare più configurazioni in tempo reale, identificando rapidamente limitazioni meccaniche e ottimizzando le traiettorie del robot.

Conclusioni e prospettive future

L’integrazione di modelli AI di frontiera con le potenti librerie NVIDIA Omniverse sta trasformando il modo in cui gli sviluppatori costruiscono simulazioni complesse. Dai digital twin industriali alla robotica VR, passando per la generazione di asset 3D editabili, gli agenti AI consentono di:

    • Automatizzare l’assemblaggio di scene e la generazione di controlli.
    • Ridurre i cicli di verifica manuale grazie a feedback in linguaggio naturale.
    • Scalare le simulazioni su GPU cloud per test massivi.
    • Integrare fluidamente strumenti di produzione tradizionali come Houdini e Blender.

Il futuro prevede una maggiore autonomia degli agenti, con capacità di auto‑debug, ottimizzazione delle performance e generazione di contenuti procedurali in tempo reale. Man mano che modelli come GPT‑6 Astra e Claude Code evolveranno, potremo assistere a simulazioni sempre più realistiche, riducendo ulteriormente il divario tra prototipo virtuale e implementazione fisica.