L'intelligenza artificiale sta superando i chatbot e i co-creatori e sta entrando nel mondo fisico. All'interno di laboratori, fabbriche e ospedali, una nuova generazione di agenti AI sta cominciando a lavorare accanto alle persone, aiutandole a comprendere il loro ambiente, accedere alla conoscenza e intraprendere azioni in tempo reale.
Tuttavia, la costruzione di sistemi agentiche che integrino modelli, abilità, attrezzi, strumenti e un runtime per permettere agli utenti di svolgere un lavoro manuale non è semplice. Per poter operare efficacemente in ambienti reali, dinamici e mutevoli, questi agenti non devono limitarsi a generare risposte.
Come i lavoratori umani, devono disporre di conoscenza, attrezzi e abilità specializzate per percepire e comprendere il mondo attraverso video, audio e dati provenienti da sensori, interpretare velocemente condizioni mutevoli e contesto spaziale, cercare informazioni nei sistemi aziendali, ragionare riguardo all'azione più adatta e utilizzare strumenti software per completare compiti. Tutto questo deve accadere a bassa latenza, offrendo assistenza all'utente senza causare distrazioni.
NVIDIA XR AI è una libreria per sviluppatori che permette di costruire queste app con agenti. Collegando gli input da occhiali AR e dispositivi XR con modelli basati sull’AI, dati aziendali, strumenti computazionali e computing accelerato, NVIDIA XR AI rende possibile sviluppare agenti che possano percepire, ragionare e agire durante il lavoro.
Fornisce una base per sviluppatori per creare o collegare abilità, strumenti e modelli per applicazioni enterprise XR, semplificando l'integrazione di percezione multimodale, recupero informativo aziendale, modelli di ragionamento e orchestrazione di agenti. Grazie a queste capacità, è più semplice costruire agenti AI spazialmente consapevoli che forniscono un supporto contestuale ed a bassa latenza in esperienze AR e XR.
La piattaforma integra quattro capacità principali:
- Il Toolkit NeMo Agent di NVIDIA permette di utilizzare strumenti, workflow decisionali e coordinazione multi-agente.
- I sistemi NVIDIA per il computing accelerato – tra cui NVIDIA DGX Spark, NVIDIA DGX Station e i sistemi NVIDIA RTX PRO – forniscono l'infrastruttura necessaria per eseguire l'inferenza in ambienti distribuiti come cloud, data center e edge.
insieme, queste funzioni permettono agli agenti AI di comprendere l’ambiente circostante, accedere alla conoscenza aziendale, analizzare compiti complessi e fornire supporto contestuale in tempo reale.
Nel settore manifatturiero, scientifico, sanitario, del design e dell’apprendimento immersivo, sviluppatori e aziende stanno già utilizzando NVIDIA XR AI incorporando agenti dove si svolge il lavoro.
Siemens sta esplorando, in chiave di ricerca, come NVIDIA XR AI e NVIDIA DGX Spark possano aiutare ingegneri industriali a reperire informazioni per la manutenzione, risolvere problemi, verificare gli interventi e registrare le attività svolte all’interno dell’officina.
Con questa soluzione, un ingegnere che indossa occhiali leggeri può interrogare un agente AI su un problema relativo a un controller logico programmabile, ricevendo istruzioni in tempo reale che integrano sistemi industriali, digital twin e workflow automatici.
Nel laboratorio di ricerca, Rana, azienda che costruisce sistemi AI per la ricerca scientifica, sta integrando il proprio sistema LabOS con NVIDIA XR AI per portare intelligenza spaziale direttamente all'interno di workflow scientifici. LabOS fornisce istruzioni in tempo reale, mani libere, per flussi di lavoro sperimentali complessi, cominciando con la ricerca su terapia con cellule staminali e genetica editabile nel Cong Lab alla Stanford University School of Medicine e nel Wang Lab presso Princeton University.
Costruito sull’architettura XR AI, il co-scientista LabOS percepisce, comprende e agisce all’interno del laboratorio, aiutando i ricercatori a identificare il campione esatto e il corretto editor di geni CRISPR, guidando ogni passo di una sperimentazione e registrando un processo strutturato e riproducibile in cui collaborano insieme umani, robot e sistemi AI direttamente al banco di lavoro.
Gli agenti AI coscienti della realtà fisica, consegnati attraverso occhiali AR e alimentati da GPU NVIDIA, rappresentano un'interfaccia di prossima generazione per la scienza assistita dall’AI, mantenendo i ricercatori concentrati sui passi complessi di un processo, ricevendo istruzioni contestuali in tempo reale.
LabOS è compatibile con occhiali intelligenti di aziende come Meta, Rokid e VITURE.
VITURE ha integrato NVIDIA XR AI in un'interfaccia wearable che offre un modo a mani libere per reperire informazioni e guidare il prossimo passo durante il lavoro. Questa stessa base XR AI si estende naturalmente al di là del laboratorio, per esempio ospedali e ambienti industriali.
Nella sala operatoria, il Surreality Lab dell’Università di Pittsburgh Medical Center ha dimostrato come NVIDIA XR AI possa supportare squadre chirurgiche fornendo informazioni contestuali. In esecuzione su NVIDIA XR AI e NVIDIA DGX Station, la pipeline aiuta i team a trovare informazioni e concentrare l’attenzione senza appesantire visivamente il lavoro del chirurgo.
Capendo cosa non schermare nel campo visivo del chirurgo, il sistema rende visibili informazioni utili mantenendo la focalizzazione sul paziente e l’intervento.
Nel settore automotive, Innoactive dimostra come le aziende possano conservare informazioni rilevanti durante workflow immersivi, sostenendo decisioni progettuale. Alimentata da un sistema NVIDIA DGX Spark, l'esperienza consente alle squadre di mantenere il contesto durante le revisioni di progettazione, showroom virtuali e digital twin, permettendo al lavoro di spostarsi da sessioni uniche a processi aziendali ripetibili.
Atlantic Studios, una casa di produzione premiata a più riprese, si sta servendo dell'IA di NVIDIA XR per permettere agli utenti di esplorare una scansione immersiva del Titanic come adesso giace in fondo al mare. Gli utenti possono utilizzare comandi vocali per identificare punti di interesse e guidare la scoperta nel sito storico, trasformando un complesso modello sottomarino in una storia interattiva e spaziale che risponde domande, mette in luce contesti ed aiuta le persone a imparare in tempo reale.
Con l'aumento delle capacità degli agenti di percezione fisica, utilizzo di strumenti, accesso a informazioni aziendali e cooperazione, essi stanno diventando una nuova classe di lavoratori digitali. NVIDIA XR AI offre la base di librerie e computing accelerato necessari per costruire tali agenti per laboratori, fabbriche, ospedali e ambienti immersivi, integrando l