Una nuova generazione di modelli multimodali per le imprese

Nvidia ha presentato Nemotron 3.5 Super VL, un modello multimodale aperto da 120 miliardi di parametri, concepito specificamente per compiti di agente e per l’analisi di documenti in contesti aziendali. Il modello è stato sviluppato in collaborazione con la Nemotron Coalition, che comprende Mistral AI, Thinking Machines Lab, Perplexity e Black Forest Labs.

Super VL utilizza un’architettura Mixture‑of‑Experts (MoE) in cui, per ogni token, sono attivi solo 12 miliardi di parametri, riducendo drasticamente il carico computazionale mantenendo alta la qualità dei risultati.

Il modello è stato “distillato” da Nemotron 3 Ultra, il più grande modello di ragionamento di Nvidia, e promette di eguagliare l’accuratezza di Ultra con solo un quinto dei parametri. Nei test di agenti condotti con Hermes e LangChain, Super VL ha addirittura superato Ultra, oltre a battere il predecessore Nemotron 3 Super nei benchmark di programmazione SWE‑bench e Terminal‑Bench.

Varianti compatte per hardware locale: Bolt 74B‑A9B e Bolt E4B

Insieme a Super VL, Nvidia ha lanciato due versioni più piccole, denominate Bolt, pensate per funzionare su macchine locali o dispositivi edge.

Bolt 74B‑A9B (24 GB)

Modello 74 miliardi di parametri, con MoE in cui solo 9 miliardi sono attivi per passo.
Quantizzazione aggressiva a 2 bit per comprimere i pesi e adattarli a 24 GB di memoria.
Ideale per agenti che devono eseguire più passaggi, chiamare tool o effettuare ricerche web.
Supporta scrittura e debug di codice, oltre a consigli su componenti hardware.
Ottimizzato per Nvidia RTX Spark (laptop AI), DGX Spark (workstation compatta) e GPU GeForce RTX.
Compatibile con llama.cpp, Ollama, LM Studio e vLLM.

Bolt E4B (4 GB)

Versione ultra‑compressa, ancora in fase di rilascio, destinata a GPU GeForce RTX, moduli Jetson e RTX/DGX Spark.
Progettata per assistenti vocali, personaggi interattivi e interfacce di dispositivo.
Capace di mantenere conversazioni naturali, utilizzare tool su più turni e rimanere consapevole del contesto dell’app corrente.

Nonostante la compressione, la versione da 24 GB richiede hardware di fascia alta; al momento è indirizzata a sviluppatori e a proprietari di workstation potenti.

Prestazioni e ottimizzazioni hardware

Super VL è stato compresso con il formato 4‑bit NVFP4. Sulle GPU Blackwell il modello opera interamente a 4‑bit, mentre sulle schede più vecchie i pesi rimangono a 4‑bit ma i calcoli avvengono a 16‑bit. Le parti sensibili del modello mantengono una precisione più alta per evitare degradazioni di qualità. Nvidia ha addestrato la versione compressa per replicare fedelmente le uscite della versione non compressa.

Con il software di inferenza Dynamo, Super VL può servire otto volte più utenti contemporaneamente e ridurre il tempo al primo token dell’85 %. Dynamo utilizza una componente di “draft” che propone più token in anticipo; il modello principale verifica i token in un unico forward pass, accelerando la generazione fino a 2,3× rispetto a una generazione senza draft.

Il modello memorizza nella cache le istruzioni, le descrizioni dei tool e la cronologia delle conversazioni che sono identiche per molte richieste, evitando di ricalcolare questi elementi. Dynamo instrada le richieste della stessa sessione verso la GPU che già possiede la cache, consentendo su 16 GPU B200 di servire otto volte più utenti simultanei.

Capacità multimodali avanzate

Super VL è stato ottimizzato per i tipi di contenuti che gli agenti aziendali incontrano quotidianamente: OCR, tabelle, grafici, documenti multiformato e video. Il modello è in grado di interpretare un grafico, collegarlo a una tabella presente nello stesso documento e sintetizzare entrambe le informazioni senza ricorrere a un modello di visione separato.

Nel benchmark di grafici CharXiv, Super VL raggiunge l’80,8 % di accuratezza, contro il 63 % di Nemotron 3 Nano Omni; con l’abilitazione del codice Python il punteggio sale all’84 %.

Su OCRBench v2, Super VL si colloca tra i migliori modelli open‑source, confermando la sua capacità di gestire documenti scansionati e immagini contenenti testo.

Confronti di velocità e accuratezza

Secondo il leaderboard Artificial Analysis, Super VL è meno accurato dei principali modelli chiusi, ma supera tutti gli altri modelli open‑source della stessa classe, inclusi i propri Nemotron 3 Ultra. Su un singolo GPU, Super VL offre fino a cinque volte il throughput di altri modelli open‑source di dimensioni simili per compiti di agente.

In un test indipendente condotto da EXO Labs su DGX Spark, nessun altro modello è risultato simultaneamente più accurato e più veloce di Super VL. Questa combinazione di precisione e velocità è cruciale quando gli agenti devono elaborare grandi volumi di richieste per giorni o settimane.

Nel contesto dei benchmark di programmazione, Super VL è leggermente meno preciso dei concorrenti, ma completa i task quattro volte più rapidamente, offrendo un vantaggio significativo per applicazioni che richiedono risposta rapida.

Strategia di mercato e casi d’uso aziendali

Nvidia posiziona Super VL come soluzione per le imprese che desiderano personalizzare il modello con i propri dati e gestirlo sui propri server, evitando le restrizioni dei termini di servizio dei provider cloud. Alcuni esempi di utilizzo includono:

Una compagnia assicurativa che monitora continuamente le richieste di risarcimento per individuare frodi.
Un istituto finanziario che valuta la solvibilità dei clienti secondo criteri proprietari.
Scale AI, che ha adattato Super VL per gestire crediti fornitori per Skydance, riducendo i costi a 1/40 e i tempi di risposta a 1/5.
Ramp, che converte foto di ricevute in dati strutturati con un aumento di velocità di 10×.
EY, che utilizza il modello per la due diligence nelle acquisizioni.
Hebbia, che impiega Super VL per l’analisi di grandi volumi di documenti scientifici.

Per facilitare la personalizzazione, Nvidia mette a disposizione il framework NeMo, pipeline Python e dataset aperti, consentendo alle aziende di fine‑tuning e di integrazione rapida.

Conclusioni e prospettive future

Nemotron 3.5 Super VL rappresenta un passo avanti significativo nella fornitura di modelli multimodali aperti, capaci di operare in modo continuo e di gestire compiti complessi su testi, immagini e video. La sua architettura MoE, la compressione a 4‑bit e le ottimizzazioni software (Dynamo, LiLiCorr) consentono di ottenere un throughput fino a cinque volte superiore a quello dei concorrenti, mantenendo una precisione competitiva.

Le versioni Bolt, sebbene richiedano hardware di fascia alta, aprono la porta a scenari di AI locale, dove la privacy e la latenza sono critiche. La futura Bolt E4B promette di portare agenti intelligenti su dispositivi edge a costi contenuti.

Nel panorama attuale, dove le grandi aziende cercano sempre più autonomia sui propri dati, la combinazione di modello aperto, possibilità di fine‑tuning e ottimizzazione hardware potrebbe rendere Super VL una delle scelte preferite per le soluzioni AI aziendali di prossima generazione.