La potenza rimane il vincolo ineludibile per l'infrastruttura dell'intelligenza artificiale. Il numero di token che un impianto di AI può generare in un budget di potenza fissato determina i suoi ricavi e la sua capacità di guadagnare. A causa di questo, la prestazione per watt — una metrica che non può essere manipolata, ma guadagnata attraverso risultati concreti — è la base per la realizzazione di impianti di AI. Mentre l'AI agente spinge la richiesta di token al rialzo, le decisioni infrastrutturali che le organizzazioni prendono oggi determineranno chi scala e chi non lo farà in un mondo vincolato dalla potenza.

Quasi tutti i modelli di AI di frontiera oggi operano su un architettura mixture-of-experts (MoE). L'erogazione di MoE su larga scala richiede una progettazione congiunta attraverso ogni strato del sistema e dello stack software, più la profondità operativa guadagnata eseguendo questi modelli sotto carico effettivo. Con la , questa fondazione su larga scala è già costruita e testata sul campo, offrendo la più alta prestazione per watt per massimizzare i ricavi e il minor costo per token per massimizzare i margini di profitto. Su questa base la piattaforma NVIDIA Vera Rubin costruirà ulteriormente per elevare al massimo l'efficienza energetica dell'infrastruttura di larga scala.

Massimizzare la Prestazione per Watt per i Modelli di AI di Frontiera

Ogni nuova generazione di modelli avanzati di AI introduce modifiche all'architettura che svelano potenzialmente maggiore intelligenza, mentre richiede nuove ottimizzazioni per operare efficientemente su larga scala. Nei nuovi modelli open source, la GB300 NVL72 di NVIDIA fornisce fino a 25 volte la performance per watt rispetto alla generazione precedente Hopper. Questi numeri riflettono la posizione attuale di Blackwell, un punto di partenza che continua a migliorare.

Ogni singolo numero, però, racconta solo una parte della storia. I diversi carichi di lavoro richiedono diversi punti operativi: alcuni sono ottimizzati per la latenza, altri per la throughput e il costo — e la maggior parte ne deve passare da uno punto all'altro.

Per rappresentare meglio questi punti operativi, NVIDIA presenta curve di tipo Pareto per ogni modello piuttosto che un singolo punto, e fornisce strumenti come DynoSim per aiutare le squadre a trovare il loro punto ottimale sulla curva Pareto senza dover spendere nemmeno un'ora di GPU per la validazione iniziale.

I sistemi GB300 NVL72 di NVIDIA offrono fino a 25 volte la performance per watt rispetto al setup NVIDIA Hopper su DeepSeek V4 Pro. Fonte: SemiAnalysis InferenceX

I sistemi GB300 NVL72 di NVIDIA offrono fino a 20 volte la performance per watt rispetto al setup NVIDIA Hopper su GLM5.1. Fonte: SemiAnalysis InferenceX

I sistemi GB300 NVL72 di NVIDIA offrono fino a 10 volte la performance per watt rispetto al setup NVIDIA Hopper su Kimi K2.6, un modello progettato appositamente per compiti di task di lunga durata. Fonte: SemiAnalysis InferenceX

La capacità di NVIDIA Blackwell di fornire performance per watt eccezionali è il risultato di un rigoroso lavoro di con-design: ogni componente del sistema su larga scala, dalla silicio al software, è progettato insieme per massimizzare la throughput dei task di inferenza su AI. Questo con-design riguarda ogni strato dello stack.

Un esempio di questo con-design avanzato è il NVIDIA NVLink Switch, fondamentale per le prestazioni su larga scala, costruito appositamente per domini GPU su larga scala e non da una rete di uso generale. Con la sesta generazione lanciata col Vera Rubin, i suoi capacità sono state progettate appositamente per modelli di AI come SHARP, che esegue elaborazioni di rete direttamente all'interno dello switch, togliendo lavoro dai GPU stessi.

Il software di inferenza NVIDIA, incluso Dynamo, TensorRT LLM, ainsi che SGLang e vLLM, è costruito per sostenere l'intera gamma di ottimizzazioni: quantizzazione NVFP4, servizio non dedicato, parallelismo su larga scala esperto, routing consapevole delle chiavi (KV), offload del KV cache, e molto altro. Queste soluzioni si combinano a moltiplicare la performance di ogni GPU. Inoltre, il software continua a migliorare negli anni: su DeepSeek V4, la performance per watt è migliorata del 500% in un mese solo.

Negli impianti di IA, la potenza persa per il raffreddamento e le inefficienze su larga scala può significare che solo circa il 60% dell'energia elettrica prelevata dalla rete venga effettivamente trasformato in lavoro AI útil. Con NVIDIA DSX MaxLPS, il software di potenza ed efficienza nel piattaforma NVIDIA DSX, questo gap viene colmato spostando in tempo reale l'energia tra GPU e rack, supportando raffreddamento ad acqua calda e utilizzando tecniche come l'ottimizzazione della distribuzione della potenza (power steering) per ottenere performance superiori. Ciò permette agli operatori di far funzionare fino al 40% in più di GPU rispetto al medesimo budget energetico.

La Produzione É Dove Conta

La affidabilità su larga scala è ottenuta attraverso un duro lavoro e test operativi. I sistemi su larga scala introducono diversi tipi di fallimento mai incontrati con deploy di singoli nodi, e gestirli richiede rigorosi standard ingegneristici e esperienza da test sul campo.

I NVIDIA Blackwell NVL72 Systems continuano a fissare lo standard attraverso una vasta gamma di modelli e casi di utilizzo aziendali, mantenendo performance sostenibili, affidabilità su larga scala ed economie che tengono fede al traffico effettivo ogni giorno.

Per questo motivo, laboratori di AI di alto livello come Anthropic e OpenAI utilizzano i NVIDIA Blackwell NVL72 Systems per eseguire le prestazioni di inferenza.

Inoltre, un certo numero di fornitori di servizi di inferenza e di aziende native AI utilizzano la piattaforma Blackwell per distribuire modelli aperti in produzione.

CoreWeave ha implementato il Kimi K2.6 sul NVIDIA GB300 NVL72, combinando NVFP4 quantizzazione e decodifica EAGLE3 speculativa per massimizzare le prestazioni di inferenza.

Perplexity esegue Qwen3 235B e Qwen3.5-397B-A17B