Gli agenti AI fanno molto più che generare risposte. Cercano informazioni, interrogano database, scrivono e testano codice e compiono azioni. Ogni passaggio di questi processi si basa su una CPU, con gli agenti che si spostano tra il ragionamento GPU e l'esecuzione CPU durante un compito.

Man mano che le aziende impiegano più agenti, le fabbriche di AI necessitano di CPU in grado di eseguire questi passaggi rapidamente e supportare molti agenti contemporaneamente, tutto entro i limiti della potenza disponibile.

L'importanza della scelta giusta

I fornitori di infrastrutture AI devono supportare più agenti senza far aspettare ciascuno più a lungo per svolgere il proprio lavoro. E, in modo cruciale, le fabbriche di AI sono limitate in termini di potenza. Questo significa che gli operatori devono scegliere un'infrastruttura che massimizzi il lavoro svolto per ogni watt.

NVIDIA Vera offre sia prestazioni veloci degli agenti che alta capacità per watt in un singolo CPU. Questo fornisce ai provider un CPU per una gamma di workload agenti, piuttosto che dover mescolare e abbinare parti x86 veloci e dense per bilanciare velocità e capacità.

I dati che lo dimostrano

In un confronto in un data center da 100 megawatt, NVIDIA ha riscontrato che un singolo CPU Vera supera sia il CPU x86 più veloce che il più efficiente dal punto di vista energetico.

Vera offre la velocità degli agenti leader del settore, consentendo 1.6x più agenti per watt rispetto al CPU x86 più veloce. Inoltre, Vera offre 2x la velocità degli agenti con un'efficienza energetica leader rispetto al CPU x86 più efficiente dal punto di vista energetico.

Partner già in azione

I primi adottatori stanno già mettendo Vera al lavoro e riscontrano le stesse prestazioni eccezionali nei test di tipo produttivo:

    • Perplexity: Ha eseguito compiti di codifica agenti 1.5x più velocemente con Vera rispetto alle CPU tradizionali. Perplexity prevede di implementare Vera in un prossimo sistema di produzione.
    • DeepInfra: Ha offerto fino a 2.2x la velocità del miglior processore x86 nell'orchestrazione agenti per il proprio workload di agenti di produzione, raggiungendo la velocità più elevata tra le quattro architetture testate.
    • ClickHouse: Il suo binario standard, senza alcuna ottimizzazione specifica per Vera, si è scalato in modo quasi lineare su 176 core e ha raggiunto la vetta della leaderboard hardware ClickBench.
    • DuckLabs: Ha raggiunto circa 1.5x la performance mediana TPC-H SF1000 di un baseline Intel Xeon 6.
    • Daytona: Ha portato online 1.000 sandbox agenti in 10,8 secondi e ha raggiunto 12,7 lavori completati al secondo con 2.000 sandbox concorrenti, utilizzando Vera rispetto a 88,4 secondi con x86.
    • Modal: Ha raggiunto fino a 2x la throughput delle sandbox per core rispetto all'hardware x86 comparabile, con guadagni che crescono sotto carico pesante.

Scopri di più sul CPU NVIDIA Vera.