AI inference è in rapida crescita diventando il carico di lavoro che determina l'economia dell'esplosione AI. Il training ha costruito la prima ondata di cloud GPU, ma servire i modelli più velocemente e a costi inferiori definirà la prossima fase.
Questo spinge i provider specializzati di cloud oltre la pura capacità GPU verso storage, networking e software. Uno di questi provider sta stratificando servizi gestiti per training, post-training e inferenza sulla propria infrastruttura, secondo Urvashi Chowdhary, vice president of product and AI services presso CoreWeave Inc.
"Penso che se guardi il percorso dello sviluppatore AI, cerca di risolvere un problema e vuole farlo il più rapidamente possibile con le migliori prestazioni e un costo scalabile", ha detto Chowdhary. "Quindi, ci siamo concentrati molto sulla costruzione dei livelli del nostro stack, costruendo sopra un'infrastruttura affidabile per creare più servizi gestiti, sia per il training, il post-training che per l'inferenza".
Chowdhary ha parlato con Dave Vellante e John Furrier di theCUBE Research durante l'evento Fully Connected, in una trasmissione esclusiva su theCUBE, lo studio di streaming di SiliconANGLE Media. Hanno discusso l'inferenza AI, i servizi gestiti sull'intero stack e CoreWeave RL Rollouts, una nuova capacità progettata per accelerare l'iterazione dei modelli agentic.
Ottimizzazione layer by layer dello stack di inferenza AI
La domanda di inferenza sta crescendo rapidamente. Un sondaggio di theCUBE Research su clienti e prospect di CoreWeave ha rilevato che per un cliente nel settore sanitario, la quota di carico di lavoro di inferenza è passata da circa il 10% nel primo anno al 40% nel secondo, con una quota attesa di circa il 50% entro 12 mesi. La risposta di CoreWeave è ottimizzare ogni livello sopra l'hardware, dal motore vLLM ai modelli quantizzati e ai decoder speculativi personalizzati, ha spiegato Chowdhary.
"Una cosa di cui siamo stati molto consapevoli è sfruttare strumenti e tecnologie open source, contribuendo agli open systems in modo che i clienti abbiano flessibilità e costruendo i nostri servizi l'uno sopra l'altro", ha detto.
Nuove pressioni dal reinforcement learning
Il reinforcement learning aggiunge nuove pressioni. Quando i clienti addestrano modelli agentic con ricompense e verificatori, l'inferenza diventa il collo di bottiglia durante i rollout, secondo Chowdhary. CoreWeave RL Rollouts, una capacità in anteprima costruita sul framework Dynamo di Nvidia Corp., carica nuovi checkpoint in una distribuzione live. Durante i test, questa capacità ha migliorato la latenza di ricaricamento del modello di 15 volte rispetto a una configurazione di base.
"Quando esegui i rollout RL, continui a creare nuovi checkpoint e versioni del modello e vuoi che questi vengano distribuiti nel tuo setup di inferenza in modo da poterlo scalare in modo indipendente", ha detto. "E siamo riusciti ad accelerare questo processo di 15 volte, il che significa che i tuoi run di training procedono velocemente e la tua inferenza si sta scalando mentre continui ad addestrare rapidamente il tuo modello".
CoreWeave Forge: una piattaforma completa
Queste capacità ora si trovano all'interno di CoreWeave Forge, una piattaforma lanciata durante l'evento che collega serving, osservabilità, post-training e valutazione. Forge è gratuito per iniziare, con livelli a pagamento che offrono capacità aggiuntive, estendendo l'accesso a strumenti e servizi di sviluppo AI anche a singoli sviluppatori, ha spiegato Chowdhary.
"Vogliamo creare accessibilità per queste tecnologie all'avanguardia", ha detto. "Anche se sei uno sviluppatore individuale che si iscrive oggi da solo, ottieni comunque le migliori prestazioni, le migliori prestazioni di affidabilità e non devi fare compromessi".
Ecco l'intervista video completa, parte della copertura di SiliconANGLE e theCUBE dell'evento Fully Connected.