Quando si parla di costi dell'AI, la maggior parte dei dirigenti pensa a rack di GPU e alla potenza di calcolo necessaria. Tuttavia, c'è un aspetto spesso trascurato: il costo dello storage dei dati. Dopo che un modello risponde a una richiesta, cosa succede ai dati generati? Molti di questi, provenienti da miliardi di prompt, immagini e video quotidiani, devono essere memorizzati.

L'impatto dell'inferenza sui costi di storage

Tradizionalmente, le conversazioni sull'infrastruttura AI si sono concentrate sul processo intensivo di calcolo del training di un modello. Il training è un processo finito: inizia, consuma risorse di calcolo e termina. Al contrario, l'inferenza avviene continuamente, ogni volta che un modello risponde a un prompt. Questa differenza è cruciale per la pianificazione infrastrutturale: un run di training è un progetto che può essere budgetizzato e archiviato, mentre l'inferenza non si ferma mai; ogni richiesta lascia qualcosa dietro di sé.

Prendiamo ad esempio i video generati dall'AI. In questo tipo di workload, la spesa back-end può essere significativa. Misurazioni interne di WD hanno rilevato che un clip di 8 secondi (restituito all'utente come un file 720p da 3,97MB) lascia più di 500MB di dati associati sul back-end, tra cui log, contesti in cache, render immediati, backup e registri di sicurezza. Questo rappresenta un aumento di 130 volte rispetto alla dimensione del file di output visto dall'utente. Scalando questa situazione a un'azienda che genera video più lunghi e ad alta risoluzione, l'impronta back-end cresce fino a centinaia di gigabyte per clip.

E questa impronta back-end sta crescendo rapidamente. McKinsey proietta che la domanda di inferenza AI crescerà a un tasso di crescita annuale composto del 35% fino al 2030, rispetto al 22% per il training, rappresentando più del 40% della domanda totale dei data center entro la fine del decennio.

L'impatto sull'infrastruttura e sul budget

Un recente white paper globale di IDC, sponsorizzato da WD, che ha intervistato 763 decisori IT e aziendali, ha rilevato che quasi il 95% dei rispondenti ha segnalato un aumento del volume di dati dovuto all'AI generativa negli ultimi 12 mesi, con circa il 61% che ha riportato una crescita del 25% o più.

“Puoi pensare ad avere più storage come un'ottimizzazione per mantenere i GPU occupati”, ha detto un senior product manager di un provider di servizi cloud hyperscale citato nel rapporto. “La sfida più grande è garantire che i GPU non siano inutilizzati, in attesa che i dati arrivino—ore di tempo di inattività dei GPU diventano molto costosi, molto velocemente.” In termini di dollari: se la tua spesa per lo storage cresce del 25% anno su anno mentre il tuo budget di calcolo cresce in modo più prevedibile e ciclico, lo storage finisce per superare il budget che riceve più attenzione.

La domanda di calcolo aumenta e diminuisce con i cicli di training, i lanci di prodotti e gli aggiornamenti hardware. Ma il volume di dati conservati non diminuisce con essa quando la domanda di calcolo rallenta. I log dei modelli, gli output sintetici, i risultati dell'inferenza e altro continuano ad accumularsi, e le organizzazioni li conservano più a lungo.

Questo cambia il ruolo dei dati conservati. Le informazioni che una volta venivano archiviate e raramente riemergevano possono ora diventare un input per i futuri workload AI. Man mano che più dati vengono conservati, recuperati e riutilizzati, lo storage deve supportare non solo una maggiore capacità, ma anche un accesso sempre più dinamico ad esso. Lo stesso sondaggio WD-IDC ha rilevato che il 96% dei rispondenti prevede di aver bisogno di un recupero più veloce degli archivi per supportare l'inferenza o la generazione aumentata da recupero (RAG).

I workload AI richiedono sia prestazioni che capacità, con diverse tecnologie che servono diversi bisogni in tutto il ciclo di vita dei dati. E per i vasti volumi di dati che devono essere conservati e riveduti, gli HDD forniscono una base ad alta capacità e conveniente, con un significativo vantaggio in termini di costo per terabyte.

Per un CFO o un CIO, questo significa che la spesa per l'infrastruttura AI potrebbe essere troppo limitata al calcolo. Un modello che rimane in attesa mentre i dati vengono caricati costa quanto uno che rimane in attesa per mancanza di un GPU. Ma il collo di bottiglia dello storage rimane nascosto fino a quando non diventa già un problema, emergendo nei costi operativi e nei ritardi di recupero piuttosto che in una voce di spesa in conto capitale accanto agli acceleratori.

Consideriamo un rivenditore che genera video AI per il suo catalogo, o un assicuratore che elabora documenti di reclamo attraverso un pipeline RAG per una sottoscrizione più rapida. In entrambi i casi, il costo di calcolo è una quantità nota e budgetizzata: un tasso per generazione o per query che la finanza può prevedere. Il costo di storage è diverso: si accumula con ogni video generato e ogni reclamo elaborato, perché nessuno di quei dati back-end scompare una volta terminato il compito.

Un team che budgetizza l'AI come “calcolo più un errore di arrotondamento per lo storage” potrebbe scoprire, tra 12 e 18 mesi, che l'errore di arrotondamento è diventato una frazione significativa del costo totale del programma—proprio nel momento in cui la dirigenza decide se espandere.

Architettura e strategia di storage

Affrontare questa sfida inizia con l'architettura. La strategia di storage tende a essere progettata per prestazioni costose di tier caldo (per dati accessibili istantaneamente e costantemente), mentre la maggior parte dei dati AI per volume si accumula nei tier caldo, tiepido e freddo dietro di esso.

Ciò di cui hanno bisogno le aziende è una capacità economicamente scalabile: un'infrastruttura progettata per l'intero ciclo di vita dei dati AI, che bilanci prestazioni, capacità, potenza, affidabilità e costo totale di proprietà man mano che i dati persistono, si accumulano e vengono sempre più riutilizzati. Questo significa trattare gli archivi che un tempo rimanevano inutilizzati come asset attivi per RAG e inferenza, e stabilire politiche di conservazione per il valore strategico crescente dei dati piuttosto che per il loro costo di archiviazione originale. Significa anche riconoscere che le decisioni sullo storage si ripercuotono su intere flotte, non su singoli drive.

Tale infrastruttura richiede tier di storage, dove il consumo individuale di energia, l'affidabilità, la densità e l'efficienza operativa determinano tutti se il sistema rimane economicamente sostenibile man mano che la capacità si espande.

Ci sono tre domande da porsi sul budget dell'infrastruttura AI della tua organizzazione:

Quanto storage è necessario per supportare i workload AI attuali e futuri?
Come possiamo ottimizzare il costo totale di proprietà dello storage per l'AI?
Quali politiche di conservazione dei dati sono necessarie per supportare i workload AI attuali e futuri?

La maggior parte delle organizzazioni non può rispondere con sicurezza a tutte e tre queste domande. Questo è il divario da colmare prima del prossimo ciclo di budget, non dopo.