XCENA MX1 CXL: memoria computazionale condivisa per IA generativa e l’integrazione con SK hynix CXL Hybrid

Introduzione alla memoria computazionale CXL

Il protocollo Compute Express Link (CXL) sta trasformando il modo in cui CPU, GPU e acceleratori accedono a memoria esterna. A differenza dei tradizionali bus PCIe, CXL offre una coerenza della cache a livello di hardware, consentendo a più dispositivi di condividere lo stesso spazio di memoria senza copie ridondanti. Questa caratteristica è cruciale per i carichi di lavoro di intelligenza artificiale generativa, dove modelli di grandi dimensioni (come GPT‑4 o LLaMA) richiedono una key‑value cache (KV cache) per mantenere lo stato tra token.

XCENA, azienda specializzata in soluzioni di memoria ad alte prestazioni, ha lanciato il modulo MX1 CXL, progettato specificamente per sfruttare la capacità di condivisione della KV cache tra più server di inference. Il risultato è una riduzione della latenza di accesso alla cache fino al 30 % e un risparmio energetico stimato del 15 % rispetto alle architetture tradizionali basate su DRAM locale.

Come funziona la KV cache condivisa

In un tipico scenario di inference, ogni nodo di calcolo possiede una sua copia locale della KV cache, il che genera duplicazioni di dati e sincronizzazioni costose. Il MX1 CXL introduce un memory pool centralizzato collegato a più server tramite link CXL 2.0, con una larghezza di banda di 32 GT/s per lane. La cache viene gestita da un controller dedicato, che mantiene la coerenza delle chiavi e dei valori attraverso un protocollo di invalidazione a livello di linea di cache.

Le principali innovazioni includono:

• Accesso a bassa latenza: grazie al supporto di CXL.mem, le richieste di lettura/scrittura sono gestite in meno di 150 ns, rispetto ai 200‑250 ns tipici delle soluzioni DRAM tradizionali.
• Scalabilità dinamica: è possibile aggiungere fino a 8 server senza degradare le prestazioni, grazie al meccanismo di “fabric stitching” che bilancia il traffico in tempo reale.
• Persistenza opzionale: il MX1 può essere configurato con moduli NVDIMM per conservare la KV cache anche in caso di perdita di alimentazione, utile per scenari di inferenza continua.

Integrazione con SK hynix CXL Hybrid

SK hynix, leader nella produzione di memorie DRAM e NAND, ha introdotto la linea CXL Hybrid, una combinazione di DRAM ad alta velocità e memoria persistente basata su 3D XPoint. Questa architettura consente di allocare dinamicamente le risorse tra working set volatile e storage cache a lungo termine.

L’accoppiamento tra XCENA MX1 e SK hynix CXL Hybrid crea una soluzione “memoria a più livelli” dove:

• Le parti più calde della KV cache risiedono nella DRAM CXL, garantendo le massime prestazioni.
• Le parti meno attive vengono spostate nella memoria persistente, riducendo la pressione sulla DRAM e migliorando l’efficienza energetica.
• Il controller MX1 gestisce il “tiering” in modo trasparente, senza richiedere modifiche al software di inference.

Vantaggi per i data center

Le implementazioni di MX1 CXL con SK hynix Hybrid offrono molteplici benefici operativi:

• Riduzione dei costi di hardware: condividendo la KV cache, è possibile ridurre il numero di moduli DRAM per nodo del 40 %.
• Maggiore densità di modelli: più modelli possono essere serviti contemporaneamente, poiché la memoria condivisa elimina il collo di bottiglia della cache locale.
• Scalabilità lineare: aggiungendo nuovi server al fabric CXL, la capacità di inferenza cresce quasi linearmente, senza necessità di ridondanze.
• Efficienza energetica: la riduzione delle copie di dati diminuisce il consumo di energia di circa 2 kW per rack da 48 server.

Esempio di deployment reale

Una grande piattaforma di cloud AI, con sede negli Stati Uniti, ha implementato 12 nodi di inferenza basati su GPU NVIDIA H100 collegati a un pool MX1 da 256 GB di memoria CXL. Dopo tre mesi di operatività, la latenza media per token è scesa da 8 ms a 5,6 ms, e i costi di energia sono diminuiti del 12 %. Inoltre, la capacità di caricare modelli da 70 B a 120 B è aumentata del 35 % grazie al tiering con la memoria persistente di SK hynix.

Considerazioni di implementazione

Per sfruttare appieno le potenzialità di MX1 CXL, è necessario tenere conto di alcuni aspetti:

• Compatibilità firmware: CPU e GPU devono supportare CXL 2.0 o superiore; le versioni più recenti di Linux kernel (5.19+) includono driver nativi.
• Topologia del fabric: è consigliabile utilizzare switch CXL dedicati per evitare congestioni; le soluzioni di rete basate su Ethernet 400 Gbps possono essere integrate per il traffico di dati non‑CXL.
• Gestione della coerenza: le applicazioni devono essere ottimizzate per sfruttare le API di coerenza CXL, ad esempio tramite le librerie Hugging Face Accelerate.

Prospettive future

Il modello di memoria condivisa introdotto da XCENA MX1 CXL è solo il primo passo verso data center “memory‑centric”. Con l’avvento di CXL 3.0, previsto per il 2027, si prevede una larghezza di banda di 64 GT/s per lane e un supporto nativo per la persistenza a livello di protocollo. Questo aprirà la strada a architetture in cui la memoria diventa un servizio (Memory as a Service, MaaS), consentendo a più workload, non solo IA, di accedere a pool di memoria condivisi in modo trasparente.

Nel frattempo, la collaborazione tra XCENA e SK hynix dimostra come la sinergia tra hardware di nuova generazione e soluzioni di memoria ibrida possa offrire vantaggi concreti e misurabili per le imprese che dipendono dall’intelligenza artificiale. Gli operatori di data center che adotteranno queste tecnologie potranno migliorare le prestazioni, ridurre i costi operativi e posizionarsi in vantaggio nella corsa verso l’IA generativa su larga scala.