OpenAI, con il supporto di Broadcom, ha annunciato lo sviluppo della puce ASIC Jalapeno, progettata specificamente per l’infrenza di modelli linguistici di grandi dimensioni (LLM). I primi test hanno evidenziato un’elevata efficienza in termini di prestazioni per watt, una metrica cruciale per il settore dell’IA.
Architettura e collaborazione tra OpenAI e Broadcom
A sinistra, Sam Altman (CEO di OpenAI) e Hock Tan (CEO di Broadcom) tengono in mano un prototype di wafer con chip Jalapeno (Crediti OpenAI). OpenAI ha sviluppato Jalapeno insieme a Broadcom per una puce ASIC dedicata all’infrenza dei LLM, simile ai TPU di Google. L’architettura è incentrata sui kernel, sui schemi di movimento della memoria e sui pattern di servizio dei modelli di OpenAI. OpenAI ha progettato l’architettura e la stack sistema orientata ai grandi modelli linguistici, mentre Broadcom si è occupata dell’implementazione sul silicium, della parte di rete e del packaging finale.
Più specificamente, OpenAI ha definito i blocchi funzionali, la hiérarchie di memoria (HBM, SRAM, interconnessioni a chip), le primitive di calcolo ottimizzate per operazioni fondamentali di inferenza (matmul, attenzione, dequantizzazione, ecc.), nonché l’integrazione con i Framework e i server modelli. L'azienda guida anche la roadmap futura in modo che Jalapeno e i suoi successivi rimangano allineati con l’evoluzione futura dei modelli (ad esempio GPT-5.x) e dei workload interni.
Produzione e test iniziale di Jalapeno
Nonostante siano filtrati pochi dettagli sugli acceleratori o le tecnologie di rete utilizzate, è noto che OpenAI abbia collaborato con Celestica per fabbricare e integrare questa architettura in diversi racks, computer e schede elettroniche. Jalapeno è progettato per l’infrenza di grandi modelli linguistici moderni ed è specificamente adatto per carichi di lavoro non generici. “L’obiettivo è combinare la potenza e il throughput dei principali acceleratori di intelligenza artificiale attuali con una latenza più vicina a quella dei sistemi di inferenza specializzati più veloci, rendendoli particolarmente adatti ai prodotti LLM di grandi dimensioni”, afferma OpenAI. Al momento, i campioni di Jalapeno sono in test per workload di apprendimento automatico basati su modelli GPT-5.3-Codex-Spark. OpenAI prevede di distribuire Jalapeno in grandi quantità in collaborazione con partner di data center su diverse generazioni.
9 mesi per lo sviluppo
Benché OpenAI abbia avviato la valutazione finale delle prestazioni di Jalapeno, i primi test indicano che il rapporto prestazioni/watt è nettamente superiore rispetto alle soluzioni di punta attualmente disponibili. Un rapporto tecnico dettagliato sulle prestazioni sarà comunicato nei prossimi mesi. “L’architettura riduce i trasferimenti di dati e bilancia le risorse di calcolo, memoria e rete al fine di raggiungere un tasso di utilizzo più vicino alle prestazioni teoriche massime”, precisano i tecnici di OpenAI.
Utilizzo dell’AI per la progettazione
Secondo OpenAI, lo sviluppo dell’architettura ha richiesto solo 9 mesi, dal concepimento fino all’integrazione funzionale in un circuito integrato. “La velocità di questa realizzazione è stata il risultato di una profonda collaborazione tra hardware e software, con il team tecnico di OpenAI, l’esperienza di Broadcom nell’implementazione su silicium e l’utilizzo dei modelli AI di OpenAI per accelerare alcune fasi della progettazione e dell'ottimizzazione”, si legge nella dichiarazione. “Se l’IA può aiutare gli ingegneri a progettare più velocemente e in modo più efficiente, ridurrà drasticamente i costi del calcolo a livello di settore e renderà più accessibile l'intelligenza artificiale avanzata”, ha ribadito OpenAI.
I commenti degli utenti sono benvenuti, così come eventuali correzioni. Se l’articolo ha suscitato interesse, è invito a condividerlo e ad iscriversi alla newsletter LMI, ricevuta da oltre 50.000 utenti. Rimani aggiornato seguendo l’intera attualità del settore, nonché i vari comunicati e aggiornamenti. Per ricevere la newsletter, unisci il tuo nome agli oltre 50.000 professionisti IT!