Bonsai 27B è un modello open di ragionamento che funziona su un iPhone

PrismML ha lanciato Bonsai 27B, un modello AI da 27 miliardi di parametri che può funzionare direttamente su un iPhone. Secondo l’azienda, il modello include capacità avanzate di ragionamento, utilizzo di strumenti e gestione delle immagini. Apple sta testando questa tecnologia, e si parla di discorsi iniziali tra le due aziende.

PrismML e la capacità locale dell’AI

Foundationato da una squadra di ricercatori del Caltech, PrismML ritiene che le applicazioni AI moderne richiedano modelli potenti capaci di funzionare localmente. Un agente può effettuare centinaia di chiamate al modello in sequenza, ciascuna portando contesto e producendo dati strutturati. In cloud, il costo per token si accumula rapidamente, ogni chiamata aggiunge latenza e potrebbe esporre informazioni sensibili.

PrismML sottolinea che l’esecuzione locale elimina questi problemi, riduce i costi marginali a zero e mantiene i dati privati sul dispositivo. L’azienda vede questo come la base per agenti sempre attivi, assistenti offline e sistemi ibridi. Le attività semplici e sensibili alla privacy restano sul dispositivo, mentre solo i passaggi più complessi vengono mandati in cloud.

Rapporti con Apple

Secondo un rapporto di CNBC, PrismML è già in discussione con Apple riguardo alla tecnologia di compressione di Bonsai. Il CEO di PrismML, Babak Hassibi, ha confermato che Apple e altre aziende stanno testando i modelli per velocità, consumo energetico e prestazioni. I colloqui sono "iniziali", ma "le cose stanno procedendo bene".

Versioni per smartphone e laptop

Un modello di questa dimensione occupa circa 54 GB di archiviazione. Anche con la compressione standard, ne richiede ancora 18. PrismML propone due versioni molto più piccole: la variante a qualità elevata occupa circa 5,9 GB, ideale per laptops, benché i pacchetti consegnati possano essere più grandi a seconda del runtime. La versione per smartphone occupa circa 3,9 GB, abbastanza piccola per adattarsi alla limitata capacità di archiviazione dell’iPhone 17 Pro Max.

L’iPhone 17 Pro ha 12 GB di RAM ma ne rende solo 6 disponibili per un’app, divisi tra modello e cache. Piuttosto che memorizzare ciascun peso neurale in formato 16 bit, PrismML utilizza 1 o poco più di 2 bit. Nella versione più aggressiva, ciascun peso ha solo due stati, e in una leggermente più grande, ne ha tre. Questo approccio è applicato nell’intero modello linguistico.

Secondo PrismML, un problema comune nei modelli comprimibili sta nei nomi assegnati. Per esempio, il modello Qwen3.6-27B-IQ2_XXS mostra una media di 2,8 bit per peso nonostante l’etichetta di "2-bit".

Efficienza e qualità

Secondo l'azienda, la compressione ha un impatto limitato sulla qualità. Nelle valutazioni interne su 15 benchmark, la versione più grande mantiene un 95 percento delle capacità originali. La versione più piccola ne mantiene il 90. Le operazioni matematiche e di coding rimangono “sostanzialmente invariati”, indica PrismML.

I cali di performance si notano soprattutto con la compressione più aggressiva, specialmente in comprensione visiva, seguendo le istruzioni e in compiti basati sugli agenti. Un modello standard compresso di Qwen3.6-27B, che pesa 9,4 GB, mostra un punteggio di 72,7, mentre la variante più piccola di Bonsai con peso di 3,9 GB ha un punteggio di 76,1.

I modelli comprimibili Bonsai mantengono fino al 95% delle capacità originarie del modello Qwen3.6-27B. La versione a 1-bit mostra performance più elevate per densità d’intelligenza con una misurazione di 0,530 per GB, nettamente migliore rispetto alle versioni ternarie e a quelle in formato FP16.

Velocità e consumo energetico

Secondo la white paper, la versione più piccola genera circa 11 token al secondo su un iPhone 17 Pro Max. I test sulla batteria mostrano che un iPhone può produrre in media circa 672 token per punto percentuale di batteria caricato, arrivando così a circa 67.000 token per carica completa. Il processore però rallenta leggermente dopo cinque minuti di uso continuo.

La possibilità che Apple chiuda l’abisso locale

I pesi del modello sono disponibili sotto licenza Apache 2.0. Bonsai 27B è compatibile con i dispositivi Apple grazie al framework MLX e con i GPU di NVIDIA. PrismML offre inoltre un periodo sperimentale gratuito con un API e una demo live su HuggingFace.

Sponsor e futuri sviluppi

PrismML è finanziato da Khosla Ventures, Cerberus e Google. Anche Samsung supporta l'azienda. I piani dell’azienda includono l’applicazione della tecnologia di compressione al modello Gemma di Google, di cui esistono già delle versioni rimpicciolite adatte ai telefoni.

Apple e la tecnologia di Google

Apple potrebbe beneficiare di questa tecnologia per migliorare i propri modelli di AI locali, che finora hanno mostrato performance inferiori rispetto alla concorrenza. Al WWDC 2026, l’azienda ha presentato una versione rinnovata di Siri costruita su modelli di base sviluppati insieme a Google utilizzando tecnologia Gemini. Il modello più potente richiede un iPhone con almeno 12 GB di RAM, mentre le richieste complesse vengono gestite da GPU Nvidia nei server di Apple.

Notizie sull’AI senza esagerazioni

Isciviti al THE DECODER per contenuti sull’AI curati da persone, senza distrazioni pubblicitarie. Avrai accesso a una newsletter settimanale gratuita e a un report trimestrale approfondito sulle principali tendenze nell’intelligenza artificiale.