PrismML ha annunciato l’avvio di Bonsai 27B, un modello di apprendimento automatico con 27 miliardi di parametri che può funzionare direttamente su un iPhone. Secondo le dichiarazioni della società, Bonsai 27B è in grado di replicare le capacità di ragionamento e di agenti avanzati del modello originale Qwen3.6-27B di Alibaba.
Bonsai 27B si basa su un framework di compressione brevettato che riduce di oltre il 90% la grandezza del modello, rendendo possibile la sua esecuzione su dispositivi mobili. La società ha spiegato che tale tecnologia permette di conservare la capacità di pensiero multi-step, l’uso di strumenti e la comprensione delle immagini tipica di un modello KI complesso.
Tecnologie di compressione all’avanguardia
Il problema centrale della gestione KI su smartphone riguarda la limitatezza della memoria. PrismML ha adottato una soluzione innovativa in cui i pesi neurali non sono archiviati in formato tradizionale a 16 bit, ma utilizzando uno o due bit, in alcuni casi addirittura uno solo per rappresentare il peso.
Questa tecnologia consente di ridurre drasticamente lo spazio occupato. Mentre normalmente un modello simile richiederebbe circa 54 GB di spazio, utilizzando i metodi di compressione tradizionali il peso scende a circa 18 GB. PrismML ha ulteriormente ridotto questa dimensione, offrendo una versione “quality-focused” da 5,9 GB adatta a computer portatili.
La versione più leggera pesa solo 3,9 GB e può essere eseguita su iPhone 17 Pro Max. Il problema risiede però nella gestione della memoria. Un iPhone con 12 GB di RAM riserva circa 6 GB di spazio alla singola applicazione, che deve condividere con il modello KI e i dati temporanei.
Versioni compatibili e performance attese
- Quality-focused (5,9 GB) – per laptop
- Fall-back (3,9 GB) – per smartphone
Il framework utilizza tecniche di rappresentazione avanzata: nei modelli più aggressivi ogni peso può assumere solo due valori, mentre in quelli un po’ più grandi ne ha tre. Il risultato è un modello che mantiene un elevato livello di precisione pur riducendone in maniera massiccia la grandezza fisica.
Confronto con altri modelli
PrismML ha effettuato una valutazione basata su 15 benchmark per confrontare Bonsai 27B con il modello di partenza Qwen3.6-27B. I risultati indicano che la versione di qualità mantiene circa il 95% delle prestazioni originarie, mentre quella più compressa conserva il 90%.
Nel settore del ragionamento matematico e del coding, le capacità sono quasi integre. Diversi sono gli svantaggi osservati quando si utilizza forma più aggressiva di compressione. Per esempio, il modello Qwen3.6-27B compreso in formato standard con il metodo "IQ2_XXS" pesa 9,4 GB e presenta un punteggio di 72,7; Bonsai con 3,9 GB raggiunge 76,1.
Il modello Bonsai 27B ha generato circa 11 token al secondo su un iPhone 17 Pro Max, con una capacità stimata di produrre 672 token per punto percentuale di batteria. Il consumo energetico si è moderatamente ridotto circa cinque minuti dopo l’avvio.
Futuro delle KI locali
Apple potrebbe trarre vantaggio da questa tecnologia per rafforzare i propri modelli locali di intelligenza artificiale, che in passato non hanno raggiunto i risultati di modelli simili da concorrenti come Google o Meta. Il modello Siri più avanzato richiede almeno un iPhone con 12 GB di RAM, e richiede l’uso di una GPU Nvidia per le richieste complesse.
Nel frattempo, PrismML ha annunciato di voler applicare la sua tecnologia di compressione al modello Gemma di Google, che già include variante funzionante su smartphone.
Disponibilità e licenze
- I pesi del modello sono rilasciati con licenza Apache-2.0.
- Bonsai 27B funziona su Apple e NVIDIA, supportati rispettivamente da MLX ed elaborazione su GPU.
- Sono disponibili un’API di preview gratuito e una dimostrazione su HuggingFace.
Collegamenti esterni e partner
PrismML è stato inizialmente supportata da investitori come Khosla Ventures, Cerberus e Google. Samsung continua a sostenere il progetto. La società ha anche collaborato con Google per creare nuove versioni di Siri basate sulla tecnologia Gemini.
In sintesi, Bonsai 27B rappresenta un passo significativo nella sperimentazione dei modelli di intelligenza artificiale locali leggeri e performanti, aprendo nuove possibilità per lo sviluppo di agenti autonomi e l’uso efficiente della KI su dispositivi mobili.