L’azienda PrismML ha annunciato il rilascio di Bonsai 27B, una versione a bassa precisione del modello linguistico Qwen3.6-27B, che permette di eseguire il modello su laptop e smartphone con una riduzione significativa del footprint rispetto alla rappresentazione originale a floating-point. Il nuovo modello non prevede un preaddestramento diverso da Qwen3.6-27B, mantenendo la stessa architettura, ma applicando una rappresentazione avanzata del peso delle unità, ridotta a 1-bit o a ternario.

Due Variante Disponibili

Bonsai 27B contiene due varianti differenti, entrambe distribuite gratuitamente con licenza Apache 2.0. Il Ternary Bonsai 27B utilizza pesi con valori {-1, 0, +1}, corrispondenti a circa 1.71 bit per peso, con una dimensione ideale di 5,9 GB. Il1-bit Bonsai 27B utilizza pesi binari {-1, +1}, corrispondenti a 1.125 bit per peso, con una dimensione di 3,9 GB. La struttura è rimodulata per essere efficiente in termini di spazio e memoria senza alterare l’architettura originale.

    • I due tipi di modello sono dotati di funzioni multimodali, comprese di 24.8 miliardi di pesi per il comparto linguistico, 0.46 miliardi per la parte visione, e 2.5 miliardi per gli embedding e l’LM head (language model head).
    • La parte visiva è tenuta separata e compressa in un formato a 4-bit per ottimizzare l’efficienza.
    • Context size è di 262K tokens, mantenendo un'efficienza operativa data da una distribuzione lineare.

Metodo di Compressione

Ogni peso è rappresentato come un codice, con una scala condivisa in formato FP16 (floating point 16-bit) per gruppi di 128. Il peso effettivo è calcolato come segue: wi = sg · t_i.

    • Una rappresentazione ternaria richiede log2(3) ≈ 1.585 bit, e la scala aggiunge 16/128 = 0.125 bit, portando a un totale medio di ≈1.71 bit per peso.
    • In formato binario, invece, si ottiene un totale medio di 1.125 bit per peso.
    • Con una riduzione che arriva a 9.4× rispetto agli FP16, Bonsai offre una compressione spettacolare senza compromettere significativamente il contenuto informativo del modello.

Il formato si distribuisce lungo tutto il modello, ad esclusione di una piccola percentuale di normalizzazione e parametri di scaling che mantengono una maggiore precisione.

Performance e Valutazione

Per verificare la precisione del modello, PrismML ha effettuato una valutazione su 15 benchmark. Rispetto alla versione originale di Qwen3.6-27B, Ternary Bonsai 27B conserva l’89.5% della performance basale del FP16, mentre la versione a 1-bit conserva l’85%.

    • Math Benchmark: Ternary Bonsai 27B mantiene il 93.40% del livello FP16 vs. 95.33% originale, mentre il 1-bit ne conserva il 91.66%.
    • Per problemi di coding, il formato ternario raggiunge il 85.96% rispetto all’88.74% originale.
    • La valutazione per ragionamento, strumenti e capacità di seguire istruzioni mostra performance ridotte, ma comunque accettabili considerata la compressione.

Il confronto con modelli tradizionali a meno di 4 bit mostra debolezze in compiti specifici come AIME26 e LiveCodeBench, dove IQ2_XXS crolla drasticamente, mentre Bonsai riesce a mantenere una buona precisione generale per benchmark più generali.

Memory e Vincoli di Sistema

L’esecuzione sul dispositivo mobile richiede attenzione non solo alla dimensione ma anche al consumo di memoria. Una parte fondamentale è il KV cache, un componente essenziale per il posizionamento di token.

    • Il KV cache richiede fino a 17.2 GB per un contesto di 262K token in formato FP16, ma riduce a 4.3 GB in formato a 4-bit.
    • I dispositivi mobili presentano limiti per le singole applicazioni; ad esempio, gli iPhone limitano l’app ad un massimo di circa la metà della RAM fisica (circa 6 GB su un iPhone da 12 GB).
    • I picchi di memoria durante l’esecuzione sono da tenere in considerazione: il modello 1-bit presenta picchi intorno ai 11.6 GB, mentre il formato ternario raggiunge picchi fino a 14.7 GB.

Speed e Efficienza

La riduzione delle dimensioni del modello riduce la banda necessaria per ogni token generato, rendendo più veloci i modelli a bassa precisione rispetto al formato FP16.

    • Su una GPU H100, il modulo 1-bit raggiunge 104.8 token al secondo e 2755 token in prefill.
    • Su un iPhone 17 Pro Max, il modello 1-bit genera 11 token al secondo.
    • La tecnologia DSpark permette di accelerare la generazione di token con un meccanismo di decodifica speculativa (Speculative Decoding); su H100, il modello generato mostra un incremento di velocità del 37%, mantenendo però un controllo rigoroso sulla qualità.

Utilizzo e Configurazione

La variante ternaria è la configurazione predefinita per la demo, ma è possibile eseguire il modello con una serie di metodi.

    • Avvio tramite uno script: ./scripts/startllamaserver.sh per un API compatibile con OpenAI.
    • Eseguizione del modello da riga di comando per generare testo diretto o testo con input multimodale.
    • Integrazione con MLX per eseguire il modello su dispositivi Apple (Metal).

L’utilizzo include funzioni di chiamata a strumenti esterni (tool calling) che aderiscono agli standard OpenAI; questi tool vengono richiamati tramite API e sono utili per eseguire query complesse. L’ambiente ha predefinito l’abilitazione alla modalità di ragionamento (thinking mode), che si attiva per default ma può essere disabilitata a seconda delle richieste dell’utente.

Casi d'Uso

I modelli rilasciati da Bonsai aprono la strada a diversi casi d’uso:

  • Agenti locali su laptop: per sviluppo di codice con accesso a interi repository e contesto esteso (fino