Un modello AI da 27 miliardi di parametri richiede solitamente circa 54 GB di memoria per girare. PrismML ne ha appena rilasciato uno da 3,9 GB, ed è in grado di girare su un iPhone.
Bonsai 27B, rilasciato questa settimana da PrismML, è il primo modello di questa categoria di potenza a superare il limite di memoria di uno smartphone consumer. In esecuzione su un iPhone 17 Pro Max, raggiunge gli 11 token al secondo. La variante ternaria, da 5,9 GB, arriva a circa 26 token al secondo su un laptop con M5 Pro. Entrambi sono gratuiti sotto licenza Apache 2.0.
Usa il codice TRYHARD33 al checkout per riscattare l'offerta prima della scadenza.
Ottieni 33% di sconto sull'abbonamento GAMES+
Come PrismML ha compresso 27 miliardi di parametri in un telefono
Il metodo di compressione si basa sulla proprietà intellettuale di Caltech e funziona riducendo ogni peso del modello da 16 bit di precisione in virgola mobile a un singolo segno. La build binaria utilizza +1 o -1. Quella ternaria aggiunge uno stato zero per un range leggermente più espressivo. Ogni gruppo di 128 pesi condivide un fattore di scala a 16 bit, il che porta la variante binaria a soli 1,125 bit per peso, rendendola 14 volte più piccola dell'originale a piena precisione.
Ecco cosa distingue Bonsai dalla maggior parte dei modelli quantizzati: nulla riceve una "via d'uscita" a precisione superiore. Embedding, layer di attenzione e l'intero head del modello linguistico sono compressi end-to-end. La maggior parte delle build a basso bit mantiene i layer sensibili alla massima precisione per proteggere la qualità dell'output, il che aumenta la dimensione del file come compromesso. Bonsai evita tutto questo.
Il modello utilizza anche un backbone di attenzione ibrido in cui circa 75% dei layer utilizza un'attenzione lineare anziché quadratica completa. Questa scelta di design è ciò che rende una finestra di contesto da 262.000 token pratica su hardware on-device; uno stack di attenzione standard renderebbe tutto proibitivamente costoso su un telefono.
Prestazioni dei benchmark al 94.6% della piena precisione
Su 15 benchmark valutati in modalità "thinking" su GPU NVIDIA H100, coprendo conoscenza, matematica, coding e utilizzo di strumenti, la variante ternaria raggiunge una media di 80,49, che corrisponde al 94.6% del modello a piena precisione. La build a 1-bit raggiunge 76,11.
Per contestualizzare cosa significano questi numeri nella pratica:
- Punteggi di matematica AIME25 e AIME26: 93.7% per Bonsai 27B Ternary contro 95.3% per Qwen 3.6B
- Coding: 86 punti per Bonsai contro 88 per Qwen 3.6
- Conoscenza generale: 77% per Bonsai contro 83% per Qwen 3.6
Il punto chiave è che Bonsai ottiene questi risultati con una frazione della dimensione dei file rispetto a modelli comparabili. Le build Qwen a 2-bit convenzionali sono quasi due volte più grandi e tendono a crollare su compiti di matematica e coding sotto i 4 bit. Bonsai invece mantiene la coerenza su tutta la linea.
Test nel mondo reale: coding e scrittura creativa
Il team di Bonsai ha sottoposto il modello a un test pratico: creare un gioco horror in prima persona basato sulla digitazione chiamato Zombie Type. Due round di "vibe coding" hanno prodotto una collision detection pulita, una logica di punteggio corretta e una grafica solida. Il modello comprende la struttura fin da subito; il secondo passaggio rifinisce invece di ricostruire da zero.
La scrittura creativa è una storia diversa. I prompt zero-shot non produrranno nulla di particolarmente fantasioso. Ciò che Bonsai offre è una logica interna coerente, un buon ritmo e un arco narrativo, che lo mettono alla pari o leggermente avanti rispetto a Claude Haiku su prompt simili. Per un modello che gira interamente su hardware locale senza costi di API, è un risultato significativo.
PrismML include anche un layer di decodifica speculativa DSpark insieme al modello. Funziona facendo sì che un drafter leggero proponga blocchi di token candidati, che il modello principale verifica in un singolo passaggio forward invece di generare token per token. Su una H100, questo aggiunge un boost di throughput di 1,37x senza variazioni nella qualità dell'output. Su Apple Silicon non è ancora abilitato di default, ma è un guadagno reale per il serving su GPU.
Apple sta prestando attenzione
Questo è il secondo rilascio importante della famiglia Bonsai. A marzo, PrismML ha rilasciato Bonsai 8B, un modello da 1,15 GB che ha dimostrato come l'architettura a 1-bit potesse sopravvivere a 8 miliardi di parametri senza che il ragionamento crollasse. Il salto a 27 miliardi è dove la posta in gioco cambia.
Apple è attualmente in trattative preliminari con PrismML riguardo alla tecnologia di compressione sottostante, valutandola per un potenziale utilizzo on-device. Il CEO di PrismML Babak Hassibi ha confermato le discussioni. Un modello Gemma compresso è il prossimo nella pipeline, seguito da modelli frontier più grandi.
Ciò che molti player non colgono di questo annuncio è che le implicazioni vanno ben oltre gli smartphone. L'AI on-device a questo livello di capacità significa niente chiamate API, nessuna latenza dovuta ai roundtrip del server e nessun dato che lascia il tuo hardware. Per le applicazioni di gaming nello specifico, ciò apre possibilità per comportamenti degli NPC genuinamente reattivi, elaborazione vocale locale e logica di gioco in tempo reale che non dipende da una connessione cloud.
Bonsai 27B a 1-bit è disponibile per il download gratuito ora. Se vuoi rimanere aggiornato su tutto ciò che conta nel mondo gaming e tech, il nostro hub di gaming guides è un ottimo punto di partenza, e se sei un fan sfegatato degli action RPG, la guida per principianti di Where Winds Meet e la guida alle migliori arti mistiche meritano di essere salvate nei preferiti.
