Een AI-model met 27 miljard parameters heeft normaal gesproken ongeveer 54 GB aan geheugen nodig om te draaien. PrismML heeft zojuist een versie uitgebracht van 3,9 GB die gewoon op een iPhone werkt.
Bonsai 27B, deze week uitgebracht door PrismML, is het eerste model in deze prestatieklasse dat de geheugenlimiet van een consumentensmartphone doorbreekt. Op een iPhone 17 Pro Max haalt het 11 tokens per seconde. De ternaire variant, met een grootte van 5,9 GB, bereikt ongeveer 26 tokens per seconde op een M5 Pro-laptop. Beide zijn gratis beschikbaar onder de Apache 2.0-licentie.
Ontvang 1 maand GTA+ abonnement bij je pre-order.
Pre-Order GTA 6 nu
Hoe PrismML 27 miljard parameters in een telefoon perste
De compressiemethode is gebaseerd op intellectueel eigendom van Caltech en werkt door elk modelgewicht van 16-bit floating-point precisie terug te brengen naar een enkel teken. De binaire build gebruikt +1 of -1. De ternaire variant voegt een nul-status toe voor een iets groter expressief bereik. Elke groep van 128 gewichten deelt een 16-bit schaalfactor, waardoor de binaire variant op slechts 1,125 bits per gewicht uitkomt; dat is 14 keer kleiner dan het origineel met volledige precisie.
Het punt dat Bonsai onderscheidt van de meeste gekwantiseerde modellen is dat er geen 'escape hatch' met hogere precisie wordt gebruikt. Embeddings, attention-layers en de volledige taalmodel-head zijn allemaal end-to-end gecomprimeerd. De meeste low-bit builds behouden gevoelige lagen op volledige precisie om de outputkwaliteit te beschermen, wat als trade-off de bestandsgrootte opdrijft. Bonsai slaat dat volledig over.
Het model draait ook op een hybride attention-backbone waarbij ongeveer 75% van de lagen lineaire in plaats van volledige kwadratische attention gebruikt. Die ontwerpkeuze maakt een contextvenster van 262.000 tokens praktisch op hardware voor consumenten; een standaard attention-stack zou dat op een telefoon onbetaalbaar maken qua rekenkracht.
Benchmarkprestaties op 94.6% van volledige precisie
Over 15 benchmarks heen, geëvalueerd in de 'thinking mode' op NVIDIA H100 GPU's en gericht op kennis, wiskunde, coding en tool-gebruik, scoort de ternaire variant gemiddeld 80,49, wat 94.6% is van het model met volledige precisie. De 1-bit build haalt 76,11.
Ter context wat die cijfers in de praktijk betekenen:
- AIME25 en AIME26 wiskundescores: 93.7% voor Ternary Bonsai 27B versus 95.3% voor Qwen 3.6B
- Coding: 86 punten voor Bonsai versus 88 voor Qwen 3.6
- Algemene kennis: 77% voor Bonsai versus 83% voor Qwen 3.6
De kern is dat Bonsai deze resultaten behaalt met een fractie van de bestandsgrootte van vergelijkbare modellen. Conventionele 2-bit Qwen-builds zijn bijna twee keer zo groot en hebben de neiging om bij wiskunde- en coding-taken onder de 4 bits in te storten. Bonsai blijft over de hele linie stabiel.
Real-world testen: coding en creatief schrijven
Het Bonsai-team heeft het model onderworpen aan een praktische test: het bouwen van een first-person typing-horror browsergame genaamd Zombie Type. Twee rondes van 'vibe coding' leverden schone collision detection, correcte scoring-logica en graphics op die goed bleven werken. Het model begrijpt de structuur al snel; de tweede pass verfijnt in plaats van dat alles vanaf nul wordt opgebouwd.
Creatief schrijven is een ander verhaal. Zero-shot prompts zullen niet direct iets bijzonder fantasierijks opleveren. Wat Bonsai wel levert, is consistente interne logica, pacing en een verhaallijn, wat het op gelijke hoogte of zelfs iets boven Claude Haiku plaatst bij vergelijkbare prompts. Voor een model dat volledig op lokale hardware draait zonder API-kosten, is dat een significant resultaat.
PrismML levert ook een DSpark speculative decoding-laag mee bij het model. Dit werkt door een lichtgewicht 'drafter' blokken met kandidaat-tokens te laten voorstellen, die het hoofdmodel in één forward pass verifieert in plaats van token-voor-token te genereren. Op een H100 zorgt dit voor een 1,37x throughput-boost zonder verlies van outputkwaliteit. Op Apple Silicon is dit nog niet standaard ingeschakeld, maar het is een reële winst voor GPU-serving.
Apple kijkt mee
Dit is de tweede grote release in de Bonsai-familie. In maart bracht PrismML Bonsai 8B uit, een model van 1,15 GB dat bewees dat de 1-bit architectuur kon overleven bij 8 miljard parameters zonder dat het redeneervermogen instortte. De sprong naar 27 miljard is waar de belangen veranderen.
Apple voert inmiddels verkennende gesprekken met PrismML over de onderliggende compressietechnologie en onderzoekt deze voor potentieel gebruik op apparaten. PrismML CEO Babak Hassibi heeft de gesprekken bevestigd. Een gecomprimeerd Gemma-model staat als volgende in de planning, gevolgd door grotere frontier-modellen.
Wat de meeste spelers missen bij deze aankondiging, is dat de implicaties veel verder gaan dan smartphones. AI op dit prestatieniveau op het apparaat zelf betekent geen API-calls, geen latency door server-roundtrips en geen data die je hardware verlaat. Specifiek voor gaming-toepassingen opent dit mogelijkheden voor echt responsief NPC-gedrag, lokale spraakverwerking en real-time game-logica die niet afhankelijk is van een cloudverbinding.
De 1-bit Bonsai 27B is nu gratis te downloaden. Als je op de hoogte wilt blijven van alles wat de moeite waard is in gaming en tech, is onze gaming guides-hub een goed startpunt. Ben je momenteel diep in actie-RPG's gedoken, dan zijn de Where Winds Meet beginner's guide en de best mystic arts guide zeker het bookmarken waard.
