Ein KI-Modell mit 27 Milliarden Parametern benötigt normalerweise etwa 54 GB Arbeitsspeicher, um zu laufen. PrismML hat gerade eines mit 3,9 GB veröffentlicht, das auf einem iPhone läuft.
Bonsai 27B, das diese Woche von PrismML veröffentlicht wurde, ist das erste Modell dieser Leistungsklasse, das die Speichergrenze eines Consumer-Smartphones unterschreitet. Auf einem iPhone 17 Pro Max erreicht es 11 Tokens pro Sekunde. Die ternäre Variante mit 5,9 GB erreicht auf einem M5 Pro Laptop etwa 26 Tokens pro Sekunde. Beide sind unter Apache 2.0 kostenlos erhältlich.
Sichern Sie sich 1 Monat GTA+ Abonnement mit Ihrer Vorbestellung.
GTA 6 jetzt vorbestellen
Wie PrismML 27 Milliarden Parameter in ein Smartphone gequetscht hat
Die Komprimierungsmethode basiert auf geistigem Eigentum von Caltech und funktioniert, indem jedes Modellgewicht von 16-Bit-Gleitkommapräzision auf ein einzelnes Vorzeichen reduziert wird. Der binäre Build verwendet +1 oder -1. Die ternäre Variante fügt einen Nullzustand für einen etwas ausdrucksstärkeren Bereich hinzu. Jede Gruppe von 128 Gewichten teilt sich einen 16-Bit-Skalierungsfaktor, wodurch die binäre Variante auf nur 1,125 Bit pro Gewicht kommt, was sie 14-mal kleiner macht als das Original mit voller Präzision.
Das Besondere, das Bonsai von den meisten quantisierten Modellen unterscheidet: Nichts erhält einen Ausweg mit höherer Präzision. Embeddings, Attention-Layer und der gesamte Sprachmodell-Head sind durchgehend komprimiert. Die meisten Low-Bit-Builds behalten sensible Layer bei voller Präzision bei, um die Output-Qualität zu schützen, was als Kompromiss die Dateigröße in die Höhe treibt. Bonsai überspringt das komplett.
Das Modell verwendet zudem ein hybrides Attention-Backbone, bei dem etwa 75% der Layer lineare statt vollquadratische Attention nutzen. Diese Design-Entscheidung macht ein 262.000-Token-Kontextfenster auf On-Device-Hardware praktikabel; ein Standard-Attention-Stack wäre auf einem Smartphone prohibitiv teuer.
Benchmark-Performance bei 94.6% der vollen Präzision
Über 15 Benchmarks hinweg, die im Thinking-Mode auf NVIDIA H100 GPUs evaluiert wurden – abgedeckt sind Wissen, Mathematik, Coding und Tool-Use –, erreicht die ternäre Variante im Durchschnitt 80,49, was 94.6% des Modells mit voller Präzision entspricht. Der 1-Bit-Build erreicht 76,11.
Zum Kontext, was diese Zahlen in der Praxis bedeuten:
- AIME25- und AIME26-Mathe-Scores: 93.7% für Ternary Bonsai 27B gegenüber 95.3% für Qwen 3.6B
- Coding: 86 Punkte für Bonsai gegenüber 88 für Qwen 3.6
- Allgemeinwissen: 77% für Bonsai gegenüber 83% für Qwen 3.6
Der entscheidende Punkt ist, dass Bonsai diese Ergebnisse bei einem Bruchteil der Dateigröße vergleichbarer Modelle erzielt. Herkömmliche 2-Bit-Qwen-Builds sind fast doppelt so groß und neigen bei Mathe- und Coding-Tasks unter 4 Bit zum Zusammenbruch. Bonsai bleibt durchweg stabil.
Praxistest: Coding und Creative Writing
Das Bonsai-Team unterzog das Modell einem praktischen Test: dem Bau eines First-Person-Typing-Horror-Browsergames namens Zombie Type. Zwei Durchgänge von Vibe-Coding lieferten eine saubere Kollisionsabfrage, eine korrekte Scoring-Logik und Grafik, die stimmig war. Das Modell erfasst Strukturen früh; der zweite Durchgang verfeinert, anstatt alles von Grund auf neu zu bauen.
Creative Writing ist eine andere Geschichte. Zero-Shot-Prompts liefern nichts besonders Fantasievolles. Was Bonsai jedoch liefert, ist eine konsistente interne Logik, Pacing und Story-Arc, was es bei vergleichbaren Prompts auf eine Stufe mit Claude Haiku stellt oder sogar leicht darüber. Für ein Modell, das komplett auf lokaler Hardware ohne API-Kosten läuft, ist das ein beachtliches Ergebnis.
PrismML liefert zudem einen DSpark Speculative-Decoding-Layer mit dem Modell aus. Dieser funktioniert, indem ein leichtgewichtiger Drafter Blöcke von Kandidaten-Tokens vorschlägt, die das Hauptmodell in einem einzigen Forward-Pass verifiziert, anstatt Token für Token zu generieren. Auf einer H100 sorgt das für einen 1,37x Durchsatz-Boost ohne Einbußen bei der Output-Qualität. Auf Apple Silicon ist es standardmäßig noch nicht aktiviert, aber für GPU-Serving ist es ein echter Gewinn.
Apple wird aufmerksam
Dies ist der zweite große Release der Bonsai-Familie. Im März veröffentlichte PrismML Bonsai 8B, ein 1,15 GB Modell, das bewies, dass die 1-Bit-Architektur bei 8 Milliarden Parametern bestehen kann, ohne dass das Reasoning in sich zusammenfällt. Der Sprung auf 27 Milliarden ist der Punkt, an dem sich die Einsätze ändern.
Apple führt derzeit erste Gespräche mit PrismML über die zugrunde liegende Komprimierungstechnologie und evaluiert diese für einen potenziellen On-Device-Einsatz. PrismML CEO Babak Hassibi bestätigte die Gespräche. Ein komprimiertes Gemma-Modell steht als nächstes in der Pipeline, gefolgt von größeren Frontier-Modellen.
Was die meisten Spieler bei dieser Ankündigung übersehen, ist, dass die Auswirkungen weit über Smartphones hinausgehen. On-Device-KI auf diesem Leistungsniveau bedeutet keine API-Calls, keine Latenz durch Server-Roundtrips und keine Daten, die deine Hardware verlassen. Speziell für Gaming-Anwendungen eröffnet das Möglichkeiten für wirklich reaktionsschnelles NPC-Verhalten, lokales Voice-Processing und Echtzeit-Game-Logik, die nicht von einer Cloud-Verbindung abhängt.
1-Bit Bonsai 27B steht ab sofort zum kostenlosen Download bereit. Wenn du bei allem, was im Gaming- und Tech-Bereich wichtig ist, auf dem Laufenden bleiben willst, ist unser Gaming-Guides-Hub ein guter Startpunkt. Und falls du dich gerade intensiv mit Action-RPGs beschäftigst, sind der Where Winds Meet Einsteiger-Guide und der Guide zu den besten Mystic Arts einen Bookmark wert.
