एक 27-billion-parameter AI मॉडल को रन करने के लिए आमतौर पर लगभग 54 GB मेमोरी की जरूरत होती है। PrismML ने अभी-अभी एक ऐसा मॉडल शिप किया है जो सिर्फ 3.9 GB का है, और यह iPhone पर चलता है।
Bonsai 27B, जिसे इस हफ्ते PrismML द्वारा रिलीज किया गया है, इस capability tier का पहला मॉडल है जिसने कंज्यूमर स्मार्टफोन की मेमोरी सीलिंग को पार कर लिया है। iPhone 17 Pro Max पर चलते हुए, यह 11 tokens per second की स्पीड देता है। इसका ternary variant, जो 5.9 GB का है, M5 Pro लैपटॉप पर लगभग 26 tokens per second तक पहुंच जाता है। दोनों Apache 2.0 के तहत फ्री हैं।
कोड TRYHARD33 का उपयोग करें और ऑफर समाप्त होने से पहले इसका लाभ उठाएं।
GAMES+ सब्सक्रिप्शन पर 33% की छूट पाएं
PrismML ने 27 billion parameters को एक फोन में कैसे फिट किया
यह compression method Caltech की intellectual property पर आधारित है और यह मॉडल के हर weight को 16 bits of floating-point precision से घटाकर एक सिंगल साइन (sign) तक ले आता है। binary build में +1 या -1 का इस्तेमाल होता है। ternary वर्जन में थोड़े बेहतर expressive range के लिए एक zero state भी जोड़ा गया है। 128 weights का हर ग्रुप एक 16-bit scaling factor शेयर करता है, जिससे binary variant प्रति weight सिर्फ 1.125 bits का हो जाता है, जो इसे full-precision ओरिजिनल से 14 गुना छोटा बनाता है।
Bonsai को ज्यादातर quantized मॉडल्स से जो चीज अलग बनाती है, वो यह है कि इसमें किसी भी लेयर को higher-precision escape hatch नहीं मिलता। Embeddings, attention layers, और पूरा language model head—सब कुछ end-to-end कंप्रेस किया गया है। ज्यादातर low-bit बिल्ड्स आउटपुट क्वालिटी को प्रोटेक्ट करने के लिए sensitive layers को full precision पर रखते हैं, जिससे फाइल साइज बढ़ जाता है। Bonsai इस झंझट को पूरी तरह स्किप कर देता है।
यह मॉडल एक hybrid attention backbone पर भी चलता है जहाँ लगभग 75% लेयर्स full quadratic attention की जगह linear attention का इस्तेमाल करती हैं। यही डिज़ाइन चॉइस 262,000-token context window को on-device hardware पर प्रैक्टिकल बनाती है; एक स्टैंडर्ड attention stack इसे फोन पर बहुत महंगा बना देता।
94.6% full-precision पर बेंचमार्क परफॉरमेंस
NVIDIA H100 GPUs पर thinking mode में इवैल्यूएट किए गए 15 बेंचमार्क्स में—जिनमें नॉलेज, मैथ, कोडिंग और टूल यूज़ शामिल हैं—ternary variant का औसत 80.49 रहा, जो full-precision मॉडल का 94.6% है। 1-bit बिल्ड 76.11 तक पहुंचता है।
प्रैक्टिकल तौर पर इन नंबर्स का क्या मतलब है, इसके लिए संदर्भ:
- AIME25 और AIME26 मैथ स्कोर: Ternary Bonsai 27B के लिए 93.7% बनाम Qwen 3.6B के लिए 95.3%
- कोडिंग: Bonsai के लिए 86 पॉइंट्स बनाम Qwen 3.6 के लिए 88
- जनरल नॉलेज: Bonsai के लिए 77% बनाम Qwen 3.6 के लिए 83%
यहाँ मुख्य बात यह है कि Bonsai ये रिजल्ट्स तुलनात्मक मॉडल्स के मुकाबले बहुत कम फाइल साइज में हासिल करता है। कन्वेंशनल 2-bit Qwen बिल्ड्स लगभग दोगुने बड़े होते हैं और 4 bits से नीचे मैथ और कोडिंग टास्क में फेल होने लगते हैं। Bonsai हर मामले में अपनी परफॉरमेंस बनाए रखता है।
रियल-वर्ल्ड टेस्टिंग: कोडिंग और क्रिएटिव राइटिंग
Bonsai टीम ने मॉडल को एक प्रैक्टिकल टेस्ट से गुजारा: Zombie Type नाम का एक फर्स्ट-पर्सन टाइपिंग-हॉरर ब्राउज़र गेम बनाना। दो राउंड के 'vibe coding' ने क्लीन कोलिजन डिटेक्शन, सही स्कोरिंग लॉजिक और ग्राफिक्स तैयार किए जो पूरी तरह स्टेबल थे। मॉडल स्ट्रक्चर को जल्दी समझ लेता है; दूसरा पास स्क्रैच से रीबिल्ड करने के बजाय रिफाइन करता है।
क्रिएटिव राइटिंग की कहानी थोड़ी अलग है। Zero-shot प्रॉम्प्ट्स से कुछ बहुत ज्यादा इमेजिनेटिव तो नहीं मिलेगा, लेकिन Bonsai कंसिस्टेंट इंटरनल लॉजिक, पेसिंग और स्टोरी आर्क डिलीवर करता है, जो इसे तुलनात्मक प्रॉम्प्ट्स पर Claude Haiku के बराबर या थोड़ा आगे रखता है। बिना किसी API कॉस्ट के पूरी तरह लोकल हार्डवेयर पर चलने वाले मॉडल के लिए, यह एक बड़ा रिजल्ट है।
PrismML मॉडल के साथ एक DSpark speculative decoding लेयर भी शिप करता है। यह एक हल्के drafter का इस्तेमाल करके candidate tokens के ब्लॉक्स प्रपोज करता है, जिसे मेन मॉडल टोकन-दर-टोकन जनरेट करने के बजाय एक सिंगल फॉरवर्ड पास में वेरीफाई करता है। H100 पर यह आउटपुट क्वालिटी में बिना किसी बदलाव के 1.37x थ्रूपुट बूस्ट देता है। Apple Silicon पर यह अभी डिफ़ॉल्ट रूप से इनेबल्ड नहीं है, लेकिन GPU सर्विंग के लिए यह एक बड़ा गेन है।
Apple ध्यान दे रहा है
Bonsai फैमिली में यह दूसरा बड़ा रिलीज है। मार्च में, PrismML ने Bonsai 8B शिप किया था, जो 1.15 GB का मॉडल था जिसने साबित किया कि 1-bit आर्किटेक्चर 8 billion parameters पर भी बिना रीजनिंग खराब हुए काम कर सकता है। 27 billion तक का जंप वह पॉइंट है जहाँ दांव बदल जाते हैं।
Apple अब PrismML के साथ अंडरलाइंग कंप्रेशन टेक्नोलॉजी पर शुरुआती बातचीत कर रहा है, और कंपनी इसे संभावित on-device यूज़ के लिए इवैल्यूएट कर रही है। PrismML CEO Babak Hassibi ने इन चर्चाओं की पुष्टि की है। पाइपलाइन में अगला एक कंप्रेस्ड Gemma मॉडल है, जिसके बाद बड़े frontier मॉडल्स आएंगे।
इस अनाउंसमेंट के बारे में ज्यादातर लोग जो मिस कर रहे हैं, वह यह है कि इसके मायने स्मार्टफोन से कहीं आगे तक जाते हैं। इस कैपेबिलिटी लेवल पर on-device AI का मतलब है—कोई API कॉल नहीं, सर्वर राउंडट्रिप से कोई लेटेंसी नहीं, और आपका डेटा आपके हार्डवेयर से बाहर नहीं जाता। खास तौर पर गेमिंग एप्लीकेशन्स के लिए, यह वाकई रिस्पॉन्सिव NPC बिहेवियर, लोकल वॉयस प्रोसेसिंग, और रियल-टाइम गेम लॉजिक के लिए नई संभावनाएं खोलता है जो क्लाउड कनेक्शन पर निर्भर नहीं हैं।
1-bit Bonsai 27B अब फ्री डाउनलोड के लिए उपलब्ध है। अगर आप गेमिंग और टेक की हर जरूरी अपडेट के साथ बने रहना चाहते हैं, तो हमारा गेमिंग गाइड्स हब शुरुआत करने के लिए एक बेहतरीन जगह है, और अगर आप अभी एक्शन RPGs में डूबे हुए हैं, तो Where Winds Meet beginner's guide और best mystic arts guide को बुकमार्क करना न भूलें।
