ایک 27-بلین-پیرامیٹر AI ماڈل کو چلانے کے لیے عام طور پر تقریباً 54 GB میموری کی ضرورت ہوتی ہے۔ PrismML نے حال ہی میں اسے 3.9 GB میں پیش کیا ہے، اور یہ ایک iPhone پر چلتا ہے۔
Bonsai 27B، جسے اس ہفتے PrismML نے ریلیز کیا ہے، اس صلاحیت کی سطح کا پہلا ماڈل ہے جو کنزیومر اسمارٹ فون کی میموری کی حد کو عبور کرتا ہے۔ iPhone 17 Pro Max پر چلتے ہوئے، یہ 11 ٹوکنز فی سیکنڈ کی رفتار دیتا ہے۔ اس کا ٹرنری ویرینٹ، جو 5.9 GB کا ہے، M5 Pro لیپ ٹاپ پر تقریباً 26 ٹوکنز فی سیکنڈ تک پہنچ جاتا ہے۔ دونوں Apache 2.0 کے تحت مفت دستیاب ہیں۔
پری آرڈر کے ساتھ 1-month GTA+ سبسکرپشن حاصل کریں۔
GTA 6 کی پری آرڈر بکنگ ابھی کریں
PrismML نے 27 بلین پیرامیٹرز کو فون میں کیسے سمویا
کمپریشن کا یہ طریقہ Caltech کی انٹلیکچوئل پراپرٹی پر مبنی ہے اور یہ ہر ماڈل ویٹ (weight) کو 16-bit فلوٹنگ پوائنٹ پریسیژن سے کم کر کے ایک سنگل سائن (sign) تک لاتا ہے۔ بائنری بلڈ +1 یا -1 کا استعمال کرتا ہے۔ ٹرنری ویرینٹ زیادہ اظہار پذیر رینج کے لیے ایک زیرو اسٹیٹ کا اضافہ کرتا ہے۔ 128 ویٹس کا ہر گروپ ایک 16-bit اسکیلنگ فیکٹر شیئر کرتا ہے، جس سے بائنری ویرینٹ فی ویٹ صرف 1.125 bits کا رہ جاتا ہے، جو اسے فل-پریسیژن اوریجنل سے 14 گنا چھوٹا بنا دیتا ہے۔
Bonsai کو زیادہ تر کوانٹائزڈ ماڈلز سے جو چیز الگ کرتی ہے وہ یہ ہے کہ اس میں کسی بھی حصے کو ہائی-پریسیژن "ایسکیپ ہیچ" نہیں دیا گیا۔ ایمبیڈنگز، اٹینشن لیئرز، اور مکمل لینگویج ماڈل ہیڈ سب کو اینڈ-ٹو-اینڈ کمپریس کیا گیا ہے۔ زیادہ تر لو-بٹ بلڈز آؤٹ پٹ کوالٹی کو محفوظ رکھنے کے لیے حساس لیئرز کو فل پریسیژن پر رکھتے ہیں، جس سے فائل کا سائز بڑھ جاتا ہے۔ Bonsai اس سے مکمل طور پر گریز کرتا ہے۔
یہ ماڈل ایک ہائبرڈ اٹینشن بیک بون بھی چلاتا ہے جہاں تقریباً 75% لیئرز مکمل کواڈریٹک (quadratic) کے بجائے لکیری (linear) اٹینشن کا استعمال کرتی ہیں۔ ڈیزائن کا یہی انتخاب 262,000-ٹوکن کانٹیکسٹ ونڈو کو آن-ڈیوائس ہارڈویئر پر عملی بناتا ہے، ورنہ ایک معیاری اٹینشن اسٹیک فون پر اسے بہت مہنگا بنا دیتا۔
فل-پریسیژن کے 94.6% پر بینچ مارک کارکردگی
NVIDIA H100 GPUs پر تھنکنگ موڈ میں 15 بینچ مارکس کا جائزہ لینے کے بعد، جو نالج، میتھ، کوڈنگ اور ٹول کے استعمال کا احاطہ کرتے ہیں، ٹرنری ویرینٹ کی اوسط 80.49 ہے، جو کہ فل-پریسیژن ماڈل کا 94.6% ہے۔ 1-bit بلڈ 76.11 تک پہنچتا ہے۔
عملی طور پر ان نمبرز کا مطلب سمجھنے کے لیے:
- AIME25 اور AIME26 میتھ اسکورز: Ternary Bonsai 27B کے لیے 93.7% بمقابلہ Qwen 3.6B کے لیے 95.3%
- کوڈنگ: Bonsai کے لیے 86 پوائنٹس بمقابلہ Qwen 3.6 کے لیے 88
- جنرل نالج: Bonsai کے لیے 77% بمقابلہ Qwen 3.6 کے لیے 83%
یہاں اہم بات یہ ہے کہ Bonsai یہ نتائج موازنہ کیے جانے والے ماڈلز کے مقابلے میں بہت چھوٹے فائل سائز پر حاصل کرتا ہے۔ روایتی 2-bit Qwen بلڈز تقریباً دوگنا بڑے ہوتے ہیں اور 4 bits سے نیچے میتھ اور کوڈنگ ٹاسک پر ناکام ہو جاتے ہیں۔ Bonsai ہر سطح پر اپنی کارکردگی برقرار رکھتا ہے۔
حقیقی دنیا کی ٹیسٹنگ: کوڈنگ اور تخلیقی تحریر
Bonsai ٹیم نے ماڈل کو ایک عملی ٹیسٹ سے گزارا: Zombie Type نامی ایک فرسٹ-پرسن ٹائپنگ-ہارر براؤزر گیم بنانا۔ وائب کوڈنگ کے دو راؤنڈز نے کلین کولیشن ڈیٹیکشن، درست اسکورنگ لاجک، اور گرافکس تیار کیے جو بہترین تھے۔ ماڈل اسٹرکچر کو جلدی سمجھ لیتا ہے؛ دوسرا پاس شروع سے دوبارہ بنانے کے بجائے اسے بہتر بناتا ہے۔
تخلیقی تحریر ایک مختلف کہانی ہے۔ زیرو-شاٹ پرامپٹس کچھ خاص تخیلاتی پیدا نہیں کریں گے۔ Bonsai جو چیز فراہم کرتا ہے وہ مستقل داخلی منطق، رفتار، اور کہانی کا تسلسل ہے، جو اسے موازنہ پرامپٹس پر Claude Haiku کے برابر یا اس سے تھوڑا آگے رکھتا ہے۔ مقامی ہارڈویئر پر چلنے والے ماڈل کے لیے جس میں کوئی API لاگت نہیں، یہ ایک معنی خیز نتیجہ ہے۔
PrismML ماڈل کے ساتھ ایک DSpark قیاسی ڈیکوڈنگ (speculative decoding) لیئر بھی فراہم کرتا ہے۔ یہ اس طرح کام کرتا ہے کہ ایک ہلکا ڈرافٹر امیدوار ٹوکنز کے بلاکس تجویز کرتا ہے، جنہیں مین ماڈل ٹوکن-بائی-ٹوکن جنریٹ کرنے کے بجائے ایک ہی فارورڈ پاس میں تصدیق کرتا ہے۔ H100 پر یہ آؤٹ پٹ کوالٹی میں تبدیلی کے بغیر 1.37x تھرو پٹ بوسٹ دیتا ہے۔ Apple Silicon پر یہ ابھی ڈیفالٹ طور پر فعال نہیں ہے، لیکن یہ GPU سرونگ کے لیے ایک حقیقی فائدہ ہے۔
Apple توجہ دے رہا ہے
یہ Bonsai فیملی کی دوسری بڑی ریلیز ہے۔ مارچ میں، PrismML نے Bonsai 8B ریلیز کیا، جو 1.15 GB کا ماڈل تھا جس نے ثابت کیا کہ 1-bit آرکیٹیکچر 8 بلین پیرامیٹرز پر بھی اپنی ریزننگ کو برقرار رکھ سکتا ہے۔ 27 بلین تک کا سفر وہ مقام ہے جہاں داؤ پر لگی چیزیں بدل جاتی ہیں۔
Apple اب PrismML کے ساتھ بنیادی کمپریشن ٹیکنالوجی پر ابتدائی بات چیت کر رہا ہے، اور کمپنی اسے ممکنہ آن-ڈیوائس استعمال کے لیے جانچ رہی ہے۔ PrismML کے CEO Babak Hassibi نے ان بات چیت کی تصدیق کی ہے۔ پائپ لائن میں اگلا نمبر ایک کمپریسڈ Gemma ماڈل کا ہے، جس کے بعد بڑے فرنٹیئر ماڈلز آئیں گے۔
اس اعلان کے بارے میں جو چیز زیادہ تر لوگ نہیں سمجھ پا رہے وہ یہ ہے کہ اس کے اثرات اسمارٹ فونز سے کہیں زیادہ ہیں۔ اس صلاحیت کی سطح پر آن-ڈیوائس AI کا مطلب ہے کہ کوئی API کالز نہیں، سرور راؤنڈ ٹرپس سے کوئی لیٹنسی نہیں، اور آپ کے ہارڈویئر سے کوئی ڈیٹا باہر نہیں جاتا۔ خاص طور پر گیمنگ ایپلی کیشنز کے لیے، یہ واقعی ریسپانسیو NPC رویے، مقامی وائس پروسیسنگ، اور ریئل-ٹائم گیم لاجک کے امکانات کھولتا ہے جو کلاؤڈ کنکشن پر انحصار نہیں کرتی۔
1-bit Bonsai 27B اب مفت ڈاؤن لوڈ کے لیے دستیاب ہے۔ اگر آپ گیمنگ اور ٹیک کی ہر اہم اپ ڈیٹ سے باخبر رہنا چاہتے ہیں، تو ہمارا گیمنگ گائیڈز ہب ایک بہترین جگہ ہے، اور اگر آپ اس وقت ایکشن RPGs میں گہرائی سے دلچسپی رکھتے ہیں، تو Where Winds Meet beginner's guide اور best mystic arts guide کو بک مارک کرنا فائدہ مند ہوگا۔
