27 milyar parametreli bir yapay zeka modelinin çalışması için normalde yaklaşık 54 GB bellek gerekir. PrismML ise az önce 3,9 GB boyutunda bir model yayınladı ve bu model bir iPhone üzerinde çalışıyor.
PrismML tarafından bu hafta yayınlanan Bonsai 27B, bu yetenek seviyesinde olup bir tüketici akıllı telefonunun bellek sınırını aşan ilk model olma özelliğini taşıyor. iPhone 17 Pro Max üzerinde çalışırken saniyede 11 token hızına ulaşıyor. 5,9 GB boyutundaki ternary varyantı ise bir M5 Pro dizüstü bilgisayarda saniyede yaklaşık 26 token hızına ulaşıyor. Her iki sürüm de Apache 2.0 lisansı altında ücretsiz.
Ön sipariş ile 1 aylık GTA+ aboneliği kazanın.
GTA 6 İçin Hemen Pre-Order GTA 6 Now
PrismML 27 milyar parametreyi bir telefona nasıl sığdırdı?
Sıkıştırma yöntemi Caltech fikri mülkiyetine dayanıyor ve her model ağırlığını 16 bitlik kayan nokta hassasiyetinden tek bir işarete indirgeyerek çalışıyor. Binary yapı +1 veya -1 kullanıyor. Ternary yapı ise biraz daha ifade edici bir aralık için sıfır durumunu ekliyor. Her 128 ağırlıktan oluşan grup 16 bitlik bir ölçeklendirme faktörünü paylaşıyor; bu da binary varyantı ağırlık başına sadece 1,125 bite getirerek tam hassasiyetli orijinalinden 14 kat daha küçük olmasını sağlıyor.
Bonsai'yi çoğu quantized modelden ayıran şey şu: hiçbir katman daha yüksek hassasiyetli bir kaçış yoluna sahip değil. Embeddings, attention layers ve tüm language model head uçtan uca sıkıştırılmış durumda. Çoğu düşük bitli yapı, çıktı kalitesini korumak için hassas katmanları tam hassasiyette tutar ve bu da bir ödünleşim olarak dosya boyutlarını şişirir. Bonsai bunu tamamen atlıyor.
Model ayrıca katmanların yaklaşık 75% kadarının tam quadratic attention yerine linear attention kullandığı hibrit bir attention backbone üzerinde çalışıyor. Bu tasarım tercihi, 262.000 tokenlık bir context window değerini cihaz içi donanımda pratik hale getiriyor; standart bir attention stack, bunu bir telefonda aşırı maliyetli hale getirirdi.
94.6% tam hassasiyetle benchmark performansı
NVIDIA H100 GPU'larda thinking mode ile değerlendirilen; bilgi, matematik, kodlama ve araç kullanımını kapsayan 15 benchmark genelinde, ternary varyantı 80,49 ortalamaya sahip; bu da tam hassasiyetli modelin 94.6% değerine denk geliyor. 1-bitlik yapı ise 76,11 puan alıyor.
Bu rakamların pratikte ne anlama geldiğine dair bağlam:
- AIME25 ve AIME26 matematik skorları: Ternary Bonsai 27B için 93.7%, Qwen 3.6B için 95.3%
- Kodlama: Bonsai için 86 puan, Qwen 3.6 için 88 puan
- Genel bilgi: Bonsai için 77%, Qwen 3.6 için 83%
Buradaki kilit nokta, Bonsai'nin bu sonuçlara benzer modellerin dosya boyutunun çok küçük bir kısmıyla ulaşmasıdır. Geleneksel 2-bitlik Qwen yapıları neredeyse iki kat daha büyüktür ve 4 bitin altında matematik ve kodlama görevlerinde çökme eğilimindedir. Bonsai ise her alanda tutarlılığını koruyor.
Gerçek dünya testi: kodlama ve yaratıcı yazarlık
Bonsai ekibi modeli pratik bir testten geçirdi: Zombie Type adında birinci şahıs bir typing-horror tarayıcı oyunu geliştirmek. İki turluk vibe coding süreci; temiz bir collision detection, düzgün bir scoring logic ve bir arada duran grafikler üretti. Model yapıyı erkenden kavrıyor; ikinci geçiş ise sıfırdan oluşturmak yerine iyileştirme yapıyor.
Yaratıcı yazarlık ise daha farklı bir hikaye. Zero-shot promptlar özellikle yaratıcı bir şey üretmeyecektir. Bonsai'nin sunduğu şey; tutarlı bir internal logic, pacing ve story arc; bu da onu benzer promptlarda Claude Haiku ile aynı seviyeye veya biraz önüne taşıyor. API maliyeti olmadan tamamen yerel donanımda çalışan bir model için bu anlamlı bir sonuç.
PrismML ayrıca modelin yanında bir DSpark speculative decoding katmanı da sunuyor. Bu, hafif bir drafter'ın aday token blokları önermesi ve ana modelin bunları token-token üretmek yerine tek bir forward pass ile doğrulaması şeklinde çalışıyor. H100 üzerinde bu, çıktı kalitesinde hiçbir değişiklik olmadan 1,37 kat throughput artışı sağlıyor. Apple Silicon üzerinde henüz varsayılan olarak etkin değil ancak GPU sunumu için gerçek bir kazanç.
Apple dikkat kesilmiş durumda
Bu, Bonsai ailesindeki ikinci büyük sürüm. Mart ayında PrismML, 1-bitlik mimarinin 8 milyar parametrede akıl yürütme yeteneği bozulmadan hayatta kalabileceğini kanıtlayan 1,15 GB'lık Bonsai 8B'yi yayınlamıştı. 27 milyara geçiş ise risklerin değiştiği nokta.
Apple şu anda temel sıkıştırma teknolojisi hakkında PrismML ile erken aşama görüşmelerde bulunuyor ve şirket bunu potansiyel cihaz içi kullanım için değerlendiriyor. PrismML CEO'su Babak Hassibi görüşmeleri doğruladı. Sırada sıkıştırılmış bir Gemma modeli ve ardından daha büyük frontier modelleri var.
Çoğu oyuncunun bu duyuruyla ilgili kaçırdığı nokta, etkilerin akıllı telefonların çok ötesine uzandığıdır. Bu yetenek seviyesindeki cihaz içi yapay zeka; API çağrısı yok, sunucu gidiş-dönüşlerinden kaynaklanan latency yok ve donanımınızdan çıkan veri yok demektir. Özellikle oyun uygulamaları için bu; gerçekten responsive NPC davranışları, yerel ses işleme ve bulut bağlantısına bağımlı olmayan gerçek zamanlı game logic için olanaklar yaratıyor.
1-bitlik Bonsai 27B şu anda ücretsiz olarak indirilebilir. Oyun ve teknoloji dünyasında takip etmeye değer her şeyden haberdar olmak istiyorsanız, gaming guides merkezimiz başlamak için sağlam bir yer; eğer şu an action RPG'lerin derinliklerine daldıysanız, Where Winds Meet beginner's guide ve best mystic arts guide içeriklerini yer imlerine eklemeye değer.
