Model AI dengan 27 miliar parameter biasanya membutuhkan sekitar 54 GB memori untuk dijalankan. PrismML baru saja merilis model dengan ukuran 3,9 GB, dan model ini dapat berjalan di iPhone.
Bonsai 27B, yang dirilis minggu ini oleh PrismML, adalah model pertama di tingkat kapabilitas ini yang mampu menembus batas memori smartphone konsumen. Saat dijalankan di iPhone 17 Pro Max, model ini mencapai 11 token per detik. Varian ternary, dengan ukuran 5,9 GB, mencapai sekitar 26 token per detik di laptop M5 Pro. Keduanya tersedia gratis di bawah lisensi Apache 2.0.
Dapatkan langganan GTA+ 1 bulan dengan melakukan pre-order.
Pre-Order GTA 6 Sekarang
Bagaimana PrismML memampatkan 27 miliar parameter ke dalam ponsel
Metode kompresi ini dibangun berdasarkan kekayaan intelektual Caltech dan bekerja dengan cara mengurangi setiap bobot model dari 16-bit floating-point precision menjadi satu tanda (sign). Build biner menggunakan +1 atau -1. Versi ternary menambahkan status nol untuk rentang ekspresif yang sedikit lebih luas. Setiap kelompok berisi 128 bobot berbagi faktor penskalaan 16-bit, yang membuat varian biner hanya berukuran 1,125 bit per bobot, menjadikannya 14 kali lebih kecil dari model asli dengan presisi penuh.
Hal yang membedakan Bonsai dari sebagian besar model terkuantisasi adalah: tidak ada bagian yang mendapatkan "pintu keluar" dengan presisi lebih tinggi. Embedding, layer attention, dan head model bahasa secara keseluruhan dikompresi dari awal hingga akhir. Sebagian besar build low-bit mempertahankan layer sensitif pada presisi penuh untuk menjaga kualitas output, yang sebagai gantinya akan menambah ukuran file. Bonsai mengabaikan hal tersebut sepenuhnya.
Model ini juga menjalankan backbone hybrid attention di mana sekitar 75% layer menggunakan linear attention alih-alih quadratic attention penuh. Pilihan desain itulah yang membuat context window sebesar 262.000 token menjadi praktis di hardware perangkat; stack attention standar akan membuatnya sangat berat dan tidak efisien untuk ponsel.
Performa benchmark pada 94.6% dari presisi penuh
Melalui 15 benchmark yang dievaluasi dalam mode penalaran (thinking mode) pada GPU NVIDIA H100, yang mencakup pengetahuan, matematika, coding, dan penggunaan alat, varian ternary mencatat rata-rata 80,49, yaitu 94.6% dari model presisi penuh. Build 1-bit mencapai 76,11.
Sebagai konteks mengenai apa arti angka-angka tersebut dalam praktiknya:
- Skor matematika AIME25 dan AIME26: 93.7% untuk Ternary Bonsai 27B dibandingkan dengan 95.3% untuk Qwen 3.6B
- Coding: 86 poin untuk Bonsai dibandingkan dengan 88 untuk Qwen 3.6
- Pengetahuan umum: 77% untuk Bonsai dibandingkan dengan 83% untuk Qwen 3.6
Kuncinya adalah Bonsai mencapai hasil tersebut dengan ukuran file yang jauh lebih kecil dibandingkan model sejenis. Build Qwen 2-bit konvensional hampir dua kali lebih besar dan cenderung gagal pada tugas matematika dan coding di bawah 4 bit. Bonsai tetap stabil di semua aspek.
Pengujian dunia nyata: coding dan penulisan kreatif
Tim Bonsai menjalankan model ini melalui pengujian praktis: membangun game browser bergenre typing-horror orang pertama bernama Zombie Type. Dua putaran vibe coding menghasilkan deteksi tabrakan yang bersih, logika skor yang tepat, dan grafis yang tetap konsisten. Model ini memahami struktur dengan cepat; proses kedua menyempurnakan alih-alih membangun ulang dari nol.
Penulisan kreatif adalah cerita yang berbeda. Prompt zero-shot tidak akan menghasilkan sesuatu yang sangat imajinatif. Namun, yang diberikan Bonsai adalah logika internal, pacing, dan alur cerita yang konsisten, yang membuatnya setara atau sedikit di atas Claude Haiku pada prompt yang sebanding. Untuk model yang berjalan sepenuhnya di hardware lokal tanpa biaya API, itu adalah hasil yang signifikan.
PrismML juga menyertakan layer speculative decoding DSpark bersama model tersebut. Cara kerjanya adalah dengan menggunakan drafter ringan untuk mengusulkan blok token kandidat, yang kemudian diverifikasi oleh model utama dalam satu forward pass, alih-alih menghasilkan token demi token. Pada H100, ini menambah peningkatan throughput 1,37x tanpa perubahan pada kualitas output. Pada Apple Silicon, fitur ini belum diaktifkan secara default, tetapi ini adalah keuntungan nyata untuk server GPU.
Apple mulai memperhatikan
Ini adalah rilis besar kedua dalam keluarga Bonsai. Pada bulan Maret, PrismML merilis Bonsai 8B, model 1,15 GB yang membuktikan bahwa arsitektur 1-bit dapat bertahan pada 8 miliar parameter tanpa penalarannya menjadi rusak. Lompatan ke 27 miliar adalah titik di mana taruhannya berubah.
Apple kini sedang dalam pembicaraan awal dengan PrismML mengenai teknologi kompresi dasar tersebut, dengan perusahaan mengevaluasinya untuk potensi penggunaan di perangkat. CEO PrismML Babak Hassibi mengonfirmasi diskusi tersebut. Model Gemma yang dikompresi adalah proyek berikutnya, diikuti oleh model frontier yang lebih besar.
Hal yang sering dilewatkan oleh banyak pemain tentang pengumuman ini adalah implikasinya yang meluas jauh melampaui smartphone. AI di perangkat dengan tingkat kapabilitas ini berarti tidak ada panggilan API, tidak ada latensi dari roundtrip server, dan tidak ada data yang meninggalkan hardware Anda. Khusus untuk aplikasi gaming, hal ini membuka kemungkinan untuk perilaku NPC yang benar-benar responsif, pemrosesan suara lokal, dan logika game real-time yang tidak bergantung pada koneksi cloud.
Bonsai 27B 1-bit tersedia untuk diunduh gratis sekarang. Jika Anda ingin terus mengikuti perkembangan dunia gaming dan teknologi, hub panduan gaming kami adalah tempat yang tepat untuk memulai, dan jika Anda sedang mendalami action RPG, panduan pemula Where Winds Meet dan panduan mystic arts terbaik layak untuk disimpan.
