一個 270 億參數的 AI 模型通常需要約 54 GB 的記憶體才能運行。PrismML 剛發布了一款僅 3.9 GB 的模型，且能在 iPhone 上順暢運行。
Bonsai 27B 由 PrismML 於本週發布，是首個在此性能級別下突破消費級智慧型手機記憶體上限的模型。在 iPhone 17 Pro Max 上運行時，其速度可達每秒 11 個 token。而 5.9 GB 的三元（ternary）版本在 M5 Pro 筆記型電腦上則可達到每秒約 26 個 token。兩者皆依據 Apache 2.0 授權免費提供。
預購即可獲得 1 個月 GTA+ 會籍。
立即預購 GTA 6
PrismML 如何將 270 億參數塞進手機
該壓縮方法基於 Caltech 的知識產權，透過將每個模型權重從 16 位元浮點精度降低至單一符號來運作。二元（binary）版本使用 +1 或 -1。三元版本則增加了一個零狀態，以提供更豐富的表達範圍。每 128 個權重組共享一個 16 位元的縮放因子，這使得二元版本的每個權重僅佔 1.125 位元，體積比原始的全精度模型縮小了 14 倍。
Bonsai 與大多數量化模型最大的區別在於：它沒有保留任何高精度「逃生艙」。嵌入層（Embeddings）、注意力層（attention layers）以及完整的語言模型頭（language model head）均經過端到端壓縮。大多數低位元構建版本為了保護輸出品質，會將敏感層保留為全精度，這會導致檔案大小增加。Bonsai 則完全跳過了這一點。
該模型還運行了一個混合注意力骨幹網路，其中約 75% 的層使用線性注意力而非完整的二次方注意力。這種設計選擇使得 262,000 個 token 的上下文視窗在裝置硬體上變得切實可行；若使用標準的注意力堆疊，在手機上運行將會因成本過高而無法實現。
基準測試性能達到全精度的 94.6%
在 NVIDIA H100 GPU 上以思考模式評估的 15 項基準測試中（涵蓋知識、數學、程式設計和工具使用），三元版本的平均得分為 80.49，相當於全精度模型的 94.6%。1 位元版本則達到了 76.11。
關於這些數字在實際應用中的意義：
- AIME25 和 AIME26 數學分數：Ternary Bonsai 27B 為 93.7%，而 Qwen 3.6B 為 95.3%
- 程式設計：Bonsai 為 86 分，Qwen 3.6 為 88 分
- 一般知識：Bonsai 為 77%，Qwen 3.6 為 83%
關鍵在於，Bonsai 在檔案大小僅為同類模型一小部分的情況下達成了這些成果。傳統的 2 位元 Qwen 構建版本體積幾乎大了一倍，且在低於 4 位元時，數學和程式設計任務的表現往往會崩潰。而 Bonsai 則在各方面都保持了穩定性。
實戰測試：程式設計與創意寫作
Bonsai 團隊對該模型進行了一項實用測試：開發一款名為 Zombie Type 的第一人稱打字恐怖網頁遊戲。經過兩輪的「氛圍編碼」（vibe coding），模型產出了乾淨的碰撞檢測、正確的計分邏輯以及結構完整的圖形。該模型能快速掌握結構；第二輪修正時，它進行的是優化而非從零重寫。
創意寫作則屬於另一種情況。Zero-shot 提示詞無法產生特別具想像力的內容。但 Bonsai 能提供一致的內在邏輯、節奏和故事弧線，這使其在類似提示詞下的表現與 Claude Haiku 持平甚至略勝一籌。對於一個完全在本地硬體上運行且無需 API 費用的模型來說，這是一個非常有意義的成果。
PrismML 還隨模型附帶了一個 DSpark 推測解碼層。其運作方式是由輕量級的草稿模型提出候選 token 區塊，再由主模型在單次前向傳遞中進行驗證，而非逐個生成 token。在 H100 上，這能在不改變輸出品質的情況下提升 1.37 倍的吞吐量。在 Apple Silicon 上，雖然目前尚未預設啟用，但這對 GPU 服務來說是一項實質的提升。
Apple 正密切關注
這是 Bonsai 系列的第二次重大發布。今年 3 月，PrismML 發布了 Bonsai 8B，這款 1.15 GB 的模型證明了 1 位元架構在 80 億參數下也能運作，且推理能力不會崩潰。而跨越到 270 億參數則是關鍵的轉折點。
Apple 目前正與 PrismML 就底層壓縮技術進行初步洽談，並評估其在裝置端應用的潛力。PrismML 執行長 Babak Hassibi 確認了相關討論。接下來的計畫包括壓縮版的 Gemma 模型，隨後是更大規模的前沿模型。
大多數玩家忽略了這項公告的一點，即其影響力遠超智慧型手機。在此性能級別下的裝置端 AI 意味著無需 API 調用、沒有伺服器往返的延遲，且資料不會離開你的硬體。特別對於遊戲應用而言，這為實現真正靈敏的 NPC 行為、本地語音處理以及不依賴雲端連接的即時遊戲邏輯開啟了無限可能。
1 位元 Bonsai 27B 現已開放免費下載。如果你想跟上所有值得關注的遊戲與科技動態，我們的遊戲攻略中心是一個絕佳的起點；如果你目前正沉迷於動作 RPG，那麼《Where Winds Meet》新手指南與最強奇術攻略絕對值得你收藏。
