一个拥有 270 亿参数的 AI 模型通常需要约 54 GB 的内存才能运行。PrismML 刚刚发布了一款仅需 3.9 GB 的模型，并且它可以在 iPhone 上运行。
Bonsai 27B 由 PrismML 于本周发布，是首个突破消费级智能手机内存上限的同级别能力模型。在 iPhone 17 Pro Max 上运行，其速度可达每秒 11 个 token。其三值化版本大小为 5.9 GB，在 M5 Pro 笔记本电脑上可达到每秒约 26 个 token。两者均在 Apache 2.0 协议下免费提供。
预购即可获赠 1 个月 GTA+ 会员订阅。
立即预购 GTA 6
PrismML 是如何将 270 亿参数塞进手机的
该压缩方法基于加州理工学院（Caltech）的知识产权，通过将每个模型权重从 16 位浮点精度降低到单一符号来工作。二进制版本使用 +1 或 -1。三值化版本增加了一个零状态，以获得更丰富的表达范围。每 128 个权重共享一个 16 位缩放因子，这使得二进制版本的每个权重仅占用 1.125 位，比全精度原始模型小了 14 倍。
Bonsai 与大多数量化模型不同之处在于：它没有任何高精度的“逃生舱”。嵌入层、注意力层以及整个语言模型头部都是端到端压缩的。大多数低位宽构建方案会保留敏感层为全精度以保护输出质量，这会作为权衡导致文件体积增大。而 Bonsai 完全跳过了这一步。
该模型还运行了一个混合注意力主干网络，其中大约 75% 的层使用线性注意力而非完全二次方注意力。这一设计选择使得 262,000 个 token 的上下文窗口在设备硬件上变得切实可行，如果使用标准的注意力堆栈，在手机上运行的成本将高得令人望而却步。
基准测试性能达到全精度的 94.6%
在 NVIDIA H100 GPU 上以思维模式评估的 15 项基准测试中（涵盖知识、数学、编码和工具使用），三值化版本的平均得分为 80.49，即全精度模型的 94.6%。1 位版本得分为 76.11。
关于这些数字在实际应用中的意义：
- AIME25 和 AIME26 数学得分：Ternary Bonsai 27B 为 93.7%，而 Qwen 3.6B 为 95.3%
- 编码：Bonsai 为 86 分，Qwen 3.6 为 88 分
- 通用知识：Bonsai 为 77%，Qwen 3.6 为 83%
关键在于，Bonsai 在仅占同类模型一小部分文件大小的情况下取得了这些成果。传统的 2 位 Qwen 构建版本体积几乎大了一倍，且在低于 4 位时，数学和编码任务的表现往往会崩溃。而 Bonsai 在各方面表现都非常稳健。
实战测试：编码与创意写作
Bonsai 团队通过一项实际测试对模型进行了检验：构建一款名为 Zombie Type 的第一人称打字恐怖网页游戏。经过两轮“氛围编码”（vibe coding），模型生成了清晰的碰撞检测、合理的计分逻辑以及结构完整的图形。该模型能快速掌握结构；第二轮迭代是对代码的精炼，而非从零重写。
创意写作的表现则较为平庸。零样本提示（Zero-shot prompts）无法产生特别有想象力的内容。但 Bonsai 确实提供了连贯的内部逻辑、节奏和故事弧线，这使其在类似提示词下与 Claude Haiku 持平甚至略胜一筹。对于一个完全在本地硬件上运行且无需 API 费用的模型来说，这是一个非常有意义的结果。
PrismML 还随模型发布了一个 DSpark 推测解码层。它的工作原理是让一个轻量级的草稿模型提出候选 token 块，由主模型在单次前向传递中进行验证，而不是逐个生成 token。在 H100 上，这在不改变输出质量的情况下实现了 1.37 倍的吞吐量提升。在 Apple Silicon 上，虽然目前尚未默认启用，但这对于 GPU 服务端来说是一个实实在在的增益。
苹果正在关注
这是 Bonsai 系列的第二次重大发布。今年 3 月，PrismML 发布了 Bonsai 8B，这是一个 1.15 GB 的模型，证明了 1 位架构在 80 亿参数下也能保持推理能力不崩溃。而跃升至 270 亿参数，意味着竞争的筹码变了。
苹果目前正与 PrismML 就底层压缩技术进行初步洽谈，评估其在设备端应用的可能性。PrismML 首席执行官 Babak Hassibi 证实了这些讨论。接下来计划推出压缩版的 Gemma 模型，随后是更大的前沿模型。
大多数玩家忽略了这一公告的深远影响，其意义远不止于智能手机。这种能力级别的设备端 AI 意味着无需 API 调用、没有服务器往返的延迟，且数据不会离开你的硬件。对于游戏应用而言，这为实现真正灵敏的 NPC 行为、本地语音处理以及不依赖云连接的实时游戏逻辑开启了无限可能。
1 位 Bonsai 27B 现已开放免费下载。如果你想跟进所有值得关注的游戏和科技资讯，我们的 游戏攻略 中心是一个不错的起点；如果你目前正沉迷于动作 RPG，那么《Where Winds Meet》的新手指南和 最佳奇术指南 非常值得收藏。