Для запуска ИИ-модели с 27 миллиардами параметров обычно требуется около 54 ГБ памяти. PrismML только что выпустила версию весом 3,9 ГБ, которая работает на iPhone.
Bonsai 27B, представленная на этой неделе компанией PrismML, — первая модель такого уровня возможностей, преодолевшая лимит памяти потребительского смартфона. При работе на iPhone 17 Pro Max она выдает 11 токенов в секунду. Тернарный вариант весом 5,9 ГБ достигает около 26 токенов в секунду на ноутбуке с M5 Pro. Обе версии бесплатны и распространяются по лицензии Apache 2.0.
Используйте код TRYHARD33 при оформлении заказа, пока срок его действия не истек.
Скидка 33% на подписку GAMES+
Как PrismML удалось уместить 27 миллиардов параметров в смартфон
Метод сжатия основан на интеллектуальной собственности Caltech и заключается в снижении веса каждого параметра модели с 16-битной точностью с плавающей запятой до одного знака. Бинарная сборка использует +1 или -1. Тернарная добавляет нулевое состояние для чуть более широкого диапазона выразительности. Каждая группа из 128 весов использует общий 16-битный коэффициент масштабирования, что позволяет бинарному варианту занимать всего 1,125 бита на вес, делая его в 14 раз меньше оригинала с полной точностью.
Вот что отличает Bonsai от большинства квантованных моделей: здесь нет «путей отхода» с повышенной точностью. Эмбеддинги, слои внимания и вся «голова» языковой модели сжаты полностью. Большинство низкобитных сборок сохраняют критически важные слои в полной точности для поддержания качества вывода, что увеличивает размер файла. Bonsai полностью отказывается от этого компромисса.
Модель также использует гибридный бэкенд внимания, где примерно 75% слоев используют линейное внимание вместо стандартного квадратичного. Именно это конструктивное решение делает контекстное окно в 262 000 токенов практичным для локального «железа» — стандартный стек внимания сделал бы такие требования непомерно высокими для смартфона.
Производительность в бенчмарках на уровне 94.6% от полной точности
По результатам 15 бенчмарков в режиме «мышления» на GPU NVIDIA H100, охватывающих знания, математику, кодинг и использование инструментов, тернарный вариант набирает в среднем 80,49, что составляет 94.6% от модели с полной точностью. 1-битная сборка показывает результат 76,11.
Для контекста, что эти цифры значат на практике:
- Математические тесты AIME25 и AIME26: 93.7% для Ternary Bonsai 27B против 95.3% для Qwen 3.6B
- Кодинг: 86 баллов у Bonsai против 88 у Qwen 3.6
- Общие знания: 77% у Bonsai против 83% у Qwen 3.6
Ключевой момент в том, что Bonsai достигает таких результатов при значительно меньшем размере файла по сравнению с аналогами. Обычные 2-битные сборки Qwen почти вдвое больше и склонны «сыпаться» в математике и кодинге при сжатии ниже 4 бит. Bonsai же держит планку по всем фронтам.
Реальные тесты: кодинг и креативное письмо
Команда Bonsai провела практический тест: создание браузерного хоррор-тайпинга под названием Zombie Type. Два прогона «vibe-кодинга» позволили получить чистую детекцию коллизий, рабочую логику начисления очков и графику, которая не разваливалась. Модель быстро схватывает структуру; второй проход лишь полирует результат, а не переписывает всё с нуля.
С креативным письмом ситуация сложнее. Zero-shot промпты не выдадут чего-то выдающегося. Но Bonsai обеспечивает стабильную внутреннюю логику, темп и арку повествования, что ставит её в один ряд или даже чуть выше Claude Haiku на аналогичных задачах. Для модели, работающей полностью локально без затрат на API, это серьезный результат.
PrismML также поставляет слой спекулятивного декодирования DSpark вместе с моделью. Он работает за счет того, что легкий «драфтер» предлагает блоки токенов-кандидатов, которые основная модель верифицирует за один проход, вместо генерации по одному токену. На H100 это дает прирост пропускной способности в 1,37x без потери качества. На Apple Silicon это пока не включено по умолчанию, но для серверных GPU это ощутимый буст.
Apple проявляет интерес
Это второй крупный релиз в семействе Bonsai. В марте PrismML выпустила Bonsai 8B — модель весом 1,15 ГБ, доказавшую, что 1-битная архитектура может работать при 8 миллиардах параметров, не теряя в логике. Переход к 27 миллиардам — это уже совсем другие ставки.
Apple ведет предварительные переговоры с PrismML по поводу технологии сжатия, оценивая её для потенциального использования на устройствах. CEO PrismML Бабак Хассиби подтвердил факт обсуждений. В планах — сжатая модель Gemma, а затем и более крупные фронтирные модели.
Большинство игроков упускают из виду, что последствия этого анонса выходят далеко за рамки смартфонов. Локальный ИИ такого уровня означает отсутствие API-запросов, задержек при обмене данными с сервером и утечки пользовательской информации. Для гейминга это открывает возможности для по-настоящему отзывчивого поведения NPC, локальной обработки голоса и игровой логики в реальном времени, которая не зависит от облака.
1-битная Bonsai 27B уже доступна для бесплатного скачивания. Если вы хотите быть в курсе всего важного в мире игр и технологий, наш хаб с гайдами — отличная точка входа. А если вы сейчас плотно сидите в экшен-RPG, обязательно сохраните гайд для новичков по Where Winds Meet и руководство по лучшим мистическим искусствам.
