Um modelo de IA de 27 bilhões de parâmetros normalmente precisa de cerca de 54 GB de memória para rodar. A PrismML acabou de lançar um com 3,9 GB, e ele roda em um iPhone.
Bonsai 27B, lançado esta semana pela PrismML, é o primeiro modelo nesse nível de capacidade a zerar o teto de memória de um smartphone comum. Rodando em um iPhone 17 Pro Max, ele alcança 11 tokens por segundo. A variante ternária, com 5,9 GB, chega a cerca de 26 tokens por segundo em um laptop M5 Pro. Ambos são gratuitos sob a licença Apache 2.0.
Obtenha 1 mês de assinatura GTA+ com a pré-venda.
Garanta a pré-venda de GTA 6 agora
Como a PrismML espremeu 27 bilhões de parâmetros em um celular
O método de compressão é baseado na propriedade intelectual da Caltech e funciona reduzindo cada peso do modelo de 16 bits de precisão de ponto flutuante para um único sinal. A build binária usa +1 ou -1. A ternária adiciona um estado zero para um alcance um pouco mais expressivo. Cada grupo de 128 pesos compartilha um fator de escala de 16 bits, o que deixa a variante binária com apenas 1,125 bits por peso, tornando-a 14 vezes menor que o original em precisão total.
O que separa o Bonsai da maioria dos modelos quantizados é o seguinte: nada ganha uma "saída de emergência" de alta precisão. Embeddings, camadas de atenção e todo o head do modelo de linguagem são comprimidos de ponta a ponta. A maioria das builds de baixo bit mantém camadas sensíveis em precisão total para proteger a qualidade da saída, o que infla o tamanho do arquivo como um tradeoff. O Bonsai pula isso completamente.
O modelo também roda uma espinha dorsal de atenção híbrida onde cerca de 75% das camadas usam atenção linear em vez de quadrática completa. Essa escolha de design é o que torna uma janela de contexto de 262.000 tokens prática em hardware local; um stack de atenção padrão tornaria isso proibitivamente caro em um celular.
Desempenho de benchmark em 94.6% da precisão total
Em 15 benchmarks avaliados em modo de raciocínio em GPUs NVIDIA H100, cobrindo conhecimento, matemática, codificação e uso de ferramentas, a variante ternária tem uma média de 80,49, o que é 94.6% do modelo de precisão total. A build de 1-bit atinge 76,11.
Para dar contexto sobre o que esses números significam na prática:
- Pontuações de matemática AIME25 e AIME26: 93.7% para o Bonsai 27B Ternário versus 95.3% para o Qwen 3.6B
- Codificação: 86 pontos para o Bonsai versus 88 para o Qwen 3.6
- Conhecimento geral: 77% para o Bonsai versus 83% para o Qwen 3.6
O ponto chave aqui é que o Bonsai alcança esses resultados com uma fração do tamanho de arquivo de modelos comparáveis. Builds convencionais de 2-bit do Qwen são quase duas vezes maiores e tendem a colapsar em tarefas de matemática e codificação abaixo de 4 bits. O Bonsai se mantém firme em todos os aspectos.
Testes no mundo real: codificação e escrita criativa
A equipe do Bonsai colocou o modelo em um teste prático: criar um jogo de terror de digitação em primeira pessoa chamado Zombie Type. Duas rodadas de "vibe coding" produziram detecção de colisão limpa, lógica de pontuação adequada e gráficos que se mantiveram consistentes. O modelo entende a estrutura rapidamente; a segunda passada refina em vez de reconstruir do zero.
A escrita criativa é uma história com mais ressalvas. Prompts zero-shot não produzirão nada particularmente imaginativo. O que o Bonsai entrega é uma lógica interna consistente, ritmo e arco de história, o que o coloca no mesmo nível ou um pouco à frente do Claude Haiku em prompts comparáveis. Para um modelo rodando inteiramente em hardware local sem custos de API, esse é um resultado significativo.
A PrismML também envia uma camada de decodificação especulativa DSpark junto com o modelo. Ela funciona fazendo com que um drafter leve proponha blocos de tokens candidatos, que o modelo principal verifica em uma única passada (forward pass) em vez de gerar token por token. Em uma H100, isso adiciona um aumento de 1,37x no throughput sem mudança na qualidade da saída. No Apple Silicon, ainda não está habilitado por padrão, mas é um ganho real para servir via GPU.
A Apple está prestando atenção
Este é o segundo grande lançamento da família Bonsai. Em março, a PrismML lançou o Bonsai 8B, um modelo de 1,15 GB que provou que a arquitetura de 1-bit poderia sobreviver com 8 bilhões de parâmetros sem que seu raciocínio fosse pro brejo. O salto para 27 bilhões é onde o jogo muda.
A Apple está agora em conversas iniciais com a PrismML sobre a tecnologia de compressão subjacente, com a empresa avaliando-a para uso potencial em dispositivos. O CEO da PrismML, Babak Hassibi, confirmou as discussões. Um modelo Gemma comprimido é o próximo no pipeline, seguido por modelos de fronteira maiores.
O que a maioria dos players perde sobre esse anúncio é que as implicações vão muito além dos smartphones. IA local nesse nível de capacidade significa zero chamadas de API, zero latência de ida e volta ao servidor e nenhum dado saindo do seu hardware. Para aplicações de jogos especificamente, isso abre possibilidades para um comportamento de NPC genuinamente responsivo, processamento de voz local e lógica de jogo em tempo real que não depende de uma conexão com a nuvem.
O Bonsai 27B de 1-bit está disponível para download gratuito agora. Se você quer ficar por dentro de tudo o que vale a pena acompanhar em games e tecnologia, nosso hub de guias de jogos é um ótimo lugar para começar, e se você está focado em action RPGs agora, o guia para iniciantes de Where Winds Meet e o guia das melhores mystic arts valem o bookmark.
