Un modelo de IA de 27 mil millones de parámetros normalmente necesita alrededor de 54 GB de memoria para ejecutarse. PrismML acaba de lanzar uno de 3.9 GB, y funciona en un iPhone.
Bonsai 27B, lanzado esta semana por PrismML, es el primer modelo en este nivel de capacidad que supera el límite de memoria de un smartphone comercial. Ejecutándose en un iPhone 17 Pro Max, alcanza 11 tokens por segundo. La variante ternaria, de 5.9 GB, llega a unos 26 tokens por segundo en una laptop con M5 Pro. Ambos son gratuitos bajo Apache 2.0.
Obtén 1 mes de suscripción a GTA+ con tu reserva.
Reserva GTA 6 ahora
Cómo PrismML comprimió 27 mil millones de parámetros en un teléfono
El método de compresión se basa en propiedad intelectual de Caltech y funciona reduciendo cada peso del modelo de 16 bits de precisión de punto flotante a un solo signo. La versión binaria utiliza +1 o -1. La ternaria añade un estado cero para un rango ligeramente más expresivo. Cada grupo de 128 pesos comparte un factor de escala de 16 bits, lo que sitúa a la variante binaria en solo 1.125 bits por peso, haciéndola 14 veces más pequeña que el original de precisión completa.
Aquí está lo que separa a Bonsai de la mayoría de los modelos cuantizados: nada obtiene una vía de escape de mayor precisión. Los embeddings, las capas de atención y todo el encabezado del modelo de lenguaje están comprimidos de extremo a extremo. La mayoría de las versiones de pocos bits mantienen las capas sensibles en precisión completa para proteger la calidad de salida, lo que infla el tamaño del archivo como compensación. Bonsai omite eso por completo.
El modelo también ejecuta una estructura de atención híbrida donde aproximadamente 75% de las capas utilizan atención lineal en lugar de cuadrática completa. Esa elección de diseño es lo que hace que una ventana de contexto de 262,000 tokens sea práctica en hardware local; una pila de atención estándar haría que eso fuera prohibitivamente costoso en un teléfono.
Rendimiento en benchmarks al 94.6% de la precisión completa
A través de 15 benchmarks evaluados en modo de razonamiento en GPUs NVIDIA H100, cubriendo conocimiento, matemáticas, programación y uso de herramientas, la variante ternaria promedia 80.49, que es el 94.6% del modelo de precisión completa. La versión de 1 bit alcanza 76.11.
Para poner en contexto lo que significan esos números en la práctica:
- Puntajes de matemáticas AIME25 y AIME26: 93.7% para Bonsai 27B Ternario frente a 95.3% para Qwen 3.6B
- Programación: 86 puntos para Bonsai frente a 88 para Qwen 3.6
- Conocimiento general: 77% para Bonsai frente a 83% para Qwen 3.6
La clave aquí es que Bonsai logra esos resultados con una fracción del tamaño de archivo de modelos comparables. Las versiones convencionales de 2 bits de Qwen son casi el doble de grandes y tienden a colapsar en tareas de matemáticas y programación por debajo de los 4 bits. Bonsai se mantiene sólido en todos los ámbitos.
Pruebas en el mundo real: programación y escritura creativa
El equipo de Bonsai sometió al modelo a una prueba práctica: crear un videojuego de terror de escritura en primera persona llamado Zombie Type. Dos rondas de "vibe coding" produjeron una detección de colisiones limpia, una lógica de puntuación adecuada y gráficos que se mantuvieron estables. El modelo comprende la estructura rápidamente; la segunda pasada refina en lugar de reconstruir desde cero.
La escritura creativa es una historia más compleja. Los prompts de "zero-shot" no producirán nada particularmente imaginativo. Lo que Bonsai sí ofrece es una lógica interna, ritmo y arco narrativo consistentes, lo que lo pone a la par o ligeramente por delante de Claude Haiku en prompts comparables. Para un modelo que se ejecuta completamente en hardware local sin costos de API, ese es un resultado significativo.
PrismML también incluye una capa de decodificación especulativa DSpark junto con el modelo. Funciona haciendo que un "drafter" ligero proponga bloques de tokens candidatos, que el modelo principal verifica en una sola pasada hacia adelante en lugar de generar token por token. En una H100, eso añade un aumento de rendimiento de 1.37x sin cambios en la calidad de salida. En Apple Silicon aún no está habilitado por defecto, pero es una ganancia real para el servicio mediante GPU.
Apple está prestando atención
Este es el segundo lanzamiento importante de la familia Bonsai. En marzo, PrismML lanzó Bonsai 8B, un modelo de 1.15 GB que demostró que la arquitectura de 1 bit podía sobrevivir con 8 mil millones de parámetros sin que su razonamiento se desmoronara. El salto a 27 mil millones es donde cambian las apuestas.
Apple mantiene conversaciones iniciales con PrismML sobre la tecnología de compresión subyacente, evaluándola para su posible uso en dispositivos. El CEO de PrismML, Babak Hassibi, confirmó las discusiones. Un modelo Gemma comprimido es el siguiente en la lista, seguido de modelos frontera más grandes.
Lo que la mayoría de los jugadores pasan por alto sobre este anuncio es que las implicaciones van mucho más allá de los smartphones. La IA en el dispositivo a este nivel de capacidad significa que no hay llamadas a la API, no hay latencia por viajes de ida y vuelta al servidor y no hay datos que salgan de tu hardware. Específicamente para aplicaciones de videojuegos, esto abre posibilidades para un comportamiento de NPC genuinamente receptivo, procesamiento de voz local y lógica de partida en tiempo real que no dependa de una conexión a la nube.
Bonsai 27B de 1 bit está disponible para descarga gratuita ahora. Si buscas mantenerte al día con todo lo que vale la pena seguir en videojuegos y tecnología, nuestro centro de guías de videojuegos es un buen lugar para comenzar, y si estás muy metido en los RPG de acción en este momento, la guía para principiantes de Where Winds Meet y la guía de las mejores artes místicas valen la pena para guardar en marcadores.
