Un modèle d'IA de 27 milliards de paramètres nécessite normalement environ 54 Go de mémoire pour fonctionner. PrismML vient d'en lancer un de 3,9 Go, et il tourne sur un iPhone.
Bonsai 27B, publié cette semaine par PrismML, est le premier modèle de ce niveau de capacité à franchir le plafond de mémoire d'un smartphone grand public. Tournant sur un iPhone 17 Pro Max, il atteint 11 tokens par seconde. La variante ternaire, à 5,9 Go, atteint environ 26 tokens par seconde sur un ordinateur portable M5 Pro. Les deux sont gratuits sous licence Apache 2.0.
Obtenez 1 mois d'abonnement GTA+ avec votre précommande.
Précommandez GTA 6 dès maintenant
Comment PrismML a compressé 27 milliards de paramètres dans un téléphone
La méthode de compression repose sur la propriété intellectuelle de Caltech et fonctionne en réduisant chaque poids du modèle de 16 bits de précision en virgule flottante à un seul signe. La version binaire utilise +1 ou -1. La version ternaire ajoute un état zéro pour une plage légèrement plus expressive. Chaque groupe de 128 poids partage un facteur d'échelle de 16 bits, ce qui place la variante binaire à seulement 1,125 bit par poids, la rendant 14 fois plus petite que l'original en pleine précision.
Voici ce qui distingue Bonsai de la plupart des modèles quantifiés : rien ne bénéficie d'une porte de sortie en haute précision. Les embeddings, les couches d'attention et la tête complète du modèle de langage sont tous compressés de bout en bout. La plupart des versions à bas débit conservent les couches sensibles en pleine précision pour protéger la qualité de sortie, ce qui augmente la taille du fichier en guise de compromis. Bonsai évite totalement cela.
Le modèle exécute également une architecture d'attention hybride où environ 75% des couches utilisent une attention linéaire plutôt que quadratique complète. Ce choix de conception est ce qui rend une fenêtre de contexte de 262 000 tokens pratique sur le matériel embarqué ; une pile d'attention standard rendrait cela prohibitif sur un téléphone.
Performance des benchmarks à 94.6% de la pleine précision
Sur 15 benchmarks évalués en mode réflexion sur des GPU NVIDIA H100, couvrant les connaissances, les mathématiques, le codage et l'utilisation d'outils, la variante ternaire affiche une moyenne de 80,49, soit 94.6% du modèle en pleine précision. La version 1-bit atteint 76,11.
Pour mettre en perspective ce que ces chiffres signifient en pratique :
- Scores mathématiques AIME25 et AIME26 : 93.7% pour Bonsai 27B Ternaire contre 95.3% pour Qwen 3.6B
- Codage : 86 points pour Bonsai contre 88 pour Qwen 3.6
- Connaissances générales : 77% pour Bonsai contre 83% pour Qwen 3.6
L'essentiel ici est que Bonsai atteint ces résultats avec une fraction de la taille de fichier des modèles comparables. Les versions Qwen 2-bit conventionnelles sont presque deux fois plus volumineuses et ont tendance à s'effondrer sur les tâches de mathématiques et de codage en dessous de 4 bits. Bonsai reste cohérent sur toute la ligne.
Tests en conditions réelles : codage et écriture créative
L'équipe de Bonsai a soumis le modèle à un test pratique : créer un jeu par navigateur de type « typing-horror » à la première personne appelé Zombie Type. Deux cycles de « vibe coding » ont produit une détection de collision propre, une logique de score appropriée et des graphismes cohérents. Le modèle saisit la structure rapidement ; le second passage affine plutôt que de reconstruire à partir de zéro.
L'écriture créative est une autre paire de manches. Les prompts « zero-shot » ne produiront rien de particulièrement imaginatif. Ce que Bonsai apporte, c'est une logique interne, un rythme et un arc narratif cohérents, ce qui le place au niveau ou légèrement devant Claude Haiku sur des prompts comparables. Pour un modèle tournant entièrement sur du matériel local sans frais d'API, c'est un résultat significatif.
PrismML propose également une couche de décodage spéculatif DSpark avec le modèle. Elle fonctionne en faisant en sorte qu'un « drafter » léger propose des blocs de tokens candidats, que le modèle principal vérifie en une seule passe « forward » plutôt que de générer token par token. Sur un H100, cela ajoute un gain de débit de 1,37x sans changement dans la qualité de sortie. Sur Apple Silicon, ce n'est pas encore activé par défaut, mais c'est un gain réel pour le service GPU.
Apple est attentif
Il s'agit de la deuxième version majeure de la famille Bonsai. En mars, PrismML a lancé Bonsai 8B, un modèle de 1,15 Go qui a prouvé que l'architecture 1-bit pouvait survivre à 8 milliards de paramètres sans que son raisonnement ne s'effondre. Le passage à 27 milliards change la donne.
Apple est actuellement en pourparlers préliminaires avec PrismML concernant la technologie de compression sous-jacente, l'entreprise l'évaluant pour une utilisation potentielle sur appareil. Le PDG de PrismML, Babak Hassibi, a confirmé les discussions. Un modèle Gemma compressé est prévu ensuite, suivi de modèles de pointe plus larges.
Ce que la plupart des acteurs oublient concernant cette annonce, c'est que les implications vont bien au-delà des smartphones. L'IA embarquée à ce niveau de capacité signifie aucune requête API, aucune latence due aux allers-retours serveur et aucune donnée quittant votre matériel. Pour les applications de jeu spécifiquement, cela ouvre des possibilités pour un comportement de PNJ réellement réactif, un traitement vocal local et une logique de jeu en temps réel qui ne dépend pas d'une connexion cloud.
Bonsai 27B 1-bit est disponible en téléchargement gratuit dès maintenant. Si vous cherchez à suivre tout ce qui compte dans le gaming et la tech, notre hub de guides de jeu est un excellent point de départ, et si vous êtes plongé dans les action-RPG en ce moment, le guide du débutant pour Where Winds Meet et le guide des meilleurs arts mystiques valent le détour.
