Một mô hình AI với 27 tỷ tham số thường cần khoảng 54 GB bộ nhớ để vận hành. PrismML vừa ra mắt một mô hình chỉ với 3.9 GB và nó có thể chạy trên iPhone.
Bonsai 27B, được PrismML phát hành trong tuần này, là mô hình đầu tiên ở cấp độ năng lực này vượt qua giới hạn bộ nhớ của một chiếc điện thoại thông minh phổ thông. Khi chạy trên iPhone 17 Pro Max, nó đạt tốc độ 11 token mỗi giây. Biến thể ternary, với dung lượng 5.9 GB, đạt khoảng 26 token mỗi giây trên laptop sử dụng chip M5 Pro. Cả hai đều miễn phí theo giấy phép Apache 2.0.
Nhận 1 tháng đăng ký GTA+ khi đặt trước.
Đặt trước GTA 6 ngay
Cách PrismML nén 27 tỷ tham số vào một chiếc điện thoại
Phương pháp nén này được xây dựng dựa trên tài sản trí tuệ của Caltech và hoạt động bằng cách giảm mỗi trọng số mô hình từ 16-bit floating-point precision xuống còn một bit dấu duy nhất. Bản dựng nhị phân (binary) sử dụng +1 hoặc -1. Bản ternary bổ sung thêm trạng thái không để có phạm vi biểu đạt rộng hơn một chút. Mỗi nhóm 128 trọng số chia sẻ một hệ số tỷ lệ 16-bit, giúp biến thể nhị phân chỉ còn 1.125 bit trên mỗi trọng số, khiến nó nhỏ hơn 14 lần so với bản gốc có độ chính xác đầy đủ.
Điểm khác biệt giữa Bonsai và hầu hết các mô hình được lượng tử hóa (quantized) là: không có thành phần nào được giữ lại ở độ chính xác cao hơn. Các lớp nhúng (embeddings), lớp chú ý (attention layers) và toàn bộ phần đầu của mô hình ngôn ngữ đều được nén từ đầu đến cuối. Hầu hết các bản dựng bit thấp đều giữ các lớp nhạy cảm ở độ chính xác đầy đủ để bảo vệ chất lượng đầu ra, điều này làm tăng kích thước tệp như một sự đánh đổi. Bonsai bỏ qua hoàn toàn điều đó.
Mô hình này cũng chạy một cấu trúc chú ý lai (hybrid attention backbone), nơi khoảng 75% các lớp sử dụng chú ý tuyến tính thay vì chú ý bậc hai đầy đủ. Lựa chọn thiết kế đó là yếu tố giúp cửa sổ ngữ cảnh 262,000-token trở nên khả thi trên phần cứng thiết bị; một ngăn xếp chú ý tiêu chuẩn sẽ khiến điều này trở nên quá đắt đỏ trên điện thoại.
Hiệu suất benchmark ở mức 94.6% độ chính xác đầy đủ
Trên 15 bài kiểm tra benchmark được đánh giá ở chế độ suy luận (thinking mode) trên GPU NVIDIA H100, bao gồm kiến thức, toán học, lập trình và sử dụng công cụ, biến thể ternary đạt trung bình 80.49, tương đương 94.6% của mô hình có độ chính xác đầy đủ. Bản dựng 1-bit đạt 76.11.
Để hiểu rõ hơn về ý nghĩa của những con số đó trong thực tế:
- Điểm toán AIME25 và AIME26: 93.7% cho Ternary Bonsai 27B so với 95.3% cho Qwen 3.6B
- Lập trình: 86 điểm cho Bonsai so với 88 cho Qwen 3.6
- Kiến thức chung: 77% cho Bonsai so với 83% cho Qwen 3.6
Điểm mấu chốt ở đây là Bonsai đạt được những kết quả đó với kích thước tệp chỉ bằng một phần nhỏ so với các mô hình tương đương. Các bản dựng Qwen 2-bit thông thường lớn gần gấp đôi và có xu hướng bị lỗi trên các tác vụ toán học và lập trình dưới 4 bit. Bonsai vẫn duy trì sự ổn định trên mọi phương diện.
Thử nghiệm thực tế: lập trình và viết sáng tạo
Đội ngũ Bonsai đã chạy mô hình thông qua một bài kiểm tra thực tế: xây dựng một trò chơi kinh dị gõ phím góc nhìn thứ nhất có tên là Zombie Type. Hai vòng "vibe coding" đã tạo ra khả năng phát hiện va chạm sạch sẽ, logic tính điểm chuẩn xác và đồ họa ổn định. Mô hình nắm bắt cấu trúc từ sớm; lượt chạy thứ hai giúp tinh chỉnh thay vì xây dựng lại từ đầu.
Viết sáng tạo là một câu chuyện cần nhiều điều kiện hơn. Các câu lệnh zero-shot sẽ không tạo ra bất cứ thứ gì đặc biệt giàu trí tưởng tượng. Những gì Bonsai mang lại là logic nội tại nhất quán, nhịp độ và cốt truyện, đưa nó ngang hàng hoặc nhỉnh hơn một chút so với Claude Haiku trên các câu lệnh tương đương. Đối với một mô hình chạy hoàn toàn trên phần cứng cục bộ mà không tốn chi phí API, đó là một kết quả đầy ý nghĩa.
PrismML cũng cung cấp một lớp giải mã suy đoán (speculative decoding) DSpark đi kèm với mô hình. Nó hoạt động bằng cách để một bộ dự thảo (drafter) nhẹ đề xuất các khối token ứng viên, sau đó mô hình chính sẽ xác minh trong một lần truyền tiến duy nhất thay vì tạo từng token một. Trên H100, điều đó giúp tăng thông lượng lên 1.37 lần mà không làm thay đổi chất lượng đầu ra. Trên Apple Silicon, tính năng này chưa được bật theo mặc định, nhưng đó là một lợi ích thực sự cho việc phục vụ trên GPU.
Apple đang chú ý
Đây là bản phát hành lớn thứ hai trong dòng Bonsai. Vào tháng 3, PrismML đã phát hành Bonsai 8B, một mô hình 1.15 GB chứng minh rằng kiến trúc 1-bit có thể tồn tại ở mức 8 tỷ tham số mà không làm suy giảm khả năng suy luận. Bước nhảy vọt lên 27 tỷ là nơi các yếu tố đặt cược thay đổi.
Apple hiện đang trong các cuộc đàm phán sớm với PrismML về công nghệ nén nền tảng, với việc công ty đang đánh giá nó cho khả năng sử dụng trên thiết bị. CEO PrismML Babak Hassibi đã xác nhận các cuộc thảo luận này. Một mô hình Gemma đã nén đang nằm trong lộ trình tiếp theo, theo sau là các mô hình tiên phong (frontier models) lớn hơn.
Điều mà hầu hết người chơi bỏ lỡ về thông báo này là những tác động của nó vượt xa điện thoại thông minh. AI trên thiết bị ở cấp độ năng lực này đồng nghĩa với việc không cần gọi API, không có độ trễ từ các vòng lặp máy chủ và không có dữ liệu nào rời khỏi phần cứng của bạn. Đặc biệt đối với các ứng dụng trò chơi, điều đó mở ra khả năng cho hành vi NPC phản hồi chân thực, xử lý giọng nói cục bộ và logic trò chơi thời gian thực không phụ thuộc vào kết nối đám mây.
Bonsai 27B 1-bit hiện đã có sẵn để tải xuống miễn phí. Nếu bạn đang muốn cập nhật mọi thứ trong lĩnh vực game và công nghệ đáng theo dõi, trung tâm hướng dẫn chơi game của chúng tôi là một nơi khởi đầu vững chắc, và nếu bạn đang say mê các trò chơi hành động nhập vai (action RPGs), thì hướng dẫn cho người mới bắt đầu Where Winds Meet và hướng dẫn về các kỹ năng huyền bí tốt nhất rất đáng để lưu lại.
