โดยปกติแล้วโมเดล AI ขนาด 27 พันล้านพารามิเตอร์ (27-billion-parameter) จำเป็นต้องใช้หน่วยความจำประมาณ 54 GB ในการรัน แต่ล่าสุด PrismML ได้ปล่อยโมเดลขนาดเพียง 3.9 GB ที่สามารถรันบน iPhone ได้แล้ว
Bonsai 27B ซึ่งเปิดตัวในสัปดาห์นี้โดย PrismML เป็นโมเดลแรกในระดับความสามารถนี้ที่สามารถก้าวข้ามขีดจำกัดด้านหน่วยความจำของสมาร์ทโฟนทั่วไปได้ โดยเมื่อรันบน iPhone 17 Pro Max จะทำความเร็วได้ถึง 11 tokens ต่อวินาที ส่วนรุ่น Ternary ที่มีขนาด 5.9 GB สามารถทำความเร็วได้ประมาณ 26 tokens ต่อวินาทีบนแล็ปท็อป M5 Pro โดยทั้งสองเวอร์ชันเปิดให้ใช้งานฟรีภายใต้สัญญาอนุญาต Apache 2.0
รับสิทธิ์สมาชิก GTA+ ฟรี 1 เดือนเมื่อสั่งซื้อล่วงหน้า
สั่งซื้อล่วงหน้า GTA 6 ได้แล้ววันนี้
วิธีที่ PrismML บีบอัดพารามิเตอร์ 27 พันล้านตัวลงในมือถือ
วิธีการบีบอัดนี้สร้างขึ้นบนทรัพย์สินทางปัญญาของ Caltech โดยทำงานด้วยการลดความละเอียดของน้ำหนักโมเดล (model weight) แต่ละตัวจาก 16-bit floating-point ลงเหลือเพียงค่าเดียว โดยรุ่น Binary จะใช้ค่า +1 หรือ -1 ส่วนรุ่น Ternary จะเพิ่มสถานะศูนย์เข้ามาเพื่อให้ครอบคลุมช่วงข้อมูลได้ละเอียดขึ้น ทั้งนี้กลุ่มน้ำหนักทุกๆ 128 ตัวจะใช้ scaling factor ขนาด 16-bit ร่วมกัน ทำให้รุ่น Binary มีขนาดเพียง 1.125 bits ต่อหนึ่งน้ำหนัก ซึ่งเล็กกว่าโมเดลต้นฉบับแบบ full-precision ถึง 14 เท่า
จุดที่ทำให้ Bonsai แตกต่างจากโมเดลแบบ quantized ส่วนใหญ่คือ ไม่มีการเก็บส่วนใดไว้ในความละเอียดสูง (escape hatch) ไม่ว่าจะเป็น Embeddings, attention layers หรือส่วนหัวของโมเดลภาษา (language model head) ทั้งหมดถูกบีบอัดแบบ end-to-end ในขณะที่โมเดล low-bit ส่วนใหญ่มักจะเก็บเลเยอร์ที่สำคัญไว้ที่ความละเอียดเต็มเพื่อรักษาคุณภาพของผลลัพธ์ ซึ่งทำให้ขนาดไฟล์ใหญ่ขึ้น แต่ Bonsai ตัดส่วนนั้นออกไปทั้งหมด
นอกจากนี้ โมเดลยังใช้โครงสร้างแบบ hybrid attention backbone โดยประมาณ 75% ของเลเยอร์ใช้ linear attention แทนที่จะเป็น full quadratic attention ซึ่งการเลือกออกแบบเช่นนี้ทำให้ context window ขนาด 262,000 tokens สามารถใช้งานได้จริงบนฮาร์ดแวร์มือถือ หากใช้ standard attention stack จะทำให้การประมวลผลมีต้นทุนสูงเกินไปสำหรับสมาร์ทโฟน
ประสิทธิภาพการทดสอบที่ 94.6% ของความละเอียดเต็ม
จากการทดสอบ 15 benchmarks ในโหมด thinking บน GPU รุ่น NVIDIA H100 ซึ่งครอบคลุมทั้งด้านความรู้ คณิตศาสตร์ การเขียนโค้ด และการใช้เครื่องมือ รุ่น Ternary ทำคะแนนเฉลี่ยได้ที่ 80.49 ซึ่งคิดเป็น 94.6% ของโมเดลแบบ full-precision ส่วนรุ่น 1-bit ทำคะแนนได้ 76.11
เพื่อให้เห็นภาพว่าตัวเลขเหล่านี้หมายถึงอะไรในการใช้งานจริง:
- คะแนนคณิตศาสตร์ AIME25 และ AIME26: 93.7% สำหรับ Ternary Bonsai 27B เทียบกับ 95.3% สำหรับ Qwen 3.6B
- การเขียนโค้ด: 86 คะแนนสำหรับ Bonsai เทียบกับ 88 สำหรับ Qwen 3.6
- ความรู้ทั่วไป: 77% สำหรับ Bonsai เทียบกับ 83% สำหรับ Qwen 3.6
หัวใจสำคัญคือ Bonsai ทำผลลัพธ์เหล่านี้ได้ในขนาดไฟล์ที่เล็กกว่าโมเดลคู่แข่งหลายเท่า โมเดล Qwen แบบ 2-bit ทั่วไปมีขนาดใหญ่กว่าเกือบสองเท่าและมักจะประมวลผลคณิตศาสตร์หรือโค้ดผิดพลาดหากต่ำกว่า 4 bits แต่ Bonsai ยังคงรักษาประสิทธิภาพไว้ได้ดีในทุกด้าน
การทดสอบจริง: การเขียนโค้ดและการเขียนเชิงสร้างสรรค์
ทีมงาน Bonsai ได้ทดสอบโมเดลด้วยโจทย์จริงคือการสร้างเกมสยองขวัญแนวพิมพ์ดีดมุมมองบุคคลที่หนึ่งที่ชื่อว่า Zombie Type โดยการเขียนโค้ดแบบ vibe coding สองรอบสามารถสร้างระบบตรวจจับการชน (collision detection) ตรรกะการนับคะแนนที่ถูกต้อง และกราฟิกที่สมบูรณ์ได้ โมเดลเข้าใจโครงสร้างได้รวดเร็ว และการปรับปรุงในรอบที่สองก็เป็นการขัดเกลามากกว่าการสร้างใหม่ทั้งหมด
สำหรับการเขียนเชิงสร้างสรรค์นั้นถือเป็นอีกเรื่องหนึ่ง การใช้ Zero-shot prompt อาจไม่ได้ผลลัพธ์ที่จินตนาการสูงนัก แต่สิ่งที่ Bonsai ทำได้ดีคือตรรกะภายใน การดำเนินเรื่อง และโครงเรื่องที่สม่ำเสมอ ซึ่งอยู่ในระดับเดียวกับหรือเหนือกว่า Claude Haiku เล็กน้อยใน prompt ที่เทียบเคียงกัน สำหรับโมเดลที่รันบนฮาร์ดแวร์ท้องถิ่นโดยไม่มีค่าใช้จ่าย API ถือเป็นผลลัพธ์ที่น่าประทับใจมาก
นอกจากนี้ PrismML ยังมาพร้อมกับเลเยอร์ DSpark สำหรับ speculative decoding ซึ่งทำงานโดยให้โมเดลตัวเล็กช่วยเสนอชุดของ candidate tokens แล้วให้โมเดลหลักตรวจสอบในขั้นตอนเดียว แทนที่จะสร้างทีละ token บน H100 วิธีนี้ช่วยเพิ่ม throughput ได้ 1.37 เท่าโดยไม่เสียคุณภาพผลลัพธ์ ส่วนบน Apple Silicon แม้จะยังไม่ได้เปิดใช้งานเป็นค่าเริ่มต้น แต่ก็ถือเป็นการเพิ่มประสิทธิภาพที่สำคัญสำหรับการรันบน GPU
Apple กำลังจับตามอง
นี่เป็นการเปิดตัวครั้งสำคัญครั้งที่สองของตระกูล Bonsai โดยในเดือนมีนาคม PrismML ได้ปล่อย Bonsai 8B โมเดลขนาด 1.15 GB ที่พิสูจน์ว่าสถาปัตยกรรม 1-bit สามารถใช้งานได้จริงที่ 8 พันล้านพารามิเตอร์โดยที่ความสามารถในการใช้เหตุผลไม่ลดลง และการก้าวกระโดดมาที่ 27 พันล้านพารามิเตอร์คือจุดเปลี่ยนสำคัญ
ปัจจุบัน Apple กำลังอยู่ในช่วงเจรจาเบื้องต้นกับ PrismML เกี่ยวกับเทคโนโลยีการบีบอัดข้อมูลดังกล่าว โดยกำลังประเมินเพื่อนำไปใช้บนอุปกรณ์ในอนาคต ซึ่ง Babak Hassibi ซีอีโอของ PrismML ได้ยืนยันถึงการหารือนี้แล้ว โดยในแผนงานถัดไปคือการบีบอัดโมเดล Gemma และโมเดลระดับแนวหน้า (frontier models) ที่มีขนาดใหญ่ขึ้น
สิ่งที่หลายคนอาจมองข้ามไปในการประกาศครั้งนี้คือ ผลกระทบที่เกิดขึ้นนั้นกว้างไกลกว่าแค่สมาร์ทโฟน การมี AI ระดับนี้บนอุปกรณ์หมายถึงไม่ต้องเรียกใช้ API, ไม่มีความหน่วงจากการรับส่งข้อมูลกับเซิร์ฟเวอร์ และข้อมูลไม่รั่วไหลออกจากเครื่องของคุณ สำหรับวงการเกมโดยเฉพาะ สิ่งนี้เปิดโอกาสให้ NPC มีพฤติกรรมที่ตอบสนองได้สมจริง การประมวลผลเสียงในเครื่อง และตรรกะเกมแบบเรียลไทม์ที่ไม่ต้องพึ่งพาการเชื่อมต่อคลาวด์
Bonsai 27B แบบ 1-bit เปิดให้ดาวน์โหลดฟรีแล้วตอนนี้ หากคุณต้องการติดตามข่าวสารวงการเกมและเทคโนโลยีที่น่าสนใจ ศูนย์รวม คู่มือเกม ของเราเป็นจุดเริ่มต้นที่ดี และหากคุณกำลังอินกับเกมแนวแอ็กชัน RPG อยู่ คู่มือ Where Winds Meet สำหรับผู้เริ่มต้น และ คู่มือวิชาลึกลับที่ดีที่สุด เป็นสิ่งที่ควรบุ๊กมาร์กไว้
