일반적으로 270억 개의 파라미터를 가진 AI 모델을 구동하려면 약 54 GB의 메모리가 필요합니다. 하지만 PrismML은 이를 3.9 GB로 압축해 아이폰에서 구동 가능한 모델을 선보였습니다.
Bonsai 27B는 PrismML이 이번 주에 공개한 모델로, 소비자용 스마트폰의 메모리 한계를 돌파한 최초의 고성능 모델입니다. iPhone 17 Pro Max에서 초당 11 토큰의 속도를 기록하며, 5.9 GB 용량의 3진법(ternary) 버전은 M5 Pro 노트북에서 초당 약 26 토큰의 속도를 보여줍니다. 두 모델 모두 Apache 2.0 라이선스로 무료 제공됩니다.
사전 예약 시 1개월 GTA+ 구독권이 제공됩니다.
지금 GTA 6 사전 예약하세요
PrismML이 270억 개의 파라미터를 스마트폰에 담아낸 방법
이 압축 방식은 Caltech의 지적 재산권을 기반으로 하며, 각 모델 가중치를 16비트 부동 소수점 정밀도에서 단일 부호로 줄이는 방식을 사용합니다. 바이너리 빌드는 +1 또는 -1을 사용하며, 3진법 빌드는 0 상태를 추가하여 표현 범위를 약간 더 넓혔습니다. 128개의 가중치 그룹마다 16비트 스케일링 팩터를 공유함으로써 바이너리 버전은 가중치당 1.125비트라는 놀라운 효율을 달성했고, 이는 원본 풀 정밀도 모델보다 14배 더 작아진 크기입니다.
Bonsai가 기존의 양자화 모델들과 차별화되는 점은 고정밀도를 유지하는 '탈출구'가 없다는 것입니다. 임베딩, 어텐션 레이어, 전체 언어 모델 헤드까지 모두 엔드투엔드로 압축되었습니다. 대부분의 저비트 빌드는 출력 품질을 보호하기 위해 민감한 레이어를 풀 정밀도로 유지하며, 이로 인해 파일 크기가 커지는 트레이드오프가 발생합니다. 하지만 Bonsai는 이러한 과정을 완전히 생략했습니다.
또한 이 모델은 전체 레이어의 약 75%가 완전한 이차(quadratic) 어텐션 대신 선형 어텐션을 사용하는 하이브리드 어텐션 백본을 구동합니다. 이러한 설계 덕분에 기기 내에서 262,000 토큰의 컨텍스트 윈도우를 실용적으로 활용할 수 있게 되었으며, 표준 어텐션 스택을 사용했다면 스마트폰에서 구현하기에는 비용 부담이 너무 컸을 것입니다.
풀 정밀도 대비 94.6% 수준의 벤치마크 성능
NVIDIA H100 GPU에서 지식, 수학, 코딩, 도구 사용 능력을 평가하는 15개 벤치마크를 '생각 모드(thinking mode)'로 테스트한 결과, 3진법 버전은 평균 80.49점을 기록했으며 이는 풀 정밀도 모델의 94.6% 수준입니다. 1비트 빌드는 76.11점을 기록했습니다.
이 수치가 실질적으로 의미하는 바는 다음과 같습니다:
- AIME25 및 AIME26 수학 점수: Ternary Bonsai 27B는 93.7%, Qwen 3.6B는 95.3%
- 코딩: Bonsai 86점, Qwen 3.6 88점
- 일반 지식: Bonsai 77%, Qwen 3.6 83%
핵심은 Bonsai가 비슷한 모델들에 비해 훨씬 작은 파일 크기로 이러한 결과를 달성했다는 점입니다. 기존의 2비트 Qwen 빌드는 크기가 거의 두 배에 달하며, 4비트 이하에서는 수학 및 코딩 작업 시 성능이 급격히 저하되는 경향이 있습니다. 반면 Bonsai는 전반적으로 안정적인 성능을 유지합니다.
실전 테스트: 코딩 및 창의적 글쓰기
Bonsai 팀은 'Zombie Type'이라는 1인칭 타이핑 호러 웹 게임을 제작하는 실전 테스트를 진행했습니다. 두 번의 바이브 코딩(vibe coding) 과정을 통해 깔끔한 충돌 감지, 적절한 점수 로직, 그리고 안정적인 그래픽을 구현해냈습니다. 모델은 구조를 빠르게 파악하며, 두 번째 패스에서는 처음부터 다시 만드는 대신 기존 코드를 정교하게 다듬는 모습을 보였습니다.
창의적 글쓰기는 조금 다른 이야기입니다. 제로샷 프롬프트만으로는 특별히 창의적인 결과물을 기대하기 어렵습니다. 하지만 Bonsai는 일관된 내부 로직, 페이싱, 스토리 아크를 제공하며, 비슷한 프롬프트 환경에서 Claude Haiku와 대등하거나 약간 앞서는 성능을 보여줍니다. API 비용 없이 로컬 하드웨어에서 완전히 구동되는 모델로서는 매우 의미 있는 성과입니다.
PrismML은 모델과 함께 DSpark 추론 가속 레이어도 제공합니다. 이는 가벼운 드래프터(drafter)가 후보 토큰 블록을 제안하면, 메인 모델이 토큰별로 생성하는 대신 한 번의 포워드 패스로 이를 검증하는 방식입니다. H100 환경에서는 출력 품질 저하 없이 처리량이 1.37배 증가합니다. Apple Silicon에서는 아직 기본 활성화되어 있지 않지만, GPU 서버 측면에서는 확실한 이점입니다.
애플도 주목하는 기술
이번 모델은 Bonsai 제품군의 두 번째 주요 릴리스입니다. 지난 3월, PrismML은 1.15 GB 크기의 Bonsai 8B를 출시하며 80억 파라미터 규모에서도 추론 능력 저하 없이 1비트 아키텍처가 생존할 수 있음을 입증했습니다. 270억 파라미터로의 도약은 게임의 판도를 바꾸는 중요한 지점입니다.
현재 애플은 PrismML과 핵심 압축 기술에 대해 초기 논의를 진행 중이며, 기기 내(on-device) 활용 가능성을 검토하고 있습니다. PrismML CEO Babak Hassibi는 이러한 논의가 사실임을 확인했습니다. 다음 파이프라인으로는 압축된 Gemma 모델이 예정되어 있으며, 이후 더 큰 규모의 프론티어 모델들도 준비 중입니다.
대부분의 유저들이 이 발표에서 간과하는 점은 그 영향력이 스마트폰을 훨씬 넘어선다는 것입니다. 이 정도 성능의 온디바이스 AI는 API 호출이나 서버 통신으로 인한 지연 시간 없이, 데이터가 외부로 유출되지 않고도 구동됩니다. 특히 게이밍 분야에서는 클라우드 연결 없이도 반응형 NPC 행동, 로컬 음성 처리, 실시간 게임 로직 구현이 가능해져 새로운 메타를 열어줄 것입니다.
1비트 Bonsai 27B는 지금 바로 무료로 다운로드할 수 있습니다. 게임 및 테크 분야의 최신 트렌드를 놓치고 싶지 않다면 저희의 게임 공략 허브를 확인해 보세요. 현재 액션 RPG에 푹 빠져 있다면 Where Winds Meet 초보자 가이드와 최고의 무공(mystic arts) 가이드를 즐겨찾기에 추가해 두는 것을 추천합니다.
