Ternary Bonsai 2 Family: 2B, 4B, & 9B based on Qwen 3.5

PrismML 블로그 원문을 읽었지만 수집 상한 때문에 마지막 "Making intelligence ubiquitous" 섹션 중간까지만 읽어 partial로 표시해요.

무엇을 공개했나

Bonsai 2 패밀리에 Qwen3.5 기반 삼진 모델 세 개(2B, 4B, 9B)를 더했어요. 기존 Bonsai 2 27B와 함께 네 가지 크기가 됐어요. 1세대 Bonsai(1.7B, 4B, 8B)보다 추론, 시각 이해, 도구 기반 워크플로가 좋아졌다고 해요.

• 가중치를 세 값 {−1, 0, +1}로 인코딩하는 삼진 표현을 써요.
• 크기는 2B 0.43GB, 4B 0.95GB, 9B 2GB로, 전체 정밀도 모델보다 9배 넘게 작아요.
• 반복 루프 피하기, 지시 따르기, 모바일 도구 호출, 답변 길이 조절처럼 작은 모델을 쓸모 있게 만드는 행동에 집중했다고 해요. 9B는 일반 지시 따르기·일상 수학에서 토큰을 약 40% 덜 쓴다고 해요. "리만 가설은 나중에 풀어도 된다"고 덧붙여요.

벤치마크 유지율(Bonsai 2 / 같은 크기 Qwen3.5)

19개 벤치마크를 6개 영역으로 묶어 유지율을 냈어요(2B / 4B / 9B).

• 에이전트·도구 호출: 95.5% / 90.0% / 92.4%
• 수학: 107.8% / 99.3% / 98.2%
• 지시 따르기: 121.5% / 106.0% / 100.0%
• 코딩: 115.0% / 100.7% / 100.1%
• 지식·추론: 82.9% / 90.9% / 93.0%
• 비전: 89.0% / 91.3% / 92.5%

예를 들어 9B는 BFCLv3 71.81(원본 73.81), MATH500 98.60(99.00), AIME26 82.50(86.67), HumanEval+ 89.02(87.80)예요. 반대로 2B의 GPQA Diamond는 39.6으로 원본 58.48의 67.7%에 그쳐요. 지식·추론과 문서 OCR 계열(Omni_doc 77–83%)이 가장 많이 떨어져요.

속도와 에너지

• RTX 4090, M5 Pro 같은 하드웨어에서 원본 대비 처리량 최대 5배, 에너지 효율 최대 3배라고 해요.
• M5 Max에서 9B는 최대 초당 179토큰, 2B는 310토큰이에요.
• iPhone 18 Pro Max에서 9B는 최대 초당 34토큰, 2B는 120토큰이에요.
• M5 MacBook Pro에서 9B로 민감 데이터를 가리는 데모, iPhone에서 멀티모달 에이전트 데모를 보여 줘요.

웨어러블까지

9월 Snapdragon Summit에서는 1세대 Bonsai 기반 1비트 비전-언어 모델을 Snapdragon AR1 Gen 1 스마트 글래스에서 로컬로 돌리는 시연을 했다고 해요. Bonsai 2는 그 위에 더 나은 추론, 시각 이해, 도구 호출을 더한다고 설명해요.