Ternary Bonsai 2 (2B, 4B, and 9B) just released on Hugging Face. The 2B can run entirely locally in the browser at up to 500 tok/s on an M4 Max with custom WebGPU kernels.

Reddit이 원문 페이지에 403을 돌려줘 RSS 본문을 기준으로 옮겼어요. RSS 본문은 링크 두 개뿐이라, 같은 발표의 PrismML 블로그(오늘의 다른 항목에 따로 옮겼어요)와 X 게시물로 내용을 보강했어요. 댓글은 보지 못해 partial로 표시해요.

Reddit 글

u/xenovatech가 올린 글로, 제목은 "Ternary Bonsai 2 (2B, 4B, and 9B) just released on Hugging Face. The 2B can run…"이에요. 본문에는 두 링크만 있어요.

• Hugging Face 컬렉션: prism-ml/bonsai-2-small
• WebGPU 데모: webml-community/ternary-bonsai-2-hermes-webgpu Space

작성자의 X 글

같은 작성자(@xenovacom)는 X에 이렇게 썼어요.

Today has been one of the biggest days for open-source AI this year... and it keeps getting better.

PrismML이 Hugging Face에 2B, 4B, 9B, 27B Ternary Bonsai 2를 올렸고, 2B가 자신의 M4 Max에서 커스텀 WebGPU 커널로 브라우저 안에서만 최대 초당 500토큰을 낸다고 했어요. 가중치 약 1.8비트로 언어 모델 가중치가 2B는 430MB, 4B는 950MB라고 해요.

PrismML 발표 요점

• Qwen3.5 2B·4B·9B 기반의 삼진({−1, 0, +1}) 모델이에요.
• 크기는 0.43GB, 0.95GB, 2GB로 원본보다 9배 넘게 작아요.
• 19개 벤치를 6개 영역으로 나눠 보면 9B의 유지율이 92–100% 수준이에요.
• M5 Max에서 9B 초당 179토큰, 2B 310토큰, iPhone 18 Pro Max에서 9B 34토큰, 2B 120토큰이라고 해요.