What a £300, 35W Snapdragon mini PC can actually do 👀: 35B coder at ~30 tok/s, and an 80B model that doesnt even fit in RAM running at 17 tok/s

Reddit이 원문 페이지에 403을 돌려줘 RSS 본문을 기준으로 옮겼어요. RSS에 글 본문은 거의 다 들어 있지만 댓글과 이미지는 보지 못해 partial로 표시해요. 수치는 모두 작성자 측정값이에요.

장비

• Lenovo IdeaCentre Mini, 299.99파운드(세금 포함)
• Snapdragon X1-26-100, 32GB LPDDR5, 전력 약 35W
• GPU는 Adreno X1-45인데 LLM에 쓸 만한 게 아직 없고, NPU도 놀고 있어서 전부 CPU로 돌렸어요.

회사 소프트웨어가 ARM Windows에서 도는지 시험하려고 한 대 샀다가, 값에 비해 인상적이어서 저렴한 ARM이 로컬 모델에 쓸 만한지 보려고 자기 것도 샀다고 해요.

llama.cpp 결과(512토큰 프롬프트, 8스레드)

• Qwen3.6 35B A3B 코더(Q4_0): 읽기 약 118, 쓰기 24.5, MTP 사용 시 29–33 tok/s
• Gemma 26B: 읽기 134, 쓰기 29.5
• 32GB에서는 RAM이 한계였다고 해요.

Janas를 ARM으로 옮기기

최근 나온 Janas는 MoE 전문가 일부를 RAM에 캐시하고 나머지를 NVMe에서 스트리밍하는데 x86 전용이었어요. 작성자는 이를 ARM용으로 다시 짰어요. 모든 양자화 형식용 NEON 커널, i8mm 등을 넣고 스칼라 참조 코드와 비트 단위로 일치하는지 Windows ARM64와 Linux에서 시험했고, 곧 GitHub에 PR로 내겠다고 해요.

Janas 결과(같은 설정):

• 코더: 읽기 약 60, 쓰기 17.2, MTP 29–31
• Gemma 26B: 읽기 115, 쓰기 23.5, MTP 32–34
• 80B(Qwen3-Next 80B A3B): 일반 쓰기 9.8, MTP 17–18. 읽기 수치는 믿기 어려워 보류했어요.

읽기와 일반 쓰기는 llama.cpp가 이기지만, MTP를 쓰면 Janas가 같거나 앞서고 RAM은 훨씬 적게 써요. 코더의 전문가 캐시를 12GB로 줄여도 초당 24토큰을 썼으니 16GB Snapdragon에서도 35B-A3B가 돌 수 있겠다고 해요. 또 llama.cpp가 아예 못 올리는 80B를 이 장비가 돌린다고 강조해요.

다음 실험

회사 개발 장비와 자기 장비 두 대를 USB4로 연결하는 작업을 하고 있고, 이미 122B Qwen을 돌려 봤다고 해요. GPU 없이 300파운드로 32GB LPDDR5를 얻는 더 싼 방법은 지금 안 보인다며 피드백을 청해요.