8 GB GPU, 262K context 3.5 BPW Qwen-Flash-Next Coder 70 T/s using llama.cpp

Reddit 글은 RSS 피드에 실린 본문을 기준으로 옮겼어요. 댓글에 있다는 실행 파라미터는 읽지 못했어요.

방법

Qwen-Flash-Next는 n-그램과 MoE 구조라 크기에 비해 성능이 좋지만, 활성 파라미터는 여전히 60억(6B)이래요. 작성자는 이걸 이렇게 활용했어요.

• MoE 전문가 대부분은 RAM에 두고, 가장 작은 전문가만 VRAM에 둬 속도를 높여요.
• n-그램은 디스크에 두니 모델을 가장 빠른 SSD에 두래요.
• 필요한 사양은 VRAM 8GB + RAM 24GB예요. 총 메모리가 32GB 정도면 컨텍스트를 줄여서 돌릴 수 있어요.
• 수정 사항: CUDA는 8GB VRAM에서 잘 안 돌아서, 실패하면 Vulkan 백엔드를 쓰래요. 컨텍스트를 줄이고, 브라우저 하드웨어 가속을 끄는 등 VRAM을 잡아먹는 앱을 정리하라고 해요.

모델과 양자화

이 모델을 1비트 양자화로 오해하는 사람이 많다고 짚어요. ISTA DASLab의 3.5 BPW 'Coder' 변형이고 GSQ RCO 양자화를 썼어요. 전문가 절반을 제거해서 원래 파라미터 수 기준으로는 1.89비트에 해당하는 크기지만, 남은 가중치는 실제로 3.5bpw로 저장돼요. 코딩과 무관한 어휘를 잘라 약 400MB 더 작아요.

수치

• 정규식으로 MoE 오프로딩을 고르면 프롬프트 처리 70토큰/초, 생성 약 8토큰/초가 나왔대요. 작성자 환경이 PCIe 3.0이라 생성 속도가 거기에 묶였대요.
• --n-cpu-moe로 비슷하게 하면 더 느렸다고 해요.
• MMAP 때문에 첫 실행은 느리니 정확한 수치는 두 번째 실행에서 재래요. qwen 템플릿을 쓰면 과한 추론이 줄어든대요.