qwen4exp : build the QSA selection without the kq_mask by sanmai · Pull Request #30965 · ggml-org/llama.cpp

GitHub PR 페이지의 본문과 초기 대화 일부를 기준으로 옮겼어요. 이후 리뷰 대화와 병합 여부는 읽지 못했어요.

무엇을 바꾸나요

기여자 sanmai가 2026년 10월 22일 올린 llama.cpp PR #30965예요. qwen4exp 아키텍처(Qwen Flash Next 계열)에서는 12개 어텐션 층이 모두 QSA라서 kq_mask를 할당할 필요가 없다는 내용이에요(#30815의 댓글에서 나온 이야기).

이렇게 하면 ubatch 4096에서 2GB, 8192에서 4GB의 GPU/호스트 메모리를 아낀대요. 작성자는 이게 Strata가 전문가(expert) 캐시에서 최대한 성능을 짜내려고 하는 일 중 하나라고 설명해요.

벤치마크

연산 버퍼만 본 결과예요(-cmoe --moe-cache-mib 8000 -ctk q8_0 -ctv q5_1).

| ubatch | 빌드 | CUDA0 MiB | CUDA_Host MiB | |---|---|---|---| | 4096 | master | 7088 | 2765 | | 4096 | PR | 5046 | 717 | | 8192 | master | 13327 | 5526 | | 8192 | PR | 9237 | 1430 |

PR 빌드로 ubatch 4096, MoE 캐시 17,750MiB일 때 prefill 1,004 t/s, decode 45.5 t/s, VRAM 최대 32,066MiB였고, ubatch 8192, 캐시 13,400MiB일 때 prefill 1,470 t/s, decode 41.2 t/s였어요. RTX 5090(400W)에서 --load-mode dio로 쟀으니 mmap 등으로는 더 빠를 거래요.

그 밖에

• AI 사용 공개: YES, Claude와 함께 작업했대요.
• 리뷰어 am17an이 "실제로 도움이 되나요? 이전 PR과 같은 결과가 나오나요?"라고 물었어요.
• r/LocalLLaMA에서는 "Qwen Flash Next에서 VRAM 수 기가바이트 절약"이라는 제목으로 공유됐어요.