CUDA: fuse MoE gate/up matmuls and GLU in MMQ by anujj · Pull Request #31188 · ggml-org/llama.cpp

무엇을 바꿨나

기여자 anujj가 10월 26일 올린 llama.cpp PR #31188은 #29948의 확장이에요. dense FFN에 쓰던 gate/up 융합 + GLU MMQ 커널을 MoE 모델의 전문가 FFN(MUL_MAT_ID)에도 쓰게 했어요.

프롬프트 처리 때 gate와 up 전문가 행렬곱, 그리고 뒤따르는 GLU가 mul_mat_q 한 번의 실행으로 돌아가요.

성능(tok/s, 프롬프트 16,384토큰)

DGX Spark(GB10)

• Qwen3-30B-A3B Q4_K_M: 2911.4 → 3410.8 (+17.2%)
• Qwen3.6-35B-A3B Q4_K_M: 3235.8 → 3556.7 (+9.9%)
• Qwen3.6-35B-A3B UD-Q4_K_M: 3264.7 → 3561.8 (+9.1%)

RTX 5090

• Qwen3-30B-A3B Q4_K_M: 12611.7 → 13330.3 (+5.7%)
• Qwen3.6-35B-A3B Q4_K_M: 15000.3 → 15852.0 (+5.7%)
• Qwen3.6-35B-A3B UD-Q4_K_M: 15030.2 → 15947.8 (+6.1%)

정확도

세 모델 모두 두 GPU에서 wiki.test 8청크 perplexity가 master와 비트 단위로 같았어요.

기타

작성자는 Claude와 함께 작업했다고 AI 사용을 밝혔어요. 10월 27일 리뷰 준비 완료로 바뀌었어요.

PR 본문과 초반 타임라인을 읽었어요. 리뷰 논의와 병합 여부는 확인하지 못했어요.