CUDA: faster MMVQ for low-bit types by am17an · Pull Request #30517 · ggml-org/llama.cpp

GitHub PR #30517(am17an, 2026-10-14) 본문의 커널 벤치마크 표와 llama-bench 표 앞부분을 읽고 옮겼어요. 표의 나머지 행과 설명, 리뷰 대화는 읽지 못했어요.

무엇을 바꿨나

저비트 양자화 형식의 CUDA MMVQ(양자화 행렬-벡터 곱) 커널을 빠르게 하는 PR이에요. 토큰 생성(배치 1~8)처럼 행렬-벡터 연산이 지배하는 구간에 영향을 줘요. q4_K와 q8_0은 바뀌지 않아 잡음 수준을 보여 주는 기준으로 함께 실었어요.

커널 속도 향상 (배치 ne11=1, 기준 대비 배수)

| 형식 | RTX PRO 6000 | RTX 5090 | RTX 4090 | RTX 3090 | A16 | GB10 | gfx1151 | |---|---|---|---|---|---|---|---| | q2_K | 1.06 | 1.13 | 1.01 | 1.59 | 1.71 | 1.08 | 1.16 | | q3_K | 1.01 | 1.06 | 1.01 | 1.67 | 1.59 | 1.01 | 1.08 | | iq1_s | 1.09 | 1.10 | 1.03 | 1.27 | 1.25 | 1.00 | 1.00 | | q4_K | 1.00 | 1.00 | 1.00 | 1.04 | 1.00 | 1.00 | 1.00 |

배치 4에서는 q2_K가 거의 모든 GPU에서 1.22~1.40배였어요. 측정은 L2에 안 들어가는 4096×14336 행렬 60개 사슬로 했어요.

실제 모델 생성 속도 (llama-bench tg128, 초당 토큰)

| GPU | 모델 | 기존 | PR | 배수 | |---|---|---|---|---| | RTX 3090 | Qwen3.5-9B Q2_K | 102.67 | 141.02 | 1.37 | | RTX 3090 | Qwen3.5-9B Q3_K_S | 81.04 | 126.22 | 1.56 | | RTX 3090 | Qwen3-30B-A3B Q2_K | 165.28 | 191.53 | 1.16 | | RTX 4090 | Qwen3.5-9B Q3_K_S | 162.65 | 174.93 | 1.08 | | RTX 5090 | Qwen3.5-9B Q2_K | 269.25 | 279.27 | 1.04 | | RTX PRO 6000 | Qwen3.8-27B Q2_K | 101.18 | 103.18 | 1.02 |

정리하면 Ampere 세대(RTX 3090, A16)에서 효과가 크고, Ada·Blackwell에서는 수 % 수준이에요. 일부 iq2_s·iq3_s 조합은 0.95~0.99로 잡음 범위의 소폭 저하도 보였어요.