llama: create new fused op for QSA mask by am17an · Pull Request #30640 · ggml-org/llama.cpp

GitHub PR 본문(개요와 벤치마크 표)을 기준으로 옮겼어요. 리뷰 대화는 다 읽지 못했어요. r/LocalLLaMA에는 "희소 어텐션 모델 속도 향상을 위해 llama.cpp를 업데이트할 때"라는 제목으로 공유됐어요.

개요

작성자 am17an(2026년 10월 16일)은 QSA 점수 계산용 fused op를 만들어, 원래 25개였던 연산을 하나로 합쳤어요. PR 제목은 나중에 "QSA mask용 fused op"로 바뀌었어요.

벤치마크: Flash-Next

설정: -lzm on -fa 1 -ub 2048, 두 라운드 번갈아 돌린 최고값.

| 테스트 | RTX PRO 6000 (IQ4_NL) | DGX Spark GB10 (UD-IQ4_XS) | |---|---|---| | pp2048 @ d0 | 4771 → 5022 (+5.2%) | 1063 → 1104 (+3.9%) | | pp2048 @ d16384 | 4263 → 4555 (+6.8%) | 947 → 992 (+4.7%) | | pp2048 @ d65536 | 미실행 | 872 → 923 (+5.9%) | | tg64 @ d0 | 111.0 → 114.9 (+3.5%) | 29.0 → 29.2 (+0.6%) | | tg64 @ d16384 | 105.1 → 110.4 (+5.1%) | 27.7 → 28.1 (+1.3%) | | tg64 @ d65536 | 미실행 | 25.8 → 26.0 (+0.7%) |

벤치마크: GLM-5.3-Flash (IQ2_XXS, DGX Spark GB10)

• pp2048: d0 +2.4%, d16384 +2.8%, d65536 +3.1%
• tg64: d0 +0.2%, d16384 +0.8%, d65536 +1.0%

프롬프트 처리(pp)에서 이득이 더 크고, 컨텍스트가 길수록 이득이 조금 커지는 경향이에요.

기타

작성자는 기여 가이드라인에 동의했고 AI 사용 사실을 공개(YES)했어요. CISC, JohannesGaessler, ggerganov 등 코드 소유자에게 리뷰를 요청했어요.