cpu : reduce AVX2 tiled accumulators together by trivalik · Pull Request #30296 · ggml-org/llama.cpp

GitHub PR #30296(ggml-org/llama.cpp) 본문과 리뷰 대화를 읽고 옮겼어요. Reddit r/LocalLLaMA에서 공유된 링크예요.

무엇을 바꿨나

작성자 trivalik은 CPU 백엔드의 AVX2 타일 행렬곱 커널에서 여덟 개 누산기를 따로 줄이던 부분을 공유 벡터 리덕션 하나로 바꿨어요. 계산 시간을 줄여 "초당 토큰을 더 많이" 내려는 변경이에요. PR에는 Assisted-by: Codex가 붙어 있고, AI 사용 공개란에 "AI가 생성했고 A/B 테스트를 했으며, 생성된 PR 설명은 필요한 정보만 남기도록 줄였다"고 적었어요.

측정 방법

• 기준 커밋 609290be, Clang 23.1.3 -O3 -march=alderlake, AVX-VNNI 사용
• CPU: Intel Core i9-12900K
• 손에 있던 사용자 지정 27B Q3_K 모델로 PP512를 측정, 워밍업과 실행 순서 교대를 넣은 독립 A/B 프로세스 쌍 7개짜리 시리즈 두 번(대조 시리즈는 시작 순서 반대), 모델 로딩 시간 제외
• 결과: PP512 시간 5~6% 감소, Q3_K MUL_MAT 마이크로벤치마크에서는 약 16~17% 감소

리뷰 과정

1. 10월 12일 메인테이너 taronaeo가 jbooth를 호출했어요.
2. 10월 13일 jbooth가 "정확성과 성능을 시험했고 AVX2 계층에서 10~15% 향상, LGTM"이라며 승인했어요.
3. 10월 15일 taronaeo가 llama-bench 수치를 요청했고, 작성자가 결과를 붙였어요.

| 테스트(qwen35 27B Q3_K, CPU 16스레드) | 변경 전 | 변경 후 | |---|---:|---:| | pp512 (t/s) | 25.64 ± 1.37 | 27.70 ± 0.76 | | tg128 (t/s) | 3.75 ± 0.14 | 3.90 ± 0.13 |

1. 10월 15일 승인, 10월 16일 "merge ready" 라벨 뒤 ggerganov가 커밋 3dbcb7f로 master에 병합했어요(체크 37개 중 33개 통과).

의미

GPU 없이 CPU로 큰 모델을 돌리는 사용자에게는 프롬프트 처리 속도가 몇 퍼센트 오르는 실용적 개선이에요. AI 보조로 만든 저수준 최적화가 공개 정책에 따라 표시되고, 사람이 별도 벤치마크로 검증해 병합된 사례이기도 해요.