llama.cpp optimizations for specific hardware and models

Reddit 페이지는 직접 읽지 못해(403) RSS로 받은 게시글 본문을 옮겼어요. RSS 본문이 중간에 잘려 있고, 성능 수치는 원문 이미지에만 있어 이 번역에 없어요.

r/LocalLLaMA 사용자의 실험기예요.

배경

작성자는 Tesla P100 두 장에 Unsloth의 Qwen3.6 35B A3B UD Q4_K_XL을 쓰고 있어요. 요즘 특정 모델·하드웨어 전용 추론 엔진이 "말도 안 되는" 성능을 낸다는 얘기가 많아서, Opus를 꺼내 이 조합을 겨냥해 어디까지 밀어붙일 수 있는지 해 봤대요. 스스로 "부끄럼 없이 바이브 코딩"했다고 밝히며, 세부는 Opus가 했고 자신은 결과와 개요만 설명할 수 있다고 해요. 시작은 "이 카드가 뭘 잘하는지, llama.cpp가 이 모델에서 하드웨어를 어떻게 잘못 쓰는지 정리하고 최적화, 최적화, 최적화"라는 지시였어요. 전날 올라온 3090용 Qwen3.8 27B 엔진 글의 영속 메가커널(persistent megakernel)과 축소된 드래프트 어휘 아이디어도 반영했어요.

목표와 기준선

목표는 의붓아버지의 디코드 속도였어요. 그는 3060 12GB + 3090에서 Ornith 1.5를 Q4_K_M으로 돌리며 약 125 t/s를 낸대요(설정·스펙 디코딩 여부·prefill은 모름). 정확히 같은 비교는 아니지만 대략 견줄 만하다고 봤어요. 출발점은 디코드를 약 70% 올린다는 shinbunbun의 P100 패치를 적용한 llama.cpp였어요.

시스템은 Ryzen 7 5700X(기본 클럭), DDR4-3200 48GB, P100 두 장(각 175W 제한)인데 한 장은 PCIe Gen3 x4, 다른 한 장은 x16에 꽂혀 있어 최적이 아니에요. 제대로 된 PCIe 구성이면 조금 더 빠를 수 있대요. 몇 차례 개선 후 결과 표와 Perplexity·KLD 수치는 이미지로 공유했어요. Claude가 결과물을 자꾸 "제 것"이라고 부르는데, 방향은 자기가 잡았지만 실제 작업은 Claude가 했다고 인정해요.

품질과 주의점

수치상으론 괜찮지만 실제로는 모델이 조금 달라진 느낌이래요. 더 탐색적이고 "다람쥐 같은 뇌"가 된 느낌이라 정확히 짚기 어렵다고 해요. 샘플러를 조이면 많이 나아졌어요(temp 1.0, min_p 0.05, top_k 40 → temp 0.7, min_p 0.25, top_k 동일). 아직 주력 세팅으로 쓰긴 이르고 테스트와 튜닝이 필요하다고 해요.

패치는 P100 + 이 모델에 극도로 맞춘 것이라 다른 모델에 도움이 될 수는 있어도 제대로 돌아간다는 보장조차 없고, 전부 바이브 코딩이라 안정성도 장담하지 못한대요. 그래도 이 카드와 모델을 쓰는 몇십 명에게, 그리고 다른 사람들이 쌓아 올릴 패치 기반으로 공개하고 싶었다고 해요. 여전히 싸게 구할 수 있는 10년 된 데이터센터 카드에서 꽤 유능한 모델을 아주 빠르게 돌리니 공개할 가치가 있다는 거예요. Qwen4에서 비슷한 급의 MoE가 나오면 Opus에게 대규모 포팅 작업을 시킬 계획이래요.