High-Performance llama.cpp fork for Legacy GPUs: Kepler Support, CUDA Graphs & Windows NCCL!

Reddit 링크가 가리키는 GitHub README를 저장소 원본(raw)으로 읽고, Reddit RSS 본문의 수치를 함께 옮겼어요. 수치는 작성자 한 시스템의 예비 결과예요.

목표

옛 NVIDIA GPU를 전자 폐기물로 취급하지 말고 최신 LLM 추론에 계속 쓰자는 llama.cpp 성능·호환성 포크예요. Kepler, Maxwell, Pascal 등 Ampere 이전 아키텍처가 대상이에요.

대상 환경

• CUDA Toolkit 11.8
• 주 대상: compute capability 3.5~6.2, 툴킷·드라이버·빌드 설정에 따라 9.0까지 넓히는 걸 목표로 해요.
• 테스트 장비: Tesla K40c(Kepler, CC 3.5), 멀티 GPU 포함
• Windows 지원, 실험적인 레거시 NCCL 통합 포함
• 컴파일이 된다고 모든 기능이 모든 GPU에서 되는 건 아니라고 밝혀요.

패치 내용

1. 레거시 GPU용 cuBLAS 호환: 연산 타입 선택을 더 튼튼하게 만들었어요. 새 저정밀 경로가 없으면 FP32로 대체하고, 지원하지 않는 TF32 경로는 피하며, 선택된 연산 타입을 로그로 남겨요. 메인 llama.cpp에서 초기화 단계에 실패하던 CC 3.5~5.0 장비가 이제 돌아간대요. 이 수정은 llama.cpp 본가에 PR로도 올렸어요.
2. 레거시 아키텍처에서 CUDA 그래프: GPU 작업 순서를 캡처해 재생하면 CPU 쪽 실행 오버헤드가 줄어요. 4장 K40c 시스템에서 생성 속도가 약 35 → 55토큰/초 이상으로 올랐대요.
3. Windows 레거시 NCCL 호환: 그룹 집합 연산 API나 BF16이 없는 옛 NCCL에 맞춰 FP32 AllReduce 경로를 쓰고, ncclCommDestroy 시그니처 차이를 고쳤어요. Reddit 글 기준으로 이전 구성보다 끝단 성능이 약 5~10% 좋아졌대요.

수치 (Reddit 글)

MTP Qwen3.6-35B-A3B Q8_0, Tesla K40c 4장에서:

• 이전엔 시작조차 못 함 → 35토큰/초
• CUDA 그래프 적용 후 약 55토큰/초
• 생성은 60토큰/초 이상까지, 프롬프트 처리는 70~100토큰/초 사이에서 변동했대요.

작성자는 이게 보편적 벤치마크가 아닌 예비 결과라고 강조하고, Kepler·Maxwell·Pascal·Volta 사용자들의 비교 결과와 기여를 받고 싶대요.