Qwen 27B (IQ4_XS, Q8/Q4 KV) at full 262k context on a 16GB RX 9070 XT: 80+ t/s decode with Adaptive KV Streaming

Reddit은 API 키 없이 본문을 직접 읽을 수 없어 RSS 발췌(본문 전체로 보임)로 옮겼어요. 링크된 GitHub 브랜치는 따로 읽지 않았어요.

문제

Qwen3.8-27B IQ4_XS는 약 14.3GB라 16GB 카드에 여유가 없어요. 비ASCII 어휘를 줄인 버전이 약 13.6GB(12.6GiB)로 쓸 수 있는 VRAM은 약 3.4GiB인데, Q8_0/Q4_0 KV 캐시로도 262K 컨텍스트에는 KV만 약 7.4GiB가 필요해 llama.cpp에서는 약 65K 토큰을 넘으면 메모리 부족이 났어요.

해결

• NVIDIA/CUDA 전용이던 RaymondHuang210129/llama.cpp-adaptive-kv-streaming을 ROCm/HIP로 이식했어요. 262K 캐시 전체(약 7.4GB)는 호스트 RAM에 두고, 계산과 동시에 PCIe SDMA로 작업 세트(프리필 약 450MiB, 디코드 약 2,100MiB)만 스트리밍해요.
• stew675/llama-cpp-rdna-boosts의 커널 최적화(4행 다중열 mmvq, 16바이트 벡터 로드, SwiGLU 융합, 단일 큐 비동기 HIP 그래프)를 합쳤어요.
• 그 밖에 병렬 투영 간 양자화 활성값 재사용, 레지스터 안 residual+RMSNorm 융합, 온라인 LSE 청크 프리필과 레이어 프리페치 겹치기, 그래프 아레나 재사용, MTP 검증 단계 통합 등 스트리밍에 맞춘 투기적 디코딩 개선을 넣었어요.

벤치마크 (작성자 측정)

| 컨텍스트 | 디코드 | 디코드(MTP) | 프리필 | |---|---|---|---| | 1K | 36.5 t/s | 71.8~86.5 t/s (1K~4K) | 1,368.4 t/s | | 65K | 32.1 | 72.9 | 1,120.3 | | 131K | 27.0 | 78.6 | 863.0 | | 262K | 9.5 | 31.1 | 585.8 |

전력 한도를 기본 304W에서 231W(-24%)로 낮춰도 프리필 지연은 3.6%만 늘고 디코드는 거의 같아, 긴 작업 때 전력과 소음을 줄일 수 있다고 해요. 제목의 "80+ t/s"는 짧은 컨텍스트에서 MTP를 쓴 경우이고, 262K 전체에서는 MTP로도 31.1 t/s예요.