RTX 3080 20GB got reBAR and P2P unlock! +70% prompt processing speed

Reddit이 자동 수집을 막아 RSS 피드에 실린 본문을 기준으로 옮겼어요. RSS 본문은 디코드 측정 설명 도중에 끊겨 있어 그 뒤 내용은 읽지 못했어요.

누구의 성과인가

작성자는 먼저 이 성과가 u/nathannguyennng의 것이라고 밝혀요. 그는 카르마 제한 때문에 r/LocalLLaMA에 글을 못 올려 작성자에게 대신 올리게 허락했대요. 설치 방법은 원 글을 따르고, 여기서는 테스트 결과만 공유한대요.

테스트 환경

• Proxmox VE 9.2.21, Linux 커널 6.14.11-9-pve, NVIDIA 드라이버 615.71.09
• Threadripper 1920X, X399 Zenith Extreme 메인보드
• RTX 3080 20GB 두 장, 둘 다 PCIe 3.0 x16, 240W 제한
• vLLM 0.32.0, cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4, MTP 켬, FP8 KV 캐시, 텐서 병렬 2

비교한 구성은 ① 완전 기본, ② gpu-unlock, ③ gpu-unlock + ReBAR + P2P예요. 단일 스트림 프리필 속도는 프롬프트 길이 ÷ 첫 토큰까지 시간(TTFT)으로 쟀어요.

결과(프리필, tok/s)

| 프롬프트 토큰 | 기본 | gpu-unlock | 향상 | +P2P | 향상 | |---|---|---|---|---|---| | 8,192 | 967.1 | 1,168.2 | 21% | 2,080 | 115% | | 16,384 | 932.4 | 1,136.4 | 22% | 1,978 | 112% | | 32,768 | 891.6 | 1,093.4 | 23% | 1,802.5 | 102% | | 65,536 | 825.1 | 1,021.2 | 24% | 1,598 | 94% | | 131,072 | 713.9 | 897.7 | 26% | 1,307.6 | 83% | | 261,900 | 562.1 | 723.1 | 29% | 961.6 | 71% |

8K 프롬프트에서 TTFT는 8,471ms → 7,013ms → 3,939ms로 줄었어요.

작성자의 해석

• gpu-unlock과 P2P를 함께 켜면 프롬프트 처리 속도가 70–115% 올라요.
• P2P만으로도 gpu-unlock 대비 최대 70% 향상이래요.
• MTP를 켠 상태의 디코드(토큰 생성) 속도는 MTP 수락률이 계속 바뀌어 tok/s로 재기 까다롭다고 설명하다가 RSS 본문이 끊겼어요.