Horsey challenge | Strata Fork | Qwen 3.8 FN NVFP4

r/LocalLLaMA 글(작성자 u/Beneficial-Ad-8127)을 레딧 RSS 발췌로 읽고 옮겼어요. 레딧 페이지 직접 접근은 403이라 댓글은 보지 못했어요.

무엇을 했나

작성자는 요즘 시험 중인 엔진, sergqwer가 만든 Strata 포크(strata-nvfp4)로 'horsey challenge'를 직접 해 봤대요. 앞서 IQ3 양자화로 한 글이 멋져서 NVFP4로 해 본 거예요. 첫 시도는 Qwen이 HTML을 테스트하며 헤드리스 창을 15개 넘게 열어 둬 시스템이 느려졌고, 45분쯤에 끝냈대요. 그래서 프롬프트를 고쳐 다시 했더니 훨씬 빨랐어요.

사용한 프롬프트: "Three.js로 끊김 없이 반복해서 달리는 저폴리 3D 말을 만들어라. 기본 도형으로 절차적으로 만들고 다리, 몸통, 머리, 꼬리를 애니메이션하고, 단일 HTML 파일로 돌려줘라. 헤드리스 크롬을 쓰면 필요 없는 프로세스는 꼭 종료하라."

구성

• 하드웨어: RTX 5090 32GB, Ryzen 7 9800X3D, DDR5 192GB, 윈도우 11
• 엔진: strata-nvfp4(Niko1221/Strata의 포크), 앞단은 모델 전환기 llama-swap
• 모델: Qwen3.8-Flash-Next 125B-A6B 하이브리드 MoE, abliterated 체크포인트를 직접 NVFP4로 변환
• 가중치: NVFP4 전문가(4.5비트) + Q8_0 밀집층, KV 캐시 int8, 임베딩 bf16
• MTP 드래프트 헤드(spec 5), 컨텍스트 최대 262,144, 압축 기준선 220,144
• 비전 인코더는 CPU, RAM에 63GiB 고정 전문가, 자주 쓰는 전문가는 VRAM 캐시

결과

• 첫 메시지~마지막 응답 33분 45초, 권한 승인 대기(25회) 10분 35초를 빼면 순수 작업 23분 10초
• 87단계, 출력 토큰 124,443
• 캐시 읽기 토큰 934만, 적중률 99.0%
• 디코드 중앙값 116 t/s(평균 103, 최고 171), TTFT 중앙값 0.7초
• 프리필 평균 3,332 t/s, 최고 6,623 t/s
• 압축 0회, 도구 호출 107회

작성자는 며칠 써 봤는데 이전에 쓴 어떤 것보다 좋았다며 Strata 팀, sergqwer, 원 모델 제작자, Qwen 팀에 감사를 전했어요. 표는 AI로 정리했다고 밝혔어요.