Qwen Flash Next quant and temp comparison - performance vs task time vs quality

Reddit은 API 키 없이 본문을 직접 읽을 수 없어 RSS 발췌(본문 전체로 보임)로 옮겼어요. 결과 수치가 담긴 이미지(엑셀 차트)는 보지 못해서 작성자의 결론만 옮겨요.

실험 설계

높은 양자화 대 낮은 양자화, 권장 샘플링(특히 temperature)에 의문을 던진 다른 글을 보고 12개 시험 과제를 돌렸어요.

| 항목 | 내용 | |---|---| | 모델 | Qwen Flash Next q3_xxs, q3_s, q4_xs | | 샘플링 A | 권장값: temp 1, top_k 20, top_p 0.95, min_p 0, presence/repetition penalty 기본 | | 샘플링 B | temp 0 (Strata json과 pi 모델 json 모두), 나머지 파라미터 제거 | | 반복 | 조합마다 3회 | | 과제 | 요구사항(게임플레이, 설정, 시각 효과)이 정해진 브라우저 테트리스 | | 품질 평가 | 요구사항 대비 구현된 기능 |

결론

• 모든 양자화가 "그럭저럭" 했어요. 완벽한 결과는 없었지만 다 수용 가능했어요.
• 낮은 양자화 모델은 스스로를 믿지 못해 생각, 추가 도구 호출, 테스트, "actually"로 토큰을 훨씬 많이 썼어요. 양자화를 한 단계 올릴 때마다 과제당 총 디코드 토큰이 꾸준히 줄었어요.
• 낮은 양자화의 높은 초당 토큰 수는 늘어난 총 디코드와 과제 시간(반복 테스트, Playwright 등)을 메우지 못했어요.
• temp 0은 과제 크기·시간 편차가 작아 보였고 시간이 약간 줄 수도 있지만, 표본이 너무 작아 결론을 못 낸다고 했어요. 더 복잡한 과제에선 temp 0이 뒤처질 거라 예상했어요.
• 높은 양자화로 품질이 오르거나 떨어지진 않았다는 인상이었어요.

정리하면 "하드웨어가 감당하는 가장 높은 양자화를 쓰고, 디코드 속도보다 과제 시간을 보라"는 거예요. 작성자는 Windows에서 SSD 캐싱 없이 돌아가는 최고 수준인 Q3를 당분간 쓰겠다고 했어요.