Qwen 27B - sacrificing context in order run better quants, pros and cons.

Reddit r/LocalLLaMA 게시물은 API 키 없이 본문을 직접 읽을 수 없어 RSS 발췌로 옮겼어요. 발췌가 시험 프롬프트 중간에서 잘려 결과 부분을 다 보지 못해 partial이에요.

상황

작성자는 Unsloth IQ4_XS로 VRAM 20GB에서 96K 컨텍스트를 확보해 왔어요. 컨텍스트가 넉넉하면 압축(compaction) 없이 복잡한 작업을 덜 끊기게 할 수 있지만, 그 대가로 초안 코드에 문제가 많아 고치느라 시간과 로컬 토큰을 낭비하고 있었대요.

바꾼 것

| 구분 | 이전 | 이후 | |---|---|---| | 모델 양자화 | IQ4_XS | UD Q4_K_S | | 컨텍스트 | 96K | 75K | | KV 캐시 | F16 | Q8 | | 같은 시험 작업 시간 | 8시간 | 6시간 미만 |

작성자의 논리

• VRAM이 넉넉해 Q8 같은 높은 양자화와 큰 컨텍스트를 함께 쓸 수 있다면 큰 컨텍스트가 시간을 아껴 줘요.
• 하지만 GPU가 부족하면 컨텍스트를 얻는 대신 모델 품질을 잃고, 그게 초안 오류와 재작업으로 이어져 오히려 시간이 더 든다는 거예요.
• KV 캐시를 F16에서 Q8로 낮추고 압축이 더 자주 일어났지만, 모델 품질 향상이 그 손해를 넘었대요. 압축은 몇 초면 끝나지만 초안 오류를 고치는 데는 훨씬 오래 걸린다는 설명이에요.

시험 방법

비교에는 "외부 의존성 없는 단일 HTML 파일로 팩맨 스타일 아케이드 게임 만들기" 프롬프트를 썼어요. 캔버스로만 그린 그래픽, Web Audio로 합성한 소리, 28×31 클래식 미로, 점 240개, 다음 방향 입력 버퍼링, 유령 4마리 등 세부 조건이 길게 붙어 있어요. 한 사람의 한 작업 경험이라 일반화에는 주의가 필요해요.