Improve Qwen3.8-27b low quants by using a prefiller model that streams from SSD

Reddit API 키가 없어 글 페이지와 댓글을 읽지 못했어요(Wayback도 429). 수집 때 받은 짧은 RSS 본문만 기준으로 썼어요.

글 내용

작성자(u/magnus-m)는 ISTA-DASLab의 데모를 소개해요. 낮은 비트로 양자화한 모델은 정확도가 떨어지는데, 이 데모는 SSD에서 스트리밍하는 prefiller 모델을 함께 써서 그 정확도를 되살리면서도 VRAM 사용량은 낮게, 디코딩 속도는 빠르게 유지한다고 해요.

• NVIDIA Blackwell GPU가 있어야 돌아가서 작성자는 직접 시험하지 않았대요.
• 문맥이 약 4k 토큰보다 길면 prefiller 없이 돌릴 때와 비교해 속도 손해가 없을 거라고 해요.
• 첨부 그래프는 MMLU-Pro 정확도를 보여 준다고 하는데, 그래프는 보지 못해 수치는 옮기지 않았어요.
• 모델은 Hugging Face의 ISTA-DASLab/Qwen3.8-27B-NVFP4-prefiller예요.