2x CMP 170HX 64GB: GLM-5.3-Flash at 384K context / ~90 tok/s (EXL3, HBM-first setup) + Qwen3.8 comparison

CMP 170HX 64GB 카드 두 장으로 GLM-5.3-Flash를 돌린 r/LocalLLaMA 실험기예요. ExLlamaV3에서 3.05bpw EXL3 양자화(약 125.2GB)를 두 카드의 HBM에 통째로 올려, 시스템 RAM에서 전문가 가중치를 스트리밍하지 않고 384K 컨텍스트를 실제로 쓰고 있다고 해요. 제목에 따르면 속도는 약 90 tok/s이고, GLM-5.3-Flash는 전체 320B·활성 약 18B인 MoE 모델이에요. 글쓴이는 공개된 3.0bpw 측정치(Top-1 일치 약 93.0%, 평균 KLD 약 0.0505)가 UD-Q4_K_XL과 비슷한 수준이라면서도, 평가 방식이 달라 EXL3 3bpw가 더 낫다고 단정할 수는 없다고 선을 그어요. 같은 장비의 Qwen3.8-Flash-Next(vLLM, AWQ INT4) 구성과도 비교했어요.