Tried running 748B DeepSeek-V4.1-Flash on a €2k PC

Reddit이 자동 수집을 막아(OAuth 키 없음, Wayback 429) RSS 피드에 실린 본문을 기준으로 옮겼어요. 댓글은 읽지 못했어요.

장비

작성자 u/Vladowski는 작년에 RTX 3090 24GB, DDR4 128GB, Intel i9-9900X 중고 PC를 2,000유로 이하에 샀대요.

실험

DeepSeek-V4.1-Flash-1017이 나오자 이 장비에서 돌려 봤어요. 당연히 가장 작은 양자화(1비트)지만 초당 7.2토큰으로 돌아가는 걸 보고 기뻤대요.

• 답변에 물리 오류가 하나 있었고(찾아보라고 해요), 실용성은 크지 않다고 솔직히 말해요.
• 이 장비에선 Qwen 모델이 실제로 꽤 잘 돌아간대요.
• 그래도 7,480억 파라미터 모델이 이런 하드웨어에서 돈다는 게 기분 좋았다고 해요.

기술 세부

• Unsloth UD-IQ1_S GGUF, 디스크 233GB
• 아직 병합 전인 llama.cpp PR #30817로 빌드, CUDA 12.8
• 110GB Engram 테이블을 미리 올리지 않고 NVMe에 둔 채 모델이 필요한 행만 그때그때 읽어요. 그래서 메모리에 들어간대요.

llama-server -m DeepSeek-V4.1-Flash-1017-UD-IQ1_S-00001-of-00005.gguf -ngl 99 --n-cpu-moe 36 -ot "per_layer_token_embd.weight=CPU" -lm mmap -lzm on -t 10 -c 16384 --jinja --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 --chat-template-kwargs '{"enable_thinking":false}'

이제 모델을 남길지 디스크를 비울지만 정하면 된대요.