Comparing ISTA-DASLab's DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF 2.25bpw against the official API

Reddit이 자동 수집을 막아 RSS에 실린 본문을 기준으로 옮겼어요.

실험 설정

u/PhysicalIncrease3은 며칠간 ISTA-DASLab의 DeepSeek-V4.1-Flash-1017 GSQ-RCO GGUF 2.25bpw 양자화본을 써 왔고, 평균 2.25비트로 원 모델과 얼마나 가까운지 궁금했대요.

• 로컬: Project-maya v1.1.27, 품질 관련 설정 DS4_INDEX_TC=1, MAYA_DS4_PROMPT_SKIP=2
• 테스트: Humanity's Last Exam 텍스트 전용 100문제 부분집합
• 작성자 스스로 결과는 '스모크 테스트'일 뿐이라고 해요.

한계

1. 문제당 토큰 한도 32,768. 로컬로 평균 40.4 tok/s에 약 12시간이 걸렸대요.
2. 한도 근처 동작이 달라요. Project-maya는 사고 예산을 한도의 약 3/4로 줄여 항상 답하고(최대 약 24,768토큰), API는 32,768토큰을 다 생각에 쓰고 아무것도 출력하지 않기도 해요.
3. 둘 다 사고 수준 'high'로 돌렸어요. 'max'에선 API가 대부분 답을 못 냈대요. 'high'에서도 API는 26문제에 답하지 못했어요.
4. 100문제뿐이고 양쪽 모두 실행마다 편차가 컸어요. 제대로 비교하려면 10번 이상 돌려야 한대요.

결과

| 구분 | 로컬 | API | |---|---|---| | 엄격한 정답 | 13 | 13 | | 의미상 정답 | 20 | 21 |

API가 실제로 답한 74문제만 보면 로컬 19, API 21이 의미상 정답이고, 둘 다 맞힘 17, 로컬만 2, API만 4, 둘 다 틀림 51이에요. 둘 다 틀린 경우 23번은 오답이 똑같았고 11번은 의미상 같았대요.

결론

측정의 결함 때문에 양자화본이 원 모델에 얼마나 가까운지 딱 잘라 말할 수는 없대요. 하지만 2.25bpw가 완전히 망가지진 않았다는 건 꽤 확신하고, API가 답할 수 있는 문제는 로컬도 비슷하게 해냈다고 해요. 토큰 예산을 무제한으로 하고 최대 추론을 쓰면 양쪽 다 점수가 훨씬 높을 거래요.