Nanbeige4.3 33B, 한국어 문서 RAG 299문항 직접 채점: 공식 벤치마크에선 qwen3.8 27B를 이겼지만 한국...

Review or Reviews 블로그 글의 앞부분(요약과 모델 소개)을 읽고 정리했어요. 재측정 과정과 문항별 분석은 다 읽지 못했어요. 수치는 모두 작성자가 자기 서버에서 직접 돌려 채점한 값이에요.

요약된 결과

• 정답률(299문항): 생각 끔 64.9%, 생각 켬 66.2%예요. 출력 한도에 걸린 29문항을 모델 카드 권장 설정으로 다시 돌리면 생각 켬 70.6%가 돼요.
• 모델 카드가 비교한 qwen3.8 27B(생각 켬 77.3%)보다 낮아요. 70.6%로 비교해도 Nanbeige만 맞힌 문항은 6개, qwen만 맞힌 문항은 26개였어요(p 0.001 미만).
• 같은 조건 점수(66.2%, 64.9%)는 gemma4 12B(66.6%), qwen3.5 9B(65.6%)와 비슷한 자리예요.
• Claude Opus 5.5로 다시 채점해도 결론이 같았어요(Nanbeige 73.2%, qwen3.8 27B 80.6%). qwen 계열 채점기가 qwen 편을 든 흔적은 없었대요.
• 속도는 RTX 3090에서 초당 약 38토큰, 문항당 약 18초(생각 끔)였어요. 같은 3090에서 qwen3.8 27B는 초당 약 85토큰, 4초였어요.

카드 숫자가 틀렸다는 뜻은 아니에요

카드에 실린 에이전트 코딩·업무 자동화·추론 벤치마크 20개 중 18개에서 Nanbeige가 qwen3.8 27B보다 높아요(SWE-Bench Pro와 GDPval은 qwen이 높음). 다만 카드에는 한국어나 문서 질의응답 결과가 없고, 언어 표시도 영어와 중국어뿐이에요. 작성자는 이 결과가 그 우위가 한국어 문서 질의응답까지 이어지지 않았다는 뜻이라고 정리해요.

Nanbeige4.3 33B는 어떤 모델인가요

2026년 10월 24일 Hugging Face에 올라온 330억 파라미터 모델이에요. 카드는 시리즈의 "교사 모델"로 소개하며, 큰 에이전트 모델을 먼저 만들고 그 능력을 작은 모델(예: 3B)로 증류할 계획이라고 밝혀요. 라이선스는 Apache 2.0이에요. 작성자는 한국에서 이 모델을 에이전트로 쓰려면 먼저 한국어 문서에서 필요한 사실을 정확히 뽑아야 하고, 이 시험지가 그 기초를 본다고 설명해요.