엔비디아 Nemotron 3.5 Bolt E4B, 한국어 문서 RAG에선 바탕 모델 gemma4 E4B와 차이 없음 (299문항 실측)

작성자가 서버에서 직접 돌린 채점이에요. 엔비디아가 2026-10-23 Hugging Face에 공개한 Nemotron 3.5 Bolt E4B(Gemma 4 E4B 지시형 후학습, Q4_K_M 6.18GB, OpenMDW-1.1 상업 사용 가능)를 바탕 모델 gemma4 E4B와 비교했어요.

• 시험지: Allganize 한국어 RAG 평가 300문항 중 근거 페이지가 빈 1문항을 뺀 299문항 (+ 문서에 답 없는 질문 20개)
• 모든 모델이 같은 검색 결과 5쪽을 받음
• Ollama 0.40.5, GTX 1080 Ti 두 장, temperature 0
• 채점기: qwen3.6 27B

정답률

| 조건 | Bolt | gemma4 E4B | |---|---|---| | 생각 켬 | 67.2% | 69.6% | | 생각 끔 | 63.2% | 65.2% |

• 짝비교(McNemar) p=0.27, 0.31로 차이가 검출되지 않았어요. 바탕 모델이 2%p 높았지만 우연 범위래요.
• 엔비디아가 GaRAGe에서 Bolt가 바탕보다 약 10점 높다고 한 향상은 이 한국어 시험지에서는 보이지 않았대요. GaRAGe는 영어 중심이고 채점 방식도 달라 엔비디아 숫자가 틀렸다는 뜻은 아니라고 했어요.
• 생각 모드는 둘 다 약 4%p 올리고 문항당 시간은 3~4배. 생각 켠 Bolt는 gemma4 12B(66.6%)·qwen3.5 9B(65.6%)와 같은 수준이래요.

눈에 띈 점

• Bolt 답이 더 짧아요(중앙값 99자 대 126자).
• 파일 6.2GB라 GTX 1080 Ti(11GB) 한 장에 들어가고, RTX 3090에서는 초당 약 135토큰이래요.
• Ollama로 기본 받으면 생각 모드가 꺼져 있어, Modelfile에 RENDERER gemma4 / PARSER gemma4를 넣어 다시 등록해야 한대요.

채점기 신뢰

생각 끔에서 판정이 엇갈린 24문항을 AI 검토자에게 다시 읽혀 채점 48개 중 9개가 틀렸다고 봤지만, 고쳐도 결론(비슷한 수준)은 같았대요. 2%p 차이는 채점기 오차 안에 있다고 보는 게 맞대요.