엔비디아, 로컬 에이전트·로봇 겨냥 4GB 모델 '네모트론 3.5 볼트' 출시

AI타임스 기사 본문을 DFlash 초안 생성기 설명까지 읽고 옮겼어요. 그 뒤 마지막 단락은 읽지 못했어요.

무엇을 내놨나

엔비디아가 10월 23일(현지시간) 약 4GB 메모리에서 돌도록 설계한 오픈소스 경량 언어모델 Nemotron 3.5 Bolt E4B 4GB를 공개했어요. 음성·비전 모델과 함께 도는 기기 내 AI 시스템, 게임, 로봇 개발자가 성능과 메모리 사이의 균형을 맞추도록 하는 데 초점을 뒀어요.

• 구글 Gemma 4 E4B에 엔비디아의 사후학습 기법을 적용했어요.
• GeForce RTX, Jetson, RTX Spark, DGX Spark에서 돌고, 다른 AI 모델과 함께 구동하도록 메모리 사용을 줄였어요.
• Windows PC, 엣지, 로보틱스 환경에 바로 도입할 수 있게 배포 생태계를 넓혔대요.

성능

• 주요 대화형 에이전트 벤치마크에서 이전 Nemotron 3 Nano 4B보다 평균 약 40%, 비교 모델보다 평균 약 10% 높았어요.
• 추론을 켠 비교에서 출력 토큰을 최대 80% 줄였어요.
• 다만 21개 벤치마크 중 15개에서만 앞섰고, 일부 장기 문맥·도구 호출 평가에서는 Qwen3.5-4B가 앞섰어요. Tau2-Bench는 Bolt 55.1점, Qwen3.5-4B 75.1점이었어요. 실제 환경에 맞춰 검증이 필요해요.
• 점수와 첫 토큰 시간(TTFT)은 RTX 5090에서 6개 에이전트 평가 평균이고, 로컬 모델은 Q4_K_M 양자화였어요.

기능

• 대화 중 API를 호출해 실제 작업을 하고, 여러 턴에 걸쳐 작업을 이어 가요. 비동기 도구 호출 가이드도 있어요.
• 음성 인터페이스용 짧고 간결한 대화 모드, 추론 켜기/끄기, 추론 시간·분량 제한 설정을 지원해요.
• 컨텍스트 최대 6만 4천 토큰, 지원 언어 35개(기반 모델은 140개 이상 언어로 사전학습).

활용처로는 PC·모바일·스마트홈·차량 음성 비서 같은 온디바이스 에이전트, 게임 NPC와 가상 동반자, 로봇·중장비를 제어하는 임베디드·산업용 에이전트를 꼽았어요. 기존 LLM은 메모리, 지연, 하드웨어 호환성, 비용, 개인정보 제약 때문에 제품에 넣기 어려운 경우가 있는데, 로컬 경량 모델이 이를 완화할 수 있다는 설명이에요.

어떻게 학습했나

• 사후학습에 검증 가능한 보상 기반 강화학습(RLVR)과 RLHF를 썼고, Nemo-RL·Nemo-Gym 프레임워크를 사용했어요.
• 도구 호출, 지시 이행, 구조화된 출력, 다중 턴 대화를 다뤘고, 추론·비추론 데이터를 1:2(추론:비추론) 비율로 넣어 추론을 끈 상태의 정확도도 챙겼어요.
• 선택한 BF16 체크포인트를 Q4_K_M으로 양자화했고, imatrix 보정에 약 100만 토큰 규모의 강화학습 데이터를 썼어요.
• 병렬 추론용 DFlash 초안 생성기(drafter)도 공개했어요. 순전파 한 번에 여러 후보 토큰을 만들고 대상 모델이 병렬 검증해, Gemma 4 E4B 기존 drafter보다 처리량을 최대 21% 높인대요.