NVIDIA Nemotron 3.5 Transcribe - 한국어 포함 40개 언어를 지원하는 공개 음성 인식 모델

Hugging Face의 NVIDIA 블로그 글(2026-10-28) 앞부분을 읽고 옮겼어요. 데모 장면 설명 뒤의 세부 기능과 파인튜닝 안내는 다 읽지 못했어요.

하나의 모델로 전사·화자 구분·번역·질의응답

녹취록은 모든 말을 담아도 누가 말했는지, 어떻게 번역할지, 전문 용어를 어떻게 적을지는 남는 문제예요. 다국어 통화, 빠른 회의, 의료 받아쓰기는 각기 다른 결과물을 원해요.

Nemotron 3.5 Transcribe는 녹음된 말을 쓸모 있는 텍스트로 바꾸는 오픈 가중치, 프롬프트 가능한 모델이에요. Hugging Face와 ModelScope에서 받을 수 있어요.

• 40개 언어 전사, 그중 31개 언어는 영어로/영어에서 번역, 13개 언어에서 화자 구분을 해요.
• 최대 1시간 녹음, 최대 8명 화자를 처리해요.
• 자연어 지시로 출력을 조절하고, 오디오를 어디서 처리할지 고르며, 도메인 어휘와 억양에 맞게 조정할 수 있어요.

성적

NVIDIA에 따르면 Hugging Face Open ASR 리더보드 영어 부문에서 오픈 가중치 모델 1위이고, Artificial Analysis의 정확도-활성 파라미터 경계선 위에 있어요. 화자 구분에서는 David AI의 21개 언어 리더보드에서 오류율이 가장 낮고, VoiceArena의 14개 시스템 비교에서 1위예요. 양자화 버전으로 RTX Spark, DGX Spark, Jetson AGX Thor에서 로컬로 돌릴 수도 있어요.

Granary v2와 파인튜닝

다국어 데이터 Granary v2와 재사용 가능한 큐레이션 파이프라인, NeMo Speech 파인튜닝 도구를 함께 공개했어요. 의료 사례 연구에서는 파인튜닝으로 처음 보는 화자에 대한 단어 오류율(WER)이 가장 좋은 프롬프트 대비 상대적으로 45.8% 줄었다고 해요. 같은 회의 녹음에 "화자를 표시해 전사해 줘", "영어로 번역해 줘", "이 회의에서 어떤 결정이 나왔어?"처럼 지시만 바꿔 다른 결과를 얻을 수 있다고 설명해요.