엔비디아, 40개 언어 지원하는 음성 인식 AI 공개…오픈 모델 최고 정확도 달성

AI타임스 기사의 대부분을 읽고 정리했어요. 마지막 영상 소개 이후는 읽지 못했어요. 원문은 한국어 기사라 요점만 정리했어요. NVIDIA 원문 블로그는 같은 날 따로 실린 항목에서 볼 수 있어요.

어떤 모델인가요

엔비디아는 28일(현지시간) 음성 인식 모델 네모트론 3.5 트랜스크라이브를 공개했어요. 기사에 따르면 전문가 혼합(MoE) 구조로, 음성 처리 장치를 포함한 전체 파라미터는 약 340억 개, 추론 때 활성 파라미터는 약 43억 개예요. 최대 1시간 녹음을 처리하고, 최대 8명의 화자를 구분하며 발언 시점도 기록해요.

주요 기능

• 받아쓰기 방식을 자연어로 지정할 수 있어요. 말 그대로 옮기거나 읽기 쉽게 다듬고, 숫자 표기, 전문용어, 고유명사를 문맥에 맞게 처리해요.
• 음성 인식과 언어모델을 결합해 번역, 언어 식별, 녹음 내용 질의응답을 지원해요. 40개 언어를 인식하고 영어 중심으로 31개 언어 번역을 해요.
• 여러 사람이 동시에 말하는 회의·통화에서도 화자별 발언을 구분해 회의록이나 의료 음성 기록에 쓸 수 있다고 해요.

성능

• Hugging Face 영어 오픈 ASR 리더보드에서 단어 오류율(WER) 4.71%로 공개 가중치 모델 1위래요.
• 7개 언어 다국어 평가에서도 평균 오류율 4.62%로 최고 성능이었다고 해요.
• 사람 이름이나 전문용어를 미리 알려 주는 문맥 기반 인식은 ContextASR-Bench에서 고유명사 오류를 최대 6분의 1 수준으로 줄였대요.

가중치는 Hugging Face에 공개됐고, 상업적으로 쓸 수 있는 OpenMDW-1.1 라이선스예요. 추가 학습용 NeMo Speech 도구와 음성 데이터셋 Granary 2도 함께 제공해요.