미스트랄, 실시간 음성 에이전트 지원 '복스트랄 3' 제품군 공개

AI타임스 기사를 바탕으로 해요체로 정리했어요.

무엇을 내놨나요

미스트랄 AI가 10월 20일(현지시간) 음성-텍스트 변환(STT)과 텍스트-음성 변환(TTS)을 묶은 음성 AI 제품군 복스트랄 3(Voxtral 3)을 출시했어요. 음성 인식 모델 3종, 음성 생성 모델 1종, 그리고 음성 에이전트 SDK로 구성되고, 모든 모델은 미스트랄 API에서 공개 프리뷰로 제공돼요. 기업의 고객 상담, 음성 업무 자동화, 대화형 서비스 개발을 단순하게 만드는 게 목표예요.

음성 인식 3종

• Voxtral Small Transcribe 3: 다국어 전사, 화자 구분, 문맥 기반 인식을 지원하는 주력 모델
• Voxtral Mini Transcribe 3: 40억 매개변수 경량 모델로 비용·속도가 중요한 환경용
• Voxtral Mini Transcribe Realtime 3: 실시간 스트리밍 특화

세 모델 모두 화자 구분과 문맥 편향(context biasing)을 지원해요. 인명이나 전문 용어를 미리 주면 인식 정확도가 올라가요. 배치 전사는 50개 이상 언어를 지원하고, 실시간 모델은 사용자가 말을 끝낸 시점을 감지해 에이전트가 불필요하게 기다리지 않게 해요.

성능은 이래요.

• 스몰 모델은 아티피셜 애널리시스 비실시간 STT 순위 3위, 단어 오류율(AA-WER) 2.1%. 미니는 2.2%예요.
• 실시간 모델은 지연과 정확도의 절충이 있어요. FLEURS 35 기준 240ms 지연에서 오류율 7.4%, 2,400ms로 늘리면 5.7%예요.

음성 생성: Voxtral Speech 3

• 35개 이상 언어, 50개 이상 방언에서 자연스러운 음성을 만들어요.
• 대화의 감정·속도·강조를 반영해 말투를 조절하고, [emotion=sad][pace=slow] 같은 태그로 직접 지정할 수도 있어요.
• Pro Voice: 최대 30분 분량 음성을 주면 화자의 목소리와 말투를 높은 충실도로 재현하고, 지원 언어 전반에서 같은 목소리를 쓸 수 있어요.
• 오디오 생성 시작까지 약 90ms예요.

가격

• Speech 3: 문자 100만 개당 13달러
• Mini Transcribe 3: 분당 0.0035달러 / Small Transcribe 3: 분당 0.004달러 / 실시간: 분당 0.008달러

음성 에이전트 SDK

실시간 통신 플랫폼 LiveKit 기반이에요. 전사 모델이 듣고 발화 종료를 감지하면, 추론 모델이 분석하고 도구를 호출한 뒤, 음성 생성 모델이 답해요. 대화 턴마다 1초 이내 처리를 목표로 설계했대요. 사용자가 끼어들면 응답을 멈추고, 전화용 SIP와 브라우저·앱용 WebRTC를 모두 처리해요. 단계마다 모델이 분리돼 있어 추론 모델, 목소리, 언어를 필요에 따라 바꿀 수 있어요.