We turned EmbeddingGemma 2 into a speech-to-text model

프로젝트 소개 페이지(eg2.haku.sh)를 옮겼어요. 원문이 짧은 랜딩 페이지예요.

무엇인가

Google's EmbeddingGemma 2 is an embedding model. We turned it into a speech-to-text model

Embedding Gemma Transcribe는 구글의 임베딩 모델 EmbeddingGemma 2를 음성 인식(STT) 모델로 바꾼 Mac 앱이에요. 기본형 MacBook Air에서 1시간짜리 오디오를 약 13초에 받아쓰고, 모든 처리가 기기 안에서 일어나요. 무료이며 v1.6, macOS 14 이상, Apple Silicon 전용이고, 첫 실행 때 모델 715MB를 받아요.

임베딩 모델이 받아쓰기를 할 수 있나

EmbeddingGemma 2는 텍스트·이미지·오디오·비디오를 하나의 공간에 담는 멀티모달 임베딩 모델이에요. 어떤 단어를 소리 내 말하면 그 오디오 임베딩이 글자로 쓴 단어 근처에 놓여요. 그래서 그 공간에서 단어를 바로 읽어 내 보자는 발상이에요.

동작 방식

• EmbeddingGemma 2의 오디오 인코더는 전혀 바꾸지 않아요.
• 작은 '리더(reader)'가 짧은 오디오 조각을 모델의 텍스트 공간으로 옮겨요.
• 약 229,000개 영어 단어 중 가장 가까운 단어를 고르고, 조각을 이어 문장을 만들어요.
• 아주 작은 별도 모델이 문장부호와 대소문자를 붙여요.
• 학습한 건 리더뿐이에요. 공개 라이선스 영어 음성으로 8×H100에서 2시간 미만 걸렸어요. 기반 모델은 STT로 학습된 적이 없어요.

속도

| 모델 | 실행 장치 | Mac | 속도 | |---|---|---|---| | Embedding Gemma Transcribe | Neural Engine | 기본 M3 MacBook Air 8GB | 실시간 288배(1시간 12.6초) | | IBM Granite Speech 5.0 Turbo CTC | GPU(MLX) | 같은 기기 | 약 150배(25.7초) | | NVIDIA Parakeet TDT 0.6B v3 | Neural Engine | M4 Pro / M5 Pro | 156배 / 335배 | | Phonon-2(Parakeet v3 파인튜닝) | Neural Engine | M5 Pro | 480배 |

위 두 줄은 같은 기기에서 직접 잰 값이고, 아래는 FluidAudio가 더 크고 새 Mac과 다른 오디오로 발표한 수치라 동일 조건 순위가 아니라 대략적인 참고라고 밝혀요.

현재 수준과 사용법

단어 오류율(WER)은 현재 약 5%로, 선두 음성 모델의 2–3%보다 높아요. 더 잘 학습한 리더로 격차를 줄이는 게 다음 목표예요. 오디오 파일을 끌어 넣거나, 오른쪽 Option 키를 누른 채 말하고 떼면 아무 앱에나 받아쓰기가 들어가요. 오디오는 기기 밖으로 나가지 않아요.