New audio model: LFM3-Audio-2B

r/LocalLLaMA에 공유된 Hugging Face 모델 카드(README)를 직접 읽어 옮겼어요.

무엇인가

LFM3-Audio-2B는 노트북과 엣지 기기에서 로컬로 도는 작고 기능이 다 갖춰진 오디오 모델이에요. 텍스트나 오디오를 입력받아 텍스트, 음성, 또는 둘 다로 답해요.

• 음성 채팅: 소리 내어 물으면 텍스트와 음성으로 스트리밍 답을 줘요. 텍스트로만 답할 땐 먼저 추론할 수 있어요.
• 다국어 음성: 음성 인식(전사), 합성, 번역
• 오디오 이해·추론: 녹음 속 말, 소리, 사건에 대한 질문에 답해요.
• 도구 호출: 말로 한 요청을 앱·기기 제어용 도구 호출로 바꾸고, 텍스트나 음성 답을 함께 줘요.

자체 개발한 오디오 인코더와 LiquidCodec 오디오 토크나이저를 넣어 LFM2.5-Audio보다 음성 품질을 높였대요.

사양

| 항목 | 내용 | |---|---| | 파라미터 | 총 2B | | 구조 | LFM3 백본 + 인과적 오디오 인코더 + LiquidCodec | | 입력 | 텍스트 또는 16kHz 오디오 | | 출력 | 텍스트, 24kHz 음성, 또는 둘을 섞어서 | | 컨텍스트 | 32K 토큰(입력+출력) | | 스트리밍 | 인과적 인코딩, 점진적 프리필, 스트리밍 음성 생성 | | 음성 언어·로캘 | 아랍어, 덴마크어, 독일어, 그리스어, 영국·미국 영어, 핀란드어, 프랑스어, 히브리어, 이탈리아어, 일본어, 한국어, 네덜란드어, 폴란드어, 포르투갈어, 스페인어, 스웨덴어, 터키어, 중국어 | | 라이선스 | LFM Open License v1.0 |

로컬 에이전트, 도구 호출, 구조화 출력, 도메인 파인튜닝용이고, 작은 크기라 에이전트 코딩이나 복잡한 다단계 추론에는 권하지 않아요. BF16(vLLM, SGLang, Transformers), GGUF(llama.cpp), MLX-VLM 4비트, ONNX 변형이 있어요.

모델 카드 앞부분을 기준으로 옮겼어요. 벤치마크와 사용 예제는 다 읽지 않았어요.