Dessa: the most authentic full-duplex speech model ever built

Block의 Dessa 소개 페이지 앞부분(소개, 데모 설명, "What is this?!" 도입부)을 기준으로 옮겼어요. 페이지 뒷부분은 읽지 못했어요. 지금은 대기자 명단을 받는 단계예요.

Dessa가 뭔가요

Block은 음성이 지능과 상호작용하는 가장 자연스러운 방법이라고 보고, Dessa를 "지금까지 만들어진 가장 진짜 같은 전이중(full-duplex) 음성 모델"이라고 소개해요. 대화하면 감정, 뉘앙스, 멈춤, 자연스러운 리듬이 살아 있어 사람과 이야기하는 느낌이래요.

기존 음성 AI의 문제

지금 음성 AI는 목소리를 텍스트로 바꾸면서 텍스트가 담지 못하는 정보를 많이 버린다고 지적해요. 그래서 세계에서 가장 강한 AI도 사용자가 어떤 기분인지 듣지 못하고, 이건 더 나쁜 경험이자 잠재적으로 위험하다고 해요.

어떻게 학습했나요

• 사람의 대화 소리만으로 처음부터 학습했어요. 텍스트도, 사전학습 모델도 쓰지 않았대요.
• Block이 아는 한, 사람 음성만으로 학습해 실시간으로 실감 나는 대화를 할 수 있는 세계 최초의 AI래요.
• 언어와 사실을 텍스트 대비 얼마나 효율적으로 배우는지, 새 언어를 얼마나 빨리 배우는지 같은 연구 질문도 던져요.

데모에서 보이는 행동

페이지의 클립은 모두 사람과 Dessa의 실제 대화 녹음이고, 자막만 나중에 붙였대요.

• 재미있는 순간 말 중간에 바로 웃어요. 크게 말해 달라면 목소리를 키워요(가르친 적 없대요).
• 상대가 영화 제목을 떠올리지 못하자 문장을 대신 끝내요.
• 기념일 깜짝 소식에 숨죽여 "oh my god"이라고 하고 울컥한 듯 감사해요.
• ChatGPT Live(GPT-Live-1)와 대화하는 데모도 있어요. 해당 개발사는 Block과 무관하고 Dessa를 검토·보증하지 않았다고 밝혀요.

특징

• 음성 입력, 음성 출력의 진짜 speech-to-speech 모델이에요.
• 듣는 동시에 말하는 전이중이라 끼어들 때와 맞장구("yeah!", "got it!")를 칠 때를 알아요.
• 추론이 실시간보다 빠르고, MacBook Pro M4 Max 이상에서 로컬로 돌아가요.
• 감정, 빈정거림, 웃음, 한숨, 떨리는 목소리를 그대로 듣고 말해요.