Show GN: 생성형 LLM 없이 만든 실시간 음성 예약 봇 데모 - jev 활용기

Medium 글(18분 분량)의 앞부분(문제 정의와 기존 방식의 한계)을 읽고 정리했어요. jev를 쓴 새 구조 설명은 다 읽지 못했어요. 원문은 한국어예요.

왜 음성 봇은 다른가요

글쓴이 팀은 AI와 사람 사이 실시간 음성 통신 기술을 개발하면서, 일상 잡담이 아니라 AI 콜센터나 예약 접수처럼 실제 업무를 하는 음성 에이전트가 가능한지 검토해 왔어요. 텍스트 챗봇과 달리 음성 통화에서는 짧은 침묵에도 사용자가 장애를 의심하고, 잡음, 말실수, 갑작스러운 변심, 꼬인 구어체가 실시간으로 들어와요.

가장 큰 문제는 LLM 응답 시간이래요. 침묵을 메우려고 "잠시만요…" 같은 필러를 넣으면 반복될수록 피로와 짜증을 부른다고 해요. 그래서 무거운 프론티어 모델은 못 쓰고 가장 빠른 모델을 써야 하는데, 이건 단순 최적화가 아니라 아키텍처 수준의 제약이라는 거예요.

데모 조건

식당 예약 시나리오를 기준으로 했어요. 원하는 시간대에 예약하고, 간단한 문의에 답하고, 한 번에 다 말하든 원하는 순서로 채우든 예약 확정까지 갈 수 있어야 해요. 잔여 좌석 같은 정보를 대충 꾸며 아무 시간이나 예약되는 엉터리 데모는 만들지 않는다는 원칙도 세웠어요. 전체 구조는 STT → 비즈니스 서비스 → TTS 파이프라인이고, 글은 가운데 "비즈니스 서비스" 부분을 다뤄요.

단일 LLM 에이전트의 한계

큰 프롬프트에 규칙과 도구 호출을 몰아넣고 LLM 하나가 상태 판단과 응답을 다 맡는 방식은 업무를 끝까지 해내는 일관성이 부족했대요. 대화가 길어지면 엉뚱한 주제로 빠지고, 날짜·시간·인원 같은 필수 정보를 채우는 통제력을 잃었어요. "친절하고 전문적인 예약 담당자" 같은 페르소나는 오히려 쓸데없는 수다와 없는 정책을 지어내는 환각의 빌미가 됐다고 해요. 턴마다 시스템 프롬프트를 바꿔 끼우는 등 여러 프롬프트 기법도 써 봤다고 밝혀요.