리퀴드 AI, 실시간 추론 엔진 ‘RIPL’ 출시...AI 응답 지연 50ms 미만 겨냥

AI타임스 기사(박찬 기자)를 정리했어요.

무엇을 내놨나

리퀴드 AI가 10월 22일(현지시간) 실시간 추론 엔진 RIPL(Real-time Inference Pipeline)을 출시했어요.

• 오픈소스가 아닌 기업용 상용 제품이고, 가격은 영업팀에 문의해야 해요.
• 자체 파운데이션 모델 LFM(Liquid Foundation Model)을 실시간 요청 경로에 직접 넣어, 요청부터 응답 완성까지 50ms 미만을 목표로 해요.
• 최대 트래픽이 계속 들어와도 낮은 지연을 유지하도록 만들었대요.

왜 필요한가

기존 AI 추론 인프라는 대규모 배치나 오래 도는 에이전트 작업에 맞춰져 있어요. 반면 검색 순위, 상품 추천, 사기 탐지, 결제 승인은 ms 단위 응답이 필요하고, 조금만 느려도 사용자 경험과 전자상거래 구매 전환율에 영향을 줘요. 그래서 기업들은 이런 업무에 그래디언트 부스팅 트리나 소형 임베딩 모델 같은 전통적 머신러닝을 주로 써 왔어요. RIPL은 이 방식과 생성 AI 사이의 속도·성능 절충을 줄이려는 거예요.

50ms가 가능한 이유

• 검색어 재작성, 의도 분류, 사기 탐지처럼 입력은 길어도 출력은 한 토큰이거나 아주 짧은 작업에 최적화했어요. 긴 답변을 쓰는 챗봇보다 빠른 판단이 필요한 경로가 대상이에요.
• 모델 알고리즘만이 아니라 요청 접수부터 응답까지 전체 인프라와 처리 경로를 최적화했어요.

자체 벤치마크(단일 NVIDIA B200)

| 비교 | p95 지연 | |---|---| | RIPL + LFM2.5-1.2B vs vLLM + Qwen3.5-0.8B | 14.4–28.4배 낮음 | | RIPL + LFM2.5-2.6B vs vLLM + Qwen3.5-2B | 5.6–7.7배 짧음 |

작업 부하는 입력 32·출력 32토큰, 입력 256·출력 128토큰 등이었어요. 리퀴드 AI 자체 측정이라 다른 환경에서도 같은지는 추가 검증이 필요해요.

실제 적용

• 쇼피파이가 응답 속도가 중요한 커머스 업무 전반에 LFM을 도입하고 있어요. 검색 개선 작업에서 실제 운영 트래픽 대상 20ms 미만 추론을 구현했고, 대체 모델보다 매개변수를 약 50% 줄이면서 추론 속도는 2–10배 높였대요.
• 제시된 적용 분야: 광고 검색어 재작성, 검색 의도 분류, 검색 결과 재순위화, 결제 위험 평가, 신용 심사, 이미지 대체 텍스트 생성. 업무별 입출력 길이와 허용 지연에 맞춰 모델을 골라요.

RIPL은 NVIDIA H100·H200·B200, RTX PRO 6000 기업 환경에서 쓸 수 있고, 지원 모델은 매개변수 2억 3천만–26억 개의 LFM2.5 계열이에요.