의사결정 모델도 멀티모달로 진화… vLLM·클라우드플레어 모델 공개

AI타임스 기사(박찬 기자)를 옮겼어요.

디시전 3.0

멀티모달 에이전트 도입이 빨라지면서, 텍스트와 구조화 데이터만 다루던 '의사결정' 모델이 이미지·오디오·비디오를 직접 이해하는 쪽으로 진화하고 있어요. vLLM 시맨틱 라우터 개발팀은 11일(현지시간) 텍스트, JSON, 이미지를 직접 분석하는 '디시전 3.0(Decision 3.0)' 제품군을 오픈소스로 공개했어요.

• 5가지 크기: d3-라이트, d3-나노, d3-미니, d3-플래시, d3(0.8B~27B). 모두 허깅페이스에 아파치 2.0으로 공개됐어요.
• 의사결정 모델은 긴 답 대신 정해진 선택지별 확률을 돌려줘요. 예·아니요, 객관식, 점수 항목을 주면 확률값이 나오고, 개발자는 이를 조건문이나 라우팅 규칙에 바로 연결해요.
• 예전엔 UI 화면, 인포그래픽, 스캔 문서를 보려면 별도 비전 모델로 텍스트를 뽑아야 했지만, 모든 모델에 비전 인코더를 내장했어요. PNG·JPEG·WebP를 최대 160만 픽셀까지, 한 요청에 여러 장 처리해요.
• 질문마다 별도 순방향 연산을 해서 질문이 많으면 연산이 늘어요. 그래도 자연어를 생성하고 다시 파싱하는 것보단 파이프라인이 단순해 지연과 비용을 줄일 수 있대요.
• 알리바바 큐원 계열을 미세조정했어요. 최대 d3는 약 260억 매개변수, 나머지는 약 8억~84억이에요.
• 자체 평가에서 d3는 텍스트 64.1, 비전 71.6점으로 퍼플렉시티 '디사이더 v1.1'보다 높았고, 약 90억 매개변수 d3-플래시가 이전 세대 270억급을 텍스트 평가에서 앞섰대요.
• 요청 분류, 모델 선택, 이미지 기반 UI 분석, 콘텐츠 안전성 검증 등에 쓸 수 있어요.

클라우드플레어 클레프-옴니

클라우드플레어도 9일 텍스트·이미지·오디오·비디오를 한 번에 처리하는 '클레프-옴니(Clef-omni)'를 공개했어요.

• 총 300억 매개변수 중 30억을 쓰는 MoE 구조, 오픈 가중치.
• 텍스트 추출, 전사, 자막 생성 없이 여러 형태 데이터를 바로 분석해 확률을 반환해요. 워커스 AI에선 요청당 이미지 4개, 오디오 4개, 동영상 2개, 질문 64개까지 돼요.
• 중앙값 처리 시간은 텍스트 약 130ms, 이미지 약 150ms, 음성 포함 21초 영상은 약 1.5초.
• 의도 분류에서 BANKING77 94.8, CLINC150+OOS 97.7(매크로 F1).
• 다만 복잡한 추론·워크플로 평가에선 기존 클레프보다 낮았고, GPQA 다이아몬드 47.4점으로 제브(78.3)에 못 미쳤어요. 다양한 입력을 처리하는 능력과 복잡한 추론 성능이 꼭 비례하진 않는다는 뜻이에요.