MS, 코드로 영상 속 물리법칙 정밀 제어하는 '코드 비디오 모델' 공개

AI타임스 기사(박찬 기자)를 옮겼어요.

개요

AI 영상 제작에선 원하는 장면과 움직임을 얼마나 정확히 구현하느냐가 핵심 과제예요. 마이크로소프트(MS)는 11일(현지시간) 실행 가능한 코드로 장면 구성, 객체 움직임, 카메라 경로를 정밀하게 제어하는 '코드 비디오 모델(Code Video Model)'을 공개했어요. 기존 모델이 물리적 움직임과 배치를 내부에서 처리하던 것과 달리, 코드로 장면을 설계하고 움직임을 계산해 생성 과정을 직접 제어해요.

작동 방식

1. 사용자가 장면을 설명하면 코딩 에이전트가 객체 위치·움직임·타이밍·카메라 경로를 코드로 써요.
2. 물리 방정식으로 객체 동작을 계산하고, 실행 결과로 프록시 비디오와 참조 이미지를 만들어요. 프록시 비디오는 구조와 움직임을 확인하는 '미리보기 영상'이고 1분 이내에 만들어져요.
3. 사전 학습된 R2V(Reference-to-Video) 모델이 프록시 비디오의 구조와 참조 이미지의 외관으로 세밀한 최종 영상을 생성해요.

기존 확산 모델은 사실적인 영상을 만들지만 배치·움직임·카메라 궤적이 내부에서 정해져 세부 조정이 어려웠어요. 이 모델은 구성 요소가 코드라서 특정 객체 움직임이나 카메라 경로를 고칠 수 있어요.

초기 단계 조건화

프록시 비디오를 그대로 반영하면 영상이 평면적이고 단순해질 수 있어요. 그래서 학습 없이 적용하는 '초기 단계 조건화(early-step conditioning)'를 넣었어요. 생성 초기 샘플링 단계에서만 프록시 비디오를 참고하고 이후엔 조건을 빼서, 초반엔 구조와 움직임을 유지하고 후반엔 참조 이미지의 외관과 화질을 살려요.

벤치마크

게임, 장면 편집, 물리 기반 움직임, 불릿 타임, 3D·4D 재구성을 포함한 '코드비디오벤치(CodeVideoBench)'도 내놨어요. R2V 모델 '미니맥스-H3'를 결합한 코드 비디오 모델은 평가자 큐원VL-3.8-27B, GPT-5.6, GPT-6 기준 85.2, 82.1, 85.8점을 받았어요. 기존 학습 기반 최고 모델 VACE는 각각 74.3, 73.1, 80.6점이었어요.

전망

연구진은 코드 기반 영상 생성이 물리적으로 일관된 움직임뿐 아니라 3D·4D 재구성, 로봇 시뮬레이션, 월드 모델 학습 데이터 생성으로 확장될 수 있다고 했어요. 가중치와 코드는 허깅페이스와 깃허브에 공개돼 있어요.