StreamRender-H3 - 실시간 스트리밍 확산 렌더링으로 구현하는 코드 기반 인터랙티브 세계

NVIDIA Labs의 Sol-Engine 리서치 블로그 글 "Interactive Coding Worlds with Real-time Streaming Diffusion Render"예요. 핵심 문장은 "코드가 세계를 돌리고, 비디오 모델이 그것을 그린다"예요.

주요 수치

• 배포된 생성기는 청크당 디노이징 2스텝
• GB200 GPU 8장에서 스트리밍 스텝당 확산 렌더 218ms (799.7ms에서 단축)
• PyTorch 베이스라인 대비 3.67배 가속
• Fast Causal H3 VAE로 720p 잠재 프레임 2장을 GB200 한 장에서 23.8ms에 디코드
• 레이싱 데모는 1080p, 71초, 사운드 포함

왜 세계 로직과 시각 생성을 분리하나

인터랙티브 세계는 플레이어 행동이 상태를 어떻게 바꾸는지(맵, 물리, 규칙, 객체 상태)와 그 변화가 화면에 어떻게 보이는지(외형, 재질, 조명, 스타일)를 모두 정해야 해요. 세계 로직엔 명시적이고 제어 가능한 상태가 필요해요. 도로 위치는 조회할 수 있어야 하고, 충돌은 실행 가능한 규칙을 따라야 하고, 같은 곳에 돌아오면 같은 맵이 나와야 해요. 이런 건 코드가 직접 표현하고 유지하는 게 맞아요. StreamRender-H3는 이를 Code Game Engine과 Streaming Diffusion Render로 나누고, 중간 상태 표현으로 둘을 잇기 때문에 최종 렌더링에 전통적 3D 파이프라인이 필요 없어요.

이 방향은 NVIDIA DLSS 5가 먼저 열었어요. DLSS 5는 렌더된 프레임의 색과 모션 벡터를 받아 실사 조명·재질을 더하는 실시간 신경 렌더링이에요. StreamRender-H3는 한 걸음 더 나가서 엔진이 시맨틱 맵만 넘기고, 모델이 매 프레임의 외형 전체를 생성해요. 레퍼런스 이미지와 프롬프트만 바꾸면 같은 주행을 해 질 녘이나 눈 덮인 풍경으로 완전히 바꿀 수 있어요.

2.1 코드 게임 엔진

데모는 three.js로 만든 브라우저 레이싱 게임이지만 설계 자체는 레이싱 전용이 아니에요. 엔진은 세 가지를 관리해요.

• 맵: 장면의 지오메트리·배치와 객체 클래스. 코드에 있으니 언제든 조회되고, 같은 장소는 정확히 같은 장면이에요.
• 물리와 규칙: 고정 타임스텝으로 진행돼 같은 입력이면 같은 궤적이 나와 디버깅·재생이 쉬워요. 스크립트 에이전트가 스스로 플레이할 수 있어 사람 없이 재현 가능한 세션을 녹화하고, 학습 데이터의 모든 차는 AI 드라이버가 몰았어요.
• 상호작용 피드백: 매 스텝 입력을 읽고 세계를 진행하고 모든 객체와 카메라 위치를 보고한 뒤 현재 상태를 그려요. 이 그림은 예쁠 필요 없이 구조만 정확하면 돼요.

2.2 중간 상태 표현: 시맨틱 맵

표현은 세계 로직이 정한 모든 것(위치, 형태, 움직임, 카메라)을 담되 외형은 하나도 담지 않아야 해요. 깊이 맵, 엣지 맵, 저품질 렌더도 어느 정도 가능하지만, 지금은 픽셀마다 클래스를 나타내는 단색을 칠한 시맨틱 맵을 써요. 외형이 없으니 같은 세션을 다른 스타일로 렌더할 수 있고, 클래스별 단색으로 그릴 수 있는 엔진이면 무엇이든 렌더러를 구동할 수 있어 다른 게임에도 열려 있어요. 레이싱 데모는 도로, 도로 가장자리, 지형, 잔디, 식생, 바위, 방호벽, 건물, 관람석, 광고판, 하늘, 플레이어 차, 경쟁 차의 13개 클래스를 써요. 비디오 모델은 프롬프트·레퍼런스 이미지·레퍼런스 영상으로 영상과 오디오를 만드는 MiniMax-H3 Ref2VA 기반이며, 시맨틱 스트림이 레퍼런스 영상으로 들어가 잠재 프레임 단위로 출력과 정렬돼요.

2.3 실시간 상호작용 루프

오프라인 생성과 달리 플레이어가 아직 주지 않은 입력에 따라 내용이 달라지고, 반응할 수 있을 만큼 빨리 화면에 떠야 해요. 세션 시작 때 한 번 엔진이 첫 프레임을 그리고, 이미지 생성 모델이 이를 실사 레퍼런스 이미지로 바꾼 뒤 프롬프트와 함께 인코딩해 세션 내내 유지해요. 이후 루프는 ① 키보드·컨트롤러 입력 ② 다음 물리 스텝에서 세계 진행 ③ 영상 프레임마다 시맨틱 프레임 스트리밍 ④ 1초 미만 분량의 청크를 세션 외형과 최근 출력을 조건으로 2스텝 생성 후 RGB 디코드 ⑤ 표시·반응 순으로 돌아요. 각 청크가 이전 청크 재생이 끝나기 전에 준비되면 실시간이에요. 엔진과 렌더러는 시맨틱 스트림과 외형 조건만 공유하므로 어느 쪽이든 따로 교체할 수 있어요.

쇼케이스

같은 모델로 렌더한 20개 장면을 1분씩 보여 주는데, 엔진은 시맨틱 스트림만 주고 모든 픽셀은 스트리밍 렌더에서 나와요. 렌더러는 실행 중 엔진의 일반 렌더를 보지 않는데도 도로의 모든 커브와 추적 카메라 움직임을 따라가요.

원문 후반의 학습·가속 기법 세부(3장 이후)는 이 번역에서 다루지 않았어요.