4단계만에 현실감 있는 영상 생성하는 구조 기반 렌더러
원제 SolarRenderer: Few-Step Generative Reference Rendering
추천 48댓글 2
Key Point
기존 50단계가 필요했던 구조 기반 렌더링을 4단계로 단축하면서도 미학습 표현 11개에 일반화되는 성과로, 게임 엔진 통합과 실시간 스트리밍 렌더링이 가능해진다.
핵심 요약
- 게임 엔진이나 코딩 에이전트가 장면의 레이아웃, 모션, 카메라를 지정하지만 이를 사실적인 영상으로 변환하려면 구조를 따르면서 외형을 채우는 렌더러가 필요하다.
- 기존 렌더러는 특정 엔진 표현에 종속되거나 수십 단계의 노이즈 제거가 필요하거나 별도의 비용 많이 드는 증류 과정이 필수다.
- SolarRenderer는 고정된 MiniMax-H3 33B 백본을 두 개의 가벼운 LoRA로 적응시킨 구조 조건 비디오 렌더러다.
- 구조 영상이 프레임이 설명하는 위치에서 네이티브 참조 경로로 진입하며, 타입 식별자 없이 평문으로만 설명되어 단일 제어 LoRA가 임의의 구조 표현을 따른다.
- 사전학습된 4단계 LoRA에서 시작해 구조 안내 분포 매칭으로 4단계에 렌더링하며, 이는 50단계 샘플링보다 12.3배 빠르면서 학습된 제어를 보존한다.
- 블록 인과 변형은 같은 설계를 스트리밍으로 확장하여 768p 영상을 실시간으로 렌더링한다.
- 모델 학습을 위해 게임 엔진, 시뮬레이터, YouTube 영상에서 136K개의 프레임 정렬 클립 코퍼스를 구축했다.
- 분포 내 테스트 세트와 16개 구조 표현의 일반화 벤치마크에서 최고 성능을 달성했으며, 포즈 골격, 드로잉, 포인트 클라우드를 포함한 11개의 미학습 표현으로도 일반화된다.