단순한 트랜스포머로 동영상 확산 모델 만들기
원제 JVT: Just Video Transformer makes pixel-space video diffusion simple
추천 15댓글 2
Key Point
단순한 아키텍처만으로도 고품질 동영상 생성이 가능함을 보여주는 효율적인 설계 원칙이 제시되며, 다중 모달리티 생성에 적용 가능한 새로운 접근법이다.
핵심 요약
- JVT(Just Video Transformer)는 사전학습된 오토인코더나 보조 모듈 없이 픽셀 공간에서 동영상 확산 생성을 수행하는 대규모 패치 기반 DiT 스타일 트랜스포머이다.
- 기존 픽셀 공간 방식들과 달리 U-Net 스킵 연결이나 캐스케이드 구조 없이 설계돼 구조적으로 단순하다.
- 논문은 비디오 패치 임베딩, 레지스터 토큰, 적응형 레이어 정규화 등의 설계 선택지를 체계적으로 검토해 생성 품질과 계산 효율의 균형을 맞췄다.
- JVT는 클래스 조건화 및 무조건 생성 모두에서 잠재 확산 기반 모델과 경쟁력 있는 생성 품질을 달성했다.
- 픽셀 공간 구조 덕분에 RGB와 깊이 맵을 동시에 생성하는 카메라 조건화 RGB-시차(RGB-disparity) 생성을 시연했다.
- 카메라 추종 성능이 RGB 단독 기반보다 개선되고, 추론 시 별도 재구성 모델 없이 명시적 장면 기하학 정보를 얻을 수 있다.
- 연구 결과는 픽셀 공간 동영상 확산에서 단순한 DiT 스타일 트랜스포머의 잠재력을 보여주며, 향후 연구에 실질적 가이드를 제시한다.