동영상의 마지막 장면을 지정해서 만드는 영상생성 AI
원제 LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation
추천 10댓글 3
Key Point
텍스트와 카메라 제어만으로는 불가능했던 '마지막 장면 모습 지정'이라는 실용적 수요를 해결한 새로운 방식으로, 동영상 생성의 사용자 제어 범위를 크게 확장한다.
핵심 요약
- 이미지에서 동영상을 생성할 때 카메라 움직임뿐 아니라 미래 장면의 배치(Layout)를 제어할 수 있는 LIFT 프레임워크를 제시했다.
- 기존 카메라 제어는 시점 궤적만 지정하고 텍스트 프롬프트는 개략적인 의미만 제공해서, 미래 프레임의 구체적인 내용과 공간 배치를 결정할 수 없다는 한계가 있다.
- 특히 카메라가 초기 이미지에서 보이지 않는 영역을 드러내는 대규모 시점 변화 상황에서는 이 문제가 심각해진다.
- LIFT는 마지막 프레임의 레이아웃을 명시적 제어 신호로 사용하는 방식으로 사용자가 원하는 미래 장면을 지정할 수 있게 한다.
- 매우 드문 마지막 프레임 레이아웃 안내로부터 학습하는 것이 어렵기 때문에, 프레임마다 밀도 있는 레이아웃 정보로 학습한 선생님 모델에서 학생 모델로 지식을 이전하는 온-폴리시 자기 증류(OPSD) 기법을 도입했다.
- 대규모 시점 변화와 카메라 및 시간 일관성 있는 레이아웃 주석을 포함한 LIFT-Vista 데이터셋을 별도로 구성했다.
- 실험 결과 LIFT는 동영상 품질, 미래 레이아웃 제어성, 카메라 제어성 모두에서 다른 방법들을 능가한다.