비디오 모델 활용해 다양한 이미지 생성 통합
원제 FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation
추천 58댓글 2
Key Point
비디오 모델의 시간축 변환 능력을 조건부 이미지 생성에 적용한 새로운 접근법으로, 단일 모델이 여러 생성 작업을 통합 처리할 수 있게 하는 기술이다.
핵심 요약
- 통합 조건부 이미지 생성은 시각 입력의 여러 측면을 보존하면서 텍스트 지침을 따르는 이미지를 생성해야 하는 과제다.
- 기존 방식은 조건과 목표를 고정된 시간 위치에 배치하지만, 생성 작업마다 조건-목표 관계가 크게 달라진다.
- 비디오 모델은 시간에 따른 시각 변환을 자연스럽게 인코딩하기 때문에, 입력에 맞는 가상 시간 관계로 조건부 생성을 모델링할 수 있다.
- FrameForge는 두 가지 방식으로 이 관계를 포착한다: Mixture of Temporal Experts(MoTE)는 서로 다른 가상 간격의 temporal RoPE 전문가를 동적으로 선택해 목표가 조건에서 얼마나 떨어져 있는지 모델링한다.
- Chain of Temporal Reasoning(CoTR)은 추론-병목 주의 마스크를 사용해 조건이 중간 상태를 거쳐 목표로 변환되는 과정을 모델링하며, 이 경로를 통한 정보 전파를 촉진한다.
- DreamBench, COCO2017, GEdit-Bench 실험에서 FrameForge는 주제 중심 생성, 엣지-투-이미지 생성, 이미지 편집에서 비교 대상 모델들을 능가했다.