비디오 세계 모델에 실시간 편집 기능 추가한 EditWorld
원제 Precise Editing and Flexible Referencing for Interactable Worlds
추천 14댓글 1
Key Point
video world model이 탐색에서 한 단계 나아가 사용자가 생성된 세계를 직접 편집하고 조작할 수 있는 수준에 도달했으며, 실시간 스트리밍 방식의 편집 지원이 새로운 접근 방식을 제시한다.
핵심 요약
- EditWorld는 생성형 가상 세계에서 precise editing과 유연한 참조 이미지 활용을 지원하는 비디오 world model이다.
- 기존 video world model은 주로 탐색에만 초점을 맞췄으나, EditWorld는 생성 과정 중 편집 지시사항과 참조 이미지를 스트리밍 방식으로 받아 기존 콘텐츠의 정확한 수정을 가능하게 한다.
- 시간에 따라 변하는 편집 조건과 참조 이미지를 처리하기 위해 Gated Causal Attention 메커니즘을 도입했고, 장시간 추론 시 컨텍스트 크기를 제한하는 Sparse Context 메커니즘을 함께 적용했다.
- 자기회귀 및 양방향 학습에 annealed self-resampling을 결합했으며, world editing 감독을 위한 전용 데이터 합성 및 주석 처리 파이프라인을 구축했다.
- 세계 편집 능력을 평가하기 위해 WBench-Editing 벤치마크를 새로 제시했다.
- EditWorld는 WBench-Editing에서 전체 점수 73.8, 편집 점수 80.0을 기록하며 기존 방법들을 편집 관련 지표에서 상당히 앞돌렸다.