3D 기하정보로 다각도 영상 생성, OmniShowcase 공개

핵심 요약

• 참조 이미지 몇 장에서 특정 피사체의 영상을 생성할 때, 카메라가 입력 이미지에 없는 각도로 이동하면 보이지 않는 표면을 추론해야 하는 문제를 다룬다.
• 기존 단일 이미지 기반 방식을 개선하기 위해 최근 방법들은 다중 시점 참조 이미지를 사용하지만, 이들을 연결하는 3D 구조를 명시적으로 정의하지 않으며 학습 데이터가 시점 변화에서 동일한 3D 피사체를 보장하지 못한다.
• OmniShowcase는 자동화된 데이터 합성 파이프라인과 기하 조건화 방식 두 가지로 구성된다.
• 데이터 파이프라인은 피사체 기하정보 기반의 다양한 카메라 궤적을 따라 학습 영상을 생성하며, 360도 전체 회전까지 포함한다.
• 기하 조건화 방식은 참조 이미지에서 복원한 표면 법선 맵의 회전판을 영상 모델에 제공하며, 생성 프레임과의 시간 정렬이 필요 없다.
• Showcase-4K는 3D 에셋 기반 영상 모음으로 12가지 카메라 동작, 88개 궤적 설정을 포함하며 표면 법선 조건화를 적용했다.
• ShowcaseBench는 각 영상의 원본 메시와 카메라 매개변수를 포함하는 평가 세트다.
• 실험 결과 피사체 정체성과 3D 일관성에서 최고 수준의 성능을 보이면서 경쟁력 있는 영상 품질과 동작을 유지한다.