깊이 추정 없이 카메라 관점 변환 비디오 생성

핵심 요약

• 외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다.
• 기존 최첨단 방식은 깊이를 추정해 포인트 클라우드로 변환한 후 자아중심 카메라 관점에서 재렌더링하고, 이를 비디오 확산 모델의 조건으로 사용한다.
• 그러나 이 결정론적 매핑은 각 픽셀을 한 위치에만 할당하므로 깊이 오류가 콘텐츠 배치 오류로 전파되고, 텍스처는 보존되지만 정확도가 떨어진다.
• 연구팀은 깊이 추정과 포인트 클라우드를 거치지 않는 '리프팅 프리' 접근법을 제안했다.
• LVSM 스타일의 트랜스포머를 미세조정한 학습된 뷰 신서사이저가 자아중심 관점을 직접 렌더링하며, 내부적으로 교차 관점 대응을 해결한다.
• 이 확률론적 매핑은 각 영역을 학습된 대응 분포에 따라 여러 후보 위치에서 평균내므로, 구조는 보존되지만 세밀한 텍스처는 평균화되어 손실된다.
• 이러한 구조 정렬 우선의 조건은 확산 모델의 노이징 제거 훈련이 세부 정보 복원에 탁월하다는 점과 부합한다.
• 분포의 집중도를 이용해 각 영역의 신뢰도를 계산하고, 이를 저신뢰 영역을 마스킹하고 레이아웃 형성 단계에서 모델을 고신뢰 영역으로 유도하는 데 사용한다.
• 실험 결과 기존의 명시적 깊이 기반 파이프라인보다 일관되게 성능이 우수하며, 재훈련 없이 다른 데이터셋으로 일반화된다.