큰 각도 카메라 움직임 속에서 캐릭터 영상 생성하기

핵심 요약

• 기존 캐릭터 비디오 생성 방식은 회전·평동·거리 변화가 함께 일어나는 대각도 카메라 궤적을 따라가기 어려우며, 초기 프레임에 보이지 않던 캐릭터 영역이 드러나면서 기하학적 왜곡과 외형 저하, 아이덴티티 손실 문제를 겪는다.
• 이를 체계적으로 연구하기 위해 CLACT라는 대규모 캐릭터 중심 데이터셋과 벤치마크를 개발했으며, 정확한 카메라 기하학과 다중 관점 캐릭터 관측치를 포함했다.
• WorldCast 프레임워크는 초기 프레임을 추정된 깊이로 3D 포인트 클라우드로 역투영한 뒤, 포인트 클라우드 스케일을 목표 카메라 궤적에 정렬하고 궤적을 따라 렌더링해 명시적 기하학적 가이드와 커버리지 마스크를 얻는다.
• 불완전한 캐릭터 정보를 보완하기 위해 기하학 정렬 메모리 주의(GAMA)를 제안했으며, 초기 프레임과 다중 관점 캐릭터 앵커로부터 추정한 상대 카메라 포즈를 이용해 앵커와 목표 관점의 기하학을 공통 좌표계로 표현한다.
• GAMA는 이러한 기하학적 정렬을 이용해 생성 중에 관점별 캐릭터 특성을 검색하고 주입할 때 이를 가이드하며, 다양한 대각도 카메라 궤적에서 평가 결과 정확한 궤적 추종과 함께 캐릭터의 기하학, 외형, 아이덴티티를 보존했다.