최소한의 촬영으로 4K 급 입체 영상 생성하는 RealMe

핵심 요약

• 기존 다중 카메라 입체 영상 재구성은 고품질을 내지만 비싼 촬영 장비가 필수라는 문제가 있고, 최근 생성형 AI 방식은 해상도가 낮고 시간-공간 일관성이 떨어진다.
• 논문은 이를 해결하는 통합 프레임워크 RealMe를 제안하는데, 고해상도 비디오 확산 모델을 중심으로 제한된 촬영 데이터를 2K 해상도의 4D 일관성 있는 영상으로 향상시킨다.
• RealMe는 촬영 영상에서 보조 데이터를 만들어 잠재 벡터로 인코딩하고, 위치 임베딩을 함께 처리해서 비디오 확산 모델에 입력한다.
• 비디오 확산 모델은 다중 시점 촬영 배치에 맞춰 인수분해된 시공간 어텐션을 적용해 관점별·시간별로 노이즈를 제거하고 향상된 영상으로 디코딩한다.
• 모델은 시간 역학과 다중 시점 관계를 포착해서 4D 일관성 있는 생성을 이루고, 생성 영상과 실제 촬영의 간격을 줄이기 위해 잠재 공간의 주파수 영역 감독을 제공하는 주파수 손실을 적용한다.
• 공개 DNA-Rendering 벤치마크와 자체 촬영한 RealVV 데이터셋 실험에서 RealMe는 시각 품질과 4D 일관성 면에서 기존 최고 성능 방법들을 능가한다.