카메라 기하학 조건으로 다중 시점 이미지 합성 3배 가속
원제 NAMVIS: Next-Scale Autoregressive Multi-View Image Synthesis
추천 20댓글 2
Key Point
3D 콘텐츠 제작에 필수적인 다중 시점 생성을 기존 방식보다 3배 빠르고 더 정확하게 처리하는 기술이 등장했기 때문이다.
핵심 요약
- 소수의 2D 이미지로부터 3D 콘텐츠를 생성하는 '희소 시점 신규 시점 합성' 문제를 해결하는 NAMVIS 프레임워크를 제안했다.
- 기존 확산 모델의 반복적 잡음 제거 대신, 이산 시각 토큰을 단계별로 예측하고 모든 토큰을 병렬로 샘플링하는 자동회귀 방식을 사용한다.
- 멀티스케일 프로젝티브 포즈 인코딩이라는 기법으로 소스·타겟 카메라의 기하학적 변환 정보를 모든 해상도의 셀프-어텐션과 크로스-어텐션에 주입한다.
- 전역 조건 지정과 기하학 인식 크로스-어텐션을 결합하여 소스 이미지의 외형은 보존하면서 타겟 이미지의 일관성을 유지한다.
- Objaverse, GSO, OmniObject3D 데이터셋에서 확산 기반 방식보다 PSNR, SSIM, LPIPS 점수에서 우수하고 추론 속도는 3배 이상 빠르다.
- 희소 시점 다중 시점 합성에서 확산 모델 대신 기하학 조건 자동회귀가 효율적인 대안이 될 수 있음을 보여준다.