3D 일관성을 유지하는 이미지 생성 위한 기하학 기반 잠재공간
Key Point
생성 모델의 3D 일관성은 학습 방식의 문제가 아니라 잠재공간 자체의 문제라는 새로운 관점을 제시하며, 기하학 정보를 직접 인코딩한 표현 개선으로 생성 품질을 크게 높였다.
핵심 요약
- 기존 생성 모델은 외형만 사실적으로 만들고 3D 구조는 유지하지 못하는데, 이는 표현 문제라고 지적한다.
- 기하학 토대 모델의 특징을 재구성한 GAE(기하학-기반 오토인코더)를 제안하며, 이 모델의 잠재공간은 외형·깊이·카메라·포인트맵 모두를 복호화할 수 있다.
- 동일한 생성기와 학습 방식에서 기존 잠재공간을 GAE로 교체했을 때 시각 품질 지표인 FVD가 12.7~23.1% 개선되고 카메라 궤적 오차는 절반으로 감소했다.
- GAE 잠재공간이 인식 모델과 생성 모델 사이의 공유 인터페이스로 작용할 수 있음을 보여준다.