3D 일관성을 유지하는 이미지 생성 위한 기하학 기반 잠재공간
원제 GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
추천 34댓글 2
Key Point
생성 모델의 3D 일관성은 학습 방식의 문제가 아니라 잠재공간 자체의 문제라는 새로운 관점을 제시하며, 기하학 정보를 직접 인코딩한 표현 개선으로 생성 품질을 크게 높였다.
핵심 요약
- 기존 생성 모델은 외형만 사실적으로 만들고 3D 구조는 유지하지 못하는데, 이는 표현 문제라고 지적한다.
- 기하학 토대 모델의 특징을 재구성한 GAE(기하학-기반 오토인코더)를 제안하며, 이 모델의 잠재공간은 외형·깊이·카메라·포인트맵 모두를 복호화할 수 있다.
- 동일한 생성기와 학습 방식에서 기존 잠재공간을 GAE로 교체했을 때 시각 품질 지표인 FVD가 12.7~23.1% 개선되고 카메라 궤적 오차는 절반으로 감소했다.
- GAE 잠재공간이 인식 모델과 생성 모델 사이의 공유 인터페이스로 작용할 수 있음을 보여준다.