이미지만으로 3D 장면 만드는 기술, 대각도 뷰 렌더링 성능 25% 향상
원제 InfiniSplat v2: Analyzing and Improving Feed-Forward 3DGS from Any Views
추천 119댓글 2
Key Point
대각도 뷰 변화에서 3D 렌더링 품질을 비약적으로 개선한 방법론의 구체적 성과와 기술적 혁신이 담겨 있어, 3D 비전 분야의 실무자와 연구자에게 직접 활용 가능한 정보를 제공한다.
핵심 요약
- 입력 이미지만으로 3D 장면을 직접 구축하는 피드포워드 가우시안 재구성 기술에서 큰 시점 변화 하에서 높은 품질의 렌더링을 위해 가우시안 속성을 학습하기 어려운 문제를 지적했다.
- InfiniSplat v2는 기하학과 속성 예측을 분리하되 기하학 브랜치는 고정하고, 훈련 시 예측된 가우시안을 실제 카메라 포즈로 정렬하며, 대각도 타겟 뷰 감독을 도입해 이 한계를 개선했다.
- 6개 데이터셋에서 평가한 결과, 카메라 포즈가 주어진 설정과 포즈 프리 설정 모두에서 평균 LPIPS와 DISTS 지표가 최첨단 성능을 달성했다.
- 포즈 조건부 설정에서 강력한 기준 방법들 대비 평균 LPIPS는 25.8%, DISTS는 32.9% 향상되었다.
- 이미지 재구성 감독만으로 학습한 불투명도가 기하학적으로 일관성 없는 점들을 억제하는 효과를 발견했다.