드물게 찍은 사진에서 3D 장면 재구성하되, 계산은 가볍게
원제 CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction
추천 28댓글 2
Key Point
기존의 균등한 가우시안 할당 방식의 비효율을 개선하면서 적응형 분배로 메모리는 줄이고 화질은 높인 새로운 접근이 무엇을 달리하는지 보여준다.
핵심 요약
- Sparse view에서 3D 장면을 한 번의 순전파(feedforward)로 복원하되, 기하학과 텍스처를 정확히 살리는 것이 기존 과제였다.
- 3DGS(3D Gaussian Splatting)를 쓴 최근 방법들은 각 픽셀마다 1개 이상의 가우시안을 할당하는데, 단순한 영역에서는 프리미티브를 낭비하고 평면 구조의 기하학적 사전정보를 활용하지 못한다.
- CompactSplat은 텍스처 기반 공간 분할과 계층적 샘플링을 결합해 콘텐츠에 맞춘 가우시안 할당을 수행한다.
- 복잡한 영역에는 조밀한 가우시안을 집중하고, 평탄한 영역에는 확대되고 스케일 조정된 프리미티브로 타일링한다.
- 추론 시점에 동적 희소성 제어를 지원해, 네트워크를 재학습하지 않고도 렌더링 품질과 메모리 간 조절이 가능하다.
- RealEstate10K, DL3DV, ScanNet 데이터셋에서 기존 방법을 능가하며, 프리미티브를 훨씬 적게 써도 고충실도 재구성과 고해상도 렌더링 일관성을 달성한다.