3D 씬 복원 속도·메모리 획기적으로 개선한 RLSplat
원제 RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting
추천 23댓글 2
Key Point
모바일이나 엣지 디바이스 같은 자원 제약 환경에서 3D 씬 복원의 실용성을 획기적으로 높이는 기술로, 기존 방식의 비효율성(고정적 오버헤드)을 근본적으로 해결했다.
핵심 요약
- Feed-forward 3D Gaussian Splatting(FF3DGS)은 이미지로부터 3D 씬을 한 번의 forward pass로 복원하는 기술로, 제한된 자원 하에서 동작해야 하는 애플리케이션에 적합하다.
- 기존 예산 제어 FF3DGS 방식들은 추론 단계의 비용을 고려하지 않았는데, 목표한 개수의 가우시안 표현을 만들기 위해 먼저 밀집한 가우시안을 예측한 후 제거하거나 선택하기 때문에 예산과 무관하게 거의 일정한 지연 시간과 피크 메모리를 소비한다.
- 새로운 RLSplat 방식은 자원 선형 예산 제어 FF3DGS 프레임워크로, 가우시안 예산이 감소함에 따라 표현 크기, 추론 지연 시간, 피크 메모리가 모두 선형적으로 감소한다.
- RLSplat은 제거나 선택 대신 장면의 로컬 영역에 예산을 배치하는 가우시안 할당 정책을 학습해 정확히 요청된 개수의 가우시안만 생성한다.
- 생성된 가우시안은 자원 선형 가우시안 디코딩을 거치는데, 각 가우시안이 효율적인 계층 구조 이웃 탐색을 통해 찾은 인근 가우시안에만 주목하므로 가우시안 수가 줄어듦에 따라 디코딩 비용도 선형적으로 감소한다.
- 제로샷 평가에서 RLSplat은 모든 예산 수준에서 기존 예산 제어 방식들을 능가하며, 가장 강력한 기준선보다 가우시안을 4배 적게 사용하면서도 더 나은 성능을 달성한다.
- 낮은 예산에서 기존 방식 대비 최대 4.1배 빠른 속도와 9.6배 감소된 피크 메모리를 기록한다.