모바일 기기에서 3D 가우시안 스플래팅 실시간 렌더링 가능하게
원제 Mobile-4DGS: Unified Static-Dynamic Real-time Mobile Gaussian Splatting
추천 16댓글 2
Key Point
모바일 기기에서 고품질 3D/4D 렌더링이 가능해지면, 스마트폰 AR 애플리케이션과 엣지 컴퓨팅 기반 3D 콘텐츠 처리 방식이 크게 바뀔 수 있다.
핵심 요약
- Mobile-4DGS는 정적·동적 장면 모두에서 모바일 디바이스의 제한된 자원 내에서 실시간 3D 가우시안 렌더링을 실현하는 경량 프레임워크다.
- Monte Carlo Specular Energy Aggregator를 도입해 고차 복사 잔차를 1차 구면 조화함수(SH)로 압축하고, Attribute-Conditioned SH Enhancement 모듈로 미리 계산한 오프셋을 적용한다.
- Multi-View Alpha-Based Densification and Pruning 전략으로 다중 시점 일관성을 유지하면서 중복 프리미티브를 제거한다.
- 동적 장면을 위해 2차 가우시안 모션, 학습 가능한 시간 범위, 이진 정적-동적 분할을 구성해 런타임 변형 네트워크 없이 연속 시간 모델링을 가능하게 한다.
- Depth-Order Certificate는 이전에 저장된 깊이 순서를 재사용해 재투영, 정렬, 병합, 인덱스 버퍼 업데이트 중 불필요한 계산을 줄인다.
- 정적 및 동적 장면 실험에서 저장공간과 렌더링 오버헤드를 크게 감소시키면서도 경쟁력 있는 시각 품질을 유지한다.
- 코드가 공개되었다.