빠르게 움직이는 물체 복원, 가우시안 배치 방식 개선
원제 Dusting the Phantom: Gaussian Allocation for Fading Dynamic Content
추천 13댓글 2
Key Point
실시간 동적 장면 재구성에서 빠르게 움직이는 작은 물체의 소실 문제를 해결하는 새로운 가우시안 배치 방식을 제시하여, 3D 비디오 캡처 기술의 실용성을 높인다.
핵심 요약
- 동적 가우시안 표현은 고품질 실시간 볼루메트릭 비디오를 가능하게 했으나, 빠르게 움직이는 작은 물체가 소실되거나 동적 영역의 세부 텍스처가 손실되는 문제가 있다.
- 더 오래 학습하거나 가우시안을 늘려도 이런 작은 고속 물체를 복원하기 어려운 이유는 표현 용량이 아니라 가우시안 초기화 위치와 시기가 핵심 병목이다.
- 기존 배치 전략은 현재 가우시안 위치에만 의존하고 이동할 가우시안의 시공간적 목표 위치를 간과한다.
- Seed Injection은 시간적 외형 변화와 재구성 오류로 미흡한 동적 영역을 식별하고, 기존 가우시안 위치와 무관하게 다시점 관찰을 통해 기하학적으로 타당한 3D 위치에서 새 가우시안을 초기화한다.
- Temporal Biased Relocation은 시간 해석 최적화 신호를 사용하여 재배치된 가우시안의 시공간적 배치를 유도한다.
- 두 전략 모두 고정된 가우시안 예산을 유지하면서 기저 표현은 수정하지 않는다.
- 여러 동적 장면 데이터셋에서의 실험 결과, 특히 높은 동적 영역에서 재구성 품질이 향상되었으며 빠르게 움직이는 작은 물체와 미세한 외형 세부 사항 복원이 개선되었다.