반복 최적화하는 3D 구조 재구성 모델 'Solv3R' 공개
원제 Solv3R: 3D Looped Transformer as a Multi-view Solver
추천 16댓글 3
Key Point
카메라 포즈 추정과 3D 기하 재구성을 점진적으로 개선하는 방식을 학습 가능한 솔버로 통합해, 새로운 이미지 추가나 기존 결과 정제가 자유로워졌다.
핵심 요약
- 기존 3D 재구성 모델은 단일 순회로 전체 기하 정보를 예측하거나 프레임을 순차적으로 처리하는 방식으로 작동하지만, 새로운 뷰를 추가하거나 기존 추정값을 정제하기 어려웠다.
- Solv3R은 반복 루프 구조로 현재 상태에서부터 계속 3D 기하를 풀어나가는 루프 변환기(looped transformer)이며, 이미 정제된 뷰와 새로 추가된 뷰를 함께 업데이트할 수 있다.
- 업데이트 연산자가 반복 횟수와 독립적으로 작동하므로, 각 뷰가 얼마나 정확한지와 관계없이 동일하게 처리된다.
- 정확한 재구성을 반복해도 유지하도록 학습했으며, 부정확한 상태를 교정하는 능력으로 고정된 이미지 컬렉션의 정제와 새로운 관찰 데이터 통합이 가능하다.
- 이미 풀린 뷰의 표현을 캐시에 저장했다가 반복 전체에서 기하 맥락으로 재사용하므로 효율적인 키-값 �싱을 지원한다.
- 단일 학습된 솔버로 오프라인 재구성, 증분 재구성, 재배치, 스트리밍을 과제별 훈련 없이 모두 수행할 수 있으며, 코드와 모델은 공개될 예정이다.