단일 이미지도, 비디오도 한 번에—4D 장면 인식 AI 모델 π^4
Key Point
카메라 포즈, 기하학, 움직임 추적을 한 번에 복원하는 통합 모델은 로보틱스, AR, 3D 콘텐츠 제작 등 다양한 응용 분야에서 멀티모달 입력을 처리할 수 있는 새로운 기준을 제시한다.
핵심 요약
- π^4는 RGB 사진 하나, 정렬되지 않은 이미지 모음, 또는 비디오 시퀀스 등 다양한 입력으로 4D 장면을 인식하는 통합 파운데이션 모델이다.
- 기하학(geometry) 브랜치와 기하학 조건부 모션 브랜치로 구성되어, 카메라 포즈와 미터 스케일, 밀도 높은 기하학 정보를 복원한다.
- 다중 이미지 입력 시 2D/3D 포인트 트랙과 움직이는 물체 마스크도 함께 예측한다.