3D 궤적으로 멀티뷰 영상 예측하는 VPM 모델 공개
원제 Learning the 4D World through Point Trajectory Forecasting
추천 48댓글 2
Key Point
멀티뷰 영상에서 3D 구조 이해와 동작 제어를 동시에 달성하는 새로운 접근법으로, 로봇 비전과 4D 생성 분야에 실질적인 개선을 가져온다.
핵심 요약
- Hugging Face와 arXiv 연구팀이 Video-Point Model(VPM)을 발표했다. 이는 다중 카메라 영상 히스토리와 언어 명령을 받아 미래 영상을 임의의 시점에서 생성하면서 동시에 3D 점의 궤적을 예측하는 월드 모델이다.
- 사전학습된 월드 모델을 확장해 카메라 조건부 멀티뷰 처리를 통해 여러 카메라의 보충적 정보를 통합하고, 물리적 점의 시간에 따른 움직임을 예측하는 궤적 헤드를 추가했다.
- 각 궤적은 모든 뷰에서 단일 점을 추적하며, 이를 영상 생성과 함께 감독함으로써 모든 카메라에서의 외관 변화를 3D 움직임의 공유된 설명으로 정렬한다.
- 학습과 평가를 위해 동기화된 멀티뷰 영상과 지속적인 점 궤적을 쌍으로 제공하는 VPM-Data 시뮬레이션 데이터셋과, 시뮬레이션 및 실제 환경을 아우르는 VP-WorldBench 벤치마크를 구축했다.
- VPM을 로봇 제어로 확장하기 위해 로봇 동작을 생성기의 토큰 모달리티로 추가했으며, 동작 토큰은 점 감독 백본을 공유하고 미래 영상과 함께 노이징 제거된다.
- VP-WorldBench와 기존 4D 생성 벤치마크에서 점 감독은 영상 충실도와 3D 움직임 정확도를 영상 전용 모델 대비 향상시켰으며, 시뮬레이션 및 실제 로봇 실험에서도 동작 가능 모델의 조작 성공률을 높였다.