카메라 밖 물체까지 추적하는 세계 모델 개발
원제 World Observer: Joint Actor-Observer Generation for Persistent World Modeling
추천 66댓글 4
Key Point
카메라 시점을 벗어난 물체의 상태를 추적할 수 있게 되면 더 현실적인 세계 모델을 만들 수 있고, 로보틱스나 게임 엔진 등 동적 환경 시뮬레이션이 필요한 분야에 실질적 개선을 가져올 수 있다.
핵심 요약
- 기존 비디오 세계 모델은 행위자(에이전트) 중심 시점에만 집중해 화면을 벗어난 물체의 상태 변화를 놓치는 문제가 있다.
- World Observer는 에이전트 시점의 배우 생성기와 함께 선택된 장면 영역을 관찰하는 하나 이상의 파노라마 관찰자를 동시에 생성해 이를 해결한다.
- 화면을 벗어난 물체도 관찰자 관점에서 계속 시각적으로 진화하도록 유지되어 재진입 시 업데이트된 상태가 반영된다.
- 공유 파노라마 소스에서 워핑해 배우와 관찰자의 기하학적 대응을 명시적으로 나타내고, 재진입 시 세부 외형을 복원하기 위해 고해상도 관찰자 참조 저장소를 도입했다.
- 관찰자는 배우와 분리되어 장면 전역에 자유롭게 배치 가능하며, 여러 위치로 확장하거나 제어 신호로 화면 밖 진화를 조작할 수 있다.
- 화면 밖 진화를 평가하기 위해 실제와 합성 장면을 아우르는 세계 공간 메트릭과 벤치마크를 새로 제안했다.
- World Observer는 화면 밖 동역학을 크게 개선하면서도 시각 충실도, 카메라 제어, 3D 일관성에서 경쟁력을 유지한다.