1인칭 영상에서 손·물체·공간을 동시에 복원하는 모델 공개
원제 EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience
추천 161댓글 2
Key Point
손과 물체, 카메라와 장면을 동시에 일관성 있게 복원하는 것은 1인칭 AR, 로봇 조작, 활동 인식 등 여러 분야의 핵심 과제인데, 이 논문이 기존보다 훨씬 큰 규모의 정렬된 데이터셋과 상당히 개선된 모델을 공개했기 때문이다.
핵심 요약
- 1인칭 시점 영상에서 카메라 움직임, 주변 기하학, 손-물체 상호작용을 일관성 있게 복원하려면 개별 3D 요소들이 함께 정렬되어야 하는데, 기존 방법과 데이터셋은 이를 충분히 지원하지 못하고 있다.
- EgoXperience는 데이터 수집, 자동 주석, 통합 모델링, 벤치마킹을 통해 이 문제를 해결하는 전체 스택 패러다임을 제시한다.
- 핵심 도구인 EgoX-Engine은 기하학적으로 검증된 물체 추적과 SLAM 기반 월드 정렬을 결합하여 카메라, 장면, 손, 물체에 대한 일관성 있는 감독 신호를 생성한다.
- 50시간 분량의 실내외 환경에서의 조작 및 이동 활동을 담은 EgoX-Data-6M 데이터셋(600만 프레임, 초 단위 작업 캡션 포함)을 구축했고, 이 중 1시간을 EgoX-Bench로 선정해 평가에 사용한다.
- EgoX 모델은 단일 포워드 패스로 단안 1인칭 영상과 첫 번째 프레임 물체 마스크로부터 공유 월드 좌표계에서 카메라, 장면, 손, 물체의 결합 메트릭 복원을 수행한다.
- 기존 최고 성능 모델 대비 카메라 오차 68.9%, 손 오차 65.6%, 깊이 오차 42.9%를 감소시켰으며 물체 자세 점수를 28.0% 향상시켰다.