시각 기초 모델, 공간 인식 능력 충분한가

핵심 요약

• 시각 기초 모델이 카메라 시점의 연속 영상에서 보이지 않는 영역을 추적하고 장면을 이해하는 공간 표현을 제공하는지 검증하는 연구다.
• 연구팀은 10개 모델의 표현을 공간 구조·물체 지속성·예측적 공간 업데이트·행동 유도 등 4가지 수준의 능력으로 평가했다.
• 보이는 장면에서 높은 정확도를 보이는 모델도 물체 지속성(보이지 않는 물체 추적)과 미래 특성 인출(future-feature retrieval)에서는 성능이 떨어진다.
• 카메라 자세(pose) 인식은 물체 지속성과 행동 선택을 지원하며, 보이는 장면 인식은 특성 예측을 지원한다는 계층 구조를 발견했다.
• 네이티브 미래 예측 모델은 공간 구조를 유지했으나, 실제 특성으로 학습한 공간 판독기는 예측 특성으로 전이(transfer)되지 않는다.
• 목표에 맞춰 행동을 예측하더라도 정답 목표가 주어졌을 때 진행률이 안정적으로 개선되지 않아 연속적 행동 유도의 신뢰성이 낮다.
• 연구팀은 공간 표현을 평가할 때 복호화 가능성뿐 아니라 정보가 관측 범위 밖에서도 유지되고 예측적으로 업데이트되며 목표 지향 행동에 사용되는지 확인할 필요가 있다고 제시한다.