단안 카메라 영상에서 인물 추적 시 발생하는 스케일 미스매치 문제 해결

핵심 요약

• 단안 카메라에서 3D 인물 복원 기술들이 현재 벤치마크에서는 잘 작동하지만, 빠른 카메라 움직임을 포함한 데이터에는 문제가 있었다.
• 연구팀이 K-Pop 스트레스 테스트를 도입했는데, 이는 빠르고 큰 카메라 움직임과 복잡한 다중 인물 안무를 결합한 방송 댄스 영상들이다.
• 기존 최고 성능 방법들은 이 영상에서 프레임별로는 그럴듯한 메시를 생성하지만, 월드 좌표계 상의 인물 궤적은 실제 무대 위치에서 크게 벗어난다.
• 체계적 진단을 통해 카메라 추정과 인물 추정이 각각 독립적으로 일관성 있게 작동하지만, 두 가지를 결합할 때 스케일 불일치로 인해 드리프트가 발생함을 발견했다.
• 각각이 자신의 스케일로 복원되므로, 두 스케일 간 불일치가 카메라 움직임을 인물 드리프트로 변환하고 카메라 이동량이 클수록 심각해진다.
• 연구팀이 이 불일치를 추정하고 모든 인물에 단일 스케일을 적용하는 폐형 보정식을 유도했으며, 드리프트를 제거하면서 인물들의 상대 위치를 공유 월드 프레임에서 유지한다.
• 보정은 재학습이 필요 없고 기존 백엔드와 호환되며, 물리 제약과 결합하면 안무 모델링, 장면 편집, 데이터 생성, 가상 재촬영을 위한 안정적인 월드 좌표계 복원을 제공한다.