단일 영상의 3D 추적, '궤적 수리'로 개선하다

핵심 요약

• 단일 카메라 영상에서 밀집된 3D 추적은 시간에 따른 점 대응, 깊이 추정, 폐색 중 궤적 추론이 필요한데 기존 방법들은 4D 감독 데이터 부족 속에서 이 모든 작업을 함께 학습해야 한다.
• 기존 2D 추적기와 3D 기하학 모델만으로도 폐색 부분을 단순 보간한 '들어올린 궤적'이 전용 3D 추적기 수준의 성능을 낸다.
• 하지만 이 방식은 대응과 깊이 오차를 상속받으며, 폐색 영역에서 깊이값이 가려진 물체에서 나오는 문제가 있다.
• ReLift는 기하학적 입력만 사용해 3D 궤적 수리·완성 문제로 재정의해 단일 모델로 여러 추적기와 기하학 모델의 결과를 개선한다.
• 궤적 교정기는 각 궤적을 따라, 궤적들 간에 교대로 주의를 집중하며 신뢰할 수 있는 관측을 보존하고, 손상된 위치를 수리하며, 누락된 움직임을 완성한다.
• 이미지 없이 기하학적 입력만으로 훈련해 특정 추적기나 기하학 모델과 독립적인 재사용 가능한 모델을 만든다.
• WorldTrack 벤치마크에서 전체 점 기준 2.1 APD, 동적 점 기준 3.0 APD 개선을 달성했으며, 빠른 설정도 최고 성능 3D 추적기와 경쟁력 있으면서 4RC보다 빠르다.