긴 동영상의 물체 추적 난제 해결한 LVMT 논문 발표
원제 LVMT: Video Mask Transformer for Long-term Video Segmentation
추천 17댓글 1
Key Point
긴 동영상에서 물체 추적의 근본적인 한계를 해결한 새로운 구조와 학습 방법으로, 실제 응용에서 정확도와 속도의 트레이드오프를 동시에 개선했다.
핵심 요약
- 기존 온라인 비디오 세분화 방법들은 장시간 폐색이 있는 복잡한 동영상에서 물체 추적을 제대로 못하고 있다.
- 이 문제는 시간에 따라 어떤 물체 정보를 전파할지 선택하지 못하는 시간적 전파 메커니즘과 메모리·그래디언트 소실로 인해 긴 동영상 학습이 불가능한 탓이다.
- 연구팀은 경량 GRU 기반 시간적 전파 모듈을 제안해 메모리에 유지할 정보를 학습으로 선택할 수 있게 했다.
- 또한 TQP(Truncated Query Propagation)라는 학습 전략을 도입해 동영상을 청크 단위로 처리하면서 청크 간에는 추적 정보를 전파하되 역전파는 개별 청크 내에서만 수행해 메모리 초과나 그래디언트 소실 없이 긴 시간 감독을 가능하게 했다.
- 이를 바탕으로 만든 LVMT(Long-term Video Mask Transformer)는 6개 벤치마크에서 새로운 최고 성능을 달성하면서도 기존 모델의 속도를 유지해 기존 최고 성능 모델보다 10배 빠르다.