비디오 분할에 시각적 추론 체인 더하다
원제 Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation
추천 19댓글 2
Key Point
비디오 분할에서 텍스트 추론과 시각적 증거의 연결 고리를 명시적으로 만듦으로써 모델의 판단 근거를 추적 가능하게 한 새로운 접근 방식이다.
핵심 요약
- 비디오 리즈닝 분할(VRS)은 텍스트 설명만으로 대상을 찾아 픽셀 단위 마스크 궤적을 예측하면서 공간 관계와 시간적 이벤트를 파악해야 하는 과제다.
- 기존 텍스트 기반 사고 연쇄(CoT)는 선택 이유를 설명하지만 시각적 근거를 명시하지 않아, 언어 추론과 프레임에 분산된 증거 사이에 갭이 생긴다.
- 연구팀은 시공간 근거를 갖춘 Temporal Chain of Video Primitives(TCoVP)를 제안했다.
- TCoVP는 질의 관련 관찰을 시간순 추론 체인으로 정리하며, 각 기본 단위는 엔티티 참조를 시간적 근거와 타임스탬프된 공간 증거와 함께 묶는다.
- 체인은 엔티티 참조와 언어를 섞어 어떤 엔티티가 관련되었는지, 질의한 이벤트가 언제 일어났는지, 증거가 어디에 있는지 추론하도록 안내한다.
- 선택된 대상 기본 단위는 비디오 마스크 예측을 위해 박스 프롬프트와 시간적 근거를 제공한다.
- TCoVP-SFT-15k와 TCoVP-RL-13k 두 데이터셋을 구축했으며, 감독학습과 체인 정렬 강화학습으로 이 표현을 학습한다.
- 5개 VRS 벤치마크와 3가지 모델 백본에 걸친 광범위한 실험에서 TCoVP의 강력한 성능을 입증했다.
- 모든 모델과 코드는 공개될 예정이다.