동영상에서 객체 관계 변화를 추적하는 RTAformer 논문 공개
원제 RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation
추천 19댓글 2
Key Point
동영상에서 객체의 관계가 변하는 순간을 정확히 포착하는 것이 어려운 이유와 이를 해결하기 위한 구체적 기술 혁신을 담고 있어서다.
핵심 요약
- 동영상 장면 그래프 생성(VidSGG)은 프레임 간 객체의 정체성 지속성과 관계의 급격한 변화를 동시에 포착해야 하는 과제를 다룬다.
- 기존 방식은 시간 맥락을 활용하기 위해 프레임 간 정보를 통합하지만, 일관성을 강조하다 보니 관계 변화를 놓치는 '관계적 의미 관성(relational semantic inertia)' 문제가 발생한다.
- 연구팀이 제안한 RTAformer는 개체 지속성과 관계 변화를 따로 모델링하는 원스테이지 프레임워크다.
- 인접 프레임의 관계 쿼리 차이를 주입해 술어(predicate) 업데이트를 유도하고, 학습 중 크로스프레임 인스턴스 정렬로 프레임 간 표현 편차를 줄인다.
- Action Genome 데이터셋에서 기존 방법 대비 재현율(recall)과 평균 재현율(mean recall) 개선을 보였으며, 모델 백본을 맞춘 비교에서 관계 전환 프레임에서 비전환 프레임보다 더 큰 성능 향상을 기록했다.