동영상 미래 사건 예측, 인과관계 추론으로 정확도 높인다
원제 VepAgent: Bridging Causal-Transition via Tool-Augmented Reinforcement Learning for Video Event Prediction
추천 54댓글 2
Key Point
동영상에서 아직 일어나지 않은 미래 사건을 예측하는 작업에서 단순 패턴 학습을 넘어 인과관계를 명시적으로 추론하는 새로운 접근이 핵심 기술로 제시되고 있습니다.
핵심 요약
- 비디오 이벤트 예측(VEP) 문제를 해결하기 위해 VepAgent라는 에이전트 프레임워크를 제안했습니다.
- 기존 멀티모달 대형언어모델(MLLM)은 과거에 의존한 요약에 머물러 관찰되지 않은 인과 관계를 연결하지 못한다는 문제를 지적합니다.
- VepAgent는 인과-전이 추론과 도구 기반 강화학습을 통합하여 마지막 관찰 상태에서 미래 사건까지의 논리적 진행을 명시적으로 모델링합니다.
- 먼저 FutureBench-4K라는 고품질 사고 체인 데이터셋을 구축하여 감독학습으로 미관찰 중간 상태의 인과 논리를 학습시킵니다.
- 상태 추적, 프레임 검색, 영역 확대를 포함한 진단 도구 라이브러리를 개발하여 에이전트가 추론 시 외부 도구로 시공간 증거를 복구하고 시각적 모호성을 해결합니다.
- 예측 정확도, 인과 일관성, 신뢰할 수 있는 사전을 함께 최적화하는 복합 보상 메커니즘으로 에이전트가 표면적 텍스트 유사성이 아닌 진정한 시각 기반 추론에 의존하도록 강제합니다.
- FutureBench와 NEPBench 데이터셋에서의 광범위한 평가 결과, 제안된 방법이 최첨단 성능을 달성하고 더 큰 MLLM을 크게 능가합니다.