비디오 추론 모델의 증거 기반 검증 능력 강화
원제 Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence
추천 19댓글 1
Key Point
비디오 AI 모델이 단순히 답을 하는 것에서 벗어나 '왜 그렇게 생각하는지' 시간과 위치 정보로 검증할 수 있게 되면서, 신뢰성이 필요한 비디오 분석 응용에 실제 도입 가능성이 높아집니다.
핵심 요약
- Open-o3-Video-v2는 비디오 추론 과정에서 타임스탬프와 객체 경계박스를 포함한 검증 가능한 증거를 생성하는 모델입니다.
- 기존 Open-o3-Video의 제한점을 극복하기 위해 부족한 정보를 식별하고 추가 관찰을 획득하는 에이전트 기반 접근 방식을 도입했습니다.
- 52K 다중 턴 에이전트 그라운딩 추론 궤적과 13K 강화학습 데이터셋(STGR-v2-CoT135K, STGR-v2-RL-13K)을 구성했습니다.
- Clue-Seek GRPO(CS-GRPO) 알고리즘은 도구 호출이 누적된 증거를 어떻게 변화시키는지 추적하고, 증거 커버리지와 단계별 개선을 보상하며, 과도하거나 반복적이고 정보가 부족한 검색을 패널티합니다.
- V-STaR 벤치마크에서 Open-o3-Video-v2-4B는 40.4% mAM과 56.3% mLGM을 달성하여 기반 모델 Qwen3-VL-4B를 각각 8.5%, 12.6% 초과 달성했습니다.
- 일반 비디오 이해, 장시간 비디오 추론, 시간 그라운딩 벤치마크 전반에서 일관된 성능 개선을 보였습니다.
- 능동적 증거 획득과 객체 수준의 검증 가능한 그라운딩이 신뢰할 수 있는 비디오 추론에 상호 보완적임을 입증합니다.