비디오 이해와 상호작용 통합한 VideoJev 모델
원제 VideoJev: System One Model for Video Understanding and Interaction
추천 199댓글 1
Key Point
에이전트가 비디오를 이해하고 상호작용하는 모든 작업을 하나의 통합 모델로 처리하면서 기존 MLLM 대비 속도는 최대 100배 이상 빨라지는 방식을 제시한다.
핵심 요약
- Visual agent가 비디오에서 빠르게 의사결정하도록 System One 패러다임에 기반해 VideoJev를 제안했다.
- 기존 멀티모달 LLM의 자동회귀 디코딩을 대신해, 시간 구간과 텍스트 옵션을 비디오 증거에 대해 점수 매기는 공유 헤드로 교체했다.
- 이를 통해 시간 그라운딩과 다지선다형 비디오 질문 답변을 통합하면서 MLLM의 의미론적 유연성과 효율적 의사결정을 결합한다.
- 캐시된 추론으로 도착하는 쿼리들의 시각적 계산을 재사용하고, 조인트 추론으로 한 번의 포워드 패스에서 여러 쿼리를 처리한다.
- 시간 그라운딩 벤치마크 3개에서 VideoJev-4B와 VideoJev-35B-A3B가 백본 대비 mIoU를 각각 6.7, 10.8포인트 개선했으며 추론 속도는 2.8~3.1배 빨라졌다.
- 비디오 QA 벤치마크 4개에서는 Thinking 모드의 백본 성능에 비교할 수 있는 수준을 달성하면서 추론 속도는 100배 이상 빨라졌다.
- 이 결과는 복잡한 개방형 워크플로우에 구조화된 시각적 판단을 구성할 수 있는 통합되고 재사용 가능한 의사결정 인터페이스를 제시한다.