긴 영상 이해를 위한 추론-인식 분리 프레임워크 'VideoNexus'
원제 VideoNexus: Video Perception Beyond the Reasoning Context
추천 20댓글 2
Key Point
장시간 영상 처리 시 LLM의 추론 부담을 줄이면서도 정확도를 올리는 아키텍처 패턴이 실증되었으며, 계획과 인식을 분리하는 접근이 비용도 절감하는 실용적 대안이 되고 있다.
핵심 요약
- 긴 영상 이해 시 증거 위치파악, 시각 세부사항 해석, 종합 답변 등 여러 과제가 필요한데, 모든 정보를 추론 맥락에 누적하면 계획 모델에 부담이 커진다는 문제를 제시한다.
- 기존 비디오 에이전트는 선택적 검사를 하더라도 프레임을 반환하면서 시각 정보가 맥락에 쌓이고, 희소 샘플링은 중요 세부사항을 놓칠 수 있으며, 프레임별 설명은 맥락 증가를 계속 초래한다.
- VideoNexus는 학습 없이 작동하는 프레임워크로, 상세한 영상 인식을 증거 기반 계획·추론과 분리하여 설계했다.
- 계획 모델이 검사 위치, 해석할 사항, 샘플링 밀도를 제어하면, 인식 에이전트는 오디오-비디오를 독립적 맥락에서 처리해 간결하고 시간정보가 있는 증거만 반환한다.
- Gemini 3.8 Flash를 계획·인식에 모두 사용했을 때 LVBench 전체 평가에서 88.6% 정확도를 달성했으며, 같은 모델로 전체 영상을 입력한 방식보다 3.6포인트, 기본 에이전트 처리보다 1.1포인트 높았다.
- VideoNexus는 기본 에이전트 방식의 44% 비용으로 이러한 성능을 냈다.
- LVBench 부분집합 검증 결과 계획 모델 입력이 적을수록 정확도가 높아졌다.
- Kimi K3를 모델로 사용했을 때는 공식 Video-GAIA ReAct 방식 대비 8.5포인트 개선되었다.
- 이 결과는 계획·추론 효율과 상세 관찰을 함께 유지하려면 간결한 증거 교환이 효과적임을 보여준다.