비전-언어 모델의 능동형 상호작용, 사용자 의도 예측으로 진화
원제 StreamVibe: Proactive Video Agents for Evolving User Intent
추천 253댓글 2
Key Point
비디오 에이전트가 사용자가 명시적으로 말하지 않은 의도까지 예측해 선제적으로 대응할 수 있게 되는 것은 웹 네비게이션, 콘텐츠 추천 등 실무 적용 영역이 크기 때문이다.
핵심 요약
- 비전-언어 모델이 수동적 이해에서 능동적 상호작용으로 전환 중이나, 기존 방식은 명시적 요청에만 의존하고 사용자의 암묵적 의도(예: '다음에 어디를 클릭해야 할까')를 놓치며 상태를 실시간 업데이트하지 못하는 한계가 있다.
- 이를 해결하기 위해 StreamVibe-Bench 벤치마크를 소개하는데, 명시적·암묵적·동적 의도를 포함한 4.1K 평가 샘플과 85K 학습 샘플을 포함한다.
- StreamVibe-VL은 연속 관찰에서 암묵적 의도를 추론하고 의도 변화에 따라 상호작용을 동적으로 조정하는 스트리밍 능동형 모델이다.
- StreamVibe-Harness는 계층적 메모리를 통해 사용자 의도를 지속적 상태로 유지하며 유연한 생명주기로 최신 사용자 의도와 환경 상태를 추적한다.
- 실험 결과 StreamVibe-VL은 일반 비디오 이해 성능을 유지하면서 응답 시간과 답변 품질을 기존 모델 대비 10.7% 향상시켰다.
- 기존 능동형 모델들은 특히 암묘적·동적 의도에서 사용자 의도 이해와 응답 시기 결정 능력이 제한적이다.
- StreamVibe-Harness는 지속된 상호작용에서 응답 일관성과 적응성을 추가로 개선하여 능동형 상호작용에서 12.3% 성능 향상을 달성했다.