Hugging Face 논문AI · 머신러닝오늘의 주요

스트리밍 비디오 LLM을 사용자와 상호작용하게 만들다

원제 ALIVE: Making Streaming Video Models Interactive

추천 40댓글 4Jinzhao Li, Yuan Xu, Jinxuan Wu 외
Key Point

실시간 비디오 AI가 사용자와 양방향으로 상호작용하며 질문하고 조정할 수 있게 되면, 감시·모니터링·실시간 지원 같은 응용 분야의 자율성이 크게 높아진다.

핵심 요약

  • 기존 스트리밍 비디오 LLM은 세계를 지속적으로 관찰하지만 사용자 요청을 고립되게 처리하는 한계가 있다.
  • ALIVE는 능동적 모니터링, 스트리밍 작업 조율, 피드백 추구 상호작용을 지원하는 대화형 스트리밍 비디오 모델이다.
  • ALIVE-SFT-288K와 ALIVE-RL-3K 두 가지 데이터셋을 구성해 2단계 학습을 진행했다.
  • 대조 지도 미세조정(Contrastive SFT)으로 언제 어떻게 반응할지 학습하고, 행동 정렬 신용 할당(BACA)을 활용한 강화학습으로 궤적 수준과 국소 이점을 결합해 다중 턴 상호작용 전반에서 의사결정·응답·침묵을 최적화한다.
  • 피드백 추구 능력과 후속 작업 완수를 평가하기 위해 FSI-Bench 벤치마크를 개발했다.
  • ALIVE는 4개의 공개 벤치마크와 FSI-Bench에서 비교 대상 모델 중 최고 점수를 기록했으며, 강력한 스트리밍 이해력과 대화형 역량을 입증했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗