AI가 먼저 말 거는 비디오 분석 모델 나왔다
원제 Beyond Answering: Learning to Speak First and Act in Streaming Video
추천 37댓글 2
Key Point
실시간 영상을 보며 먼저 말을 걸고, 화면의 대상을 직접 가리키며 도구를 호출하는 주도적 AI 에이전트 패러다임이 현실화되는 모습입니다.
핵심 요약
- 기존 AI 어시스턴트는 사용자 질문에만 반응하지만, AURA 2.0은 스트리밍 비디오에서 대화할 가치가 있는 순간을 자동으로 인식하고 먼저 대화를 시작한다.
- 모델이 주도적으로 대화를 나누는 MIC(Model-Initiated Conversation) 기능을 핵심으로 한다.
- SATC(Stream-Aware Tool Calling)는 현재 화면과 대화 맥락을 바탕으로 외부 도구를 호출하고 결과를 상호작용에 반영할 수 있게 한다.
- IVG(Interactive Visual Grounding)는 사용자가 비디오 프레임에 표시한 객체를 인식하고, 모델이 프레임 정렬 바운딩 박스를 생성해 답변을 특정 객체와 영역에 연결한다.
- 장시간 비디오 스트림에서 맥락 연속성을 유지하는 LHIM(Long-Horizon Interaction Memory) 기능도 포함된다.
- 전용 스트리밍 상호작용 데이터셋을 구성하고 3단계 훈련 방식을 적용해 새로운 기능들을 기존 스트리밍 능력과 통합했다.
- 공개 스트리밍 벤치마크에서 오픈소스 모델 중 최고 성능을 달성했으며, 새로운 상호작용 능력도 검증됐다.