음성·영상 AI가 실시간 상황에 제때 반응하지 못한다

핵심 요약

• 옴니모달 대형언어모델(Omni-LLM)이 계속 스트리밍되는 음성·영상을 관찰하면서 사용자를 지원할 수 있어야 하는데, 기존 평가 방식으로는 이들이 얼마나 신뢰성 있게 상황 증거와 사용자 필요를 연결해 적시에 개입하는지 알기 어렵다.
• Omni-InteractScope 벤치마크는 8개 작업군에 걸친 1,479개 인간 주석 상호작용과 1,790개 시간 목표를 제시한다.
• 도구 호출(tool invocation) 타이밍, 쿼리 없는 조언, 알림, 경고, 상태 추적, 지속적 응답을 포함해 입력 모달리티·사건 트리거·개입 유형·사용자 필요를 연결한다.
• 평가 결과 현재 옴니모달 LLM 12개 모두가 도구 호출 목표의 40% 이하에서만 시간 내 첫 응답을 생성하며, 타이밍과 도구 정확도를 함께 측정하면 최대 32.0%에 불과하다.
• 사용자가 명시적으로 묻지 않은 리마인더 기능도 부족해 리마인더 정확도가 최대 23.0%에 그친다.
• 26개 안내 수열 중 전체를 완성한 모델은 9개 중 0개이고, 나머지 3개 모델도 각각 1~3개씩만 완성했다.
• 도구 호출 점수만으로는 사건 이해(grounding)가 확보되지 않으며, 리마인더 성능은 이전 응답 이력과 빈도에 달려있다는 점을 통제 실험으로 확인했다.
• 이 결과들은 실시간 스트림에서 적시 행동·사용자 의도의 자동 이해·전체 응답 수열 커버리지를 갖춘 스트리밍 어시스턴트 개발의 필요성을 제기한다.