스트리밍 영상을 사람처럼 이해하는 AI 시스템 DeltaStreamer

핵심 요약

• 스트리밍 영상 이해를 위해 인간의 관찰·기억·조사 방식에서 영감을 얻은 에이전트 프레임워크 DeltaStreamer를 제안한다.
• 스트리밍 영상 이해의 핵심 문제는 미래 쿼리가 어떤 정보를 요구할지 알기 전에 충분한 증거를 보존해야 한다는 것이다.
• 기존 방식들은 영상 히스토리 압축 과정에서 이벤트 전환을 불분명하게 만들고 관련 세부 정보를 생략하며, 손실된 시각적 증거를 복구할 수 없다.
• DeltaStreamer는 변화 인식 메모리와 쿼리 기반 계획, 그리고 리플레이를 통한 타겟 증거 수집을 결합한다.
• 쿼리 도착 전에 시스템은 지속적으로 스트림을 관찰하고 시각적 변화를 구조화된 메모리에 명시적으로 기록하여, 현재 상태만이 아니라 이벤트가 전개되는 과정을 보존한다.
• 쿼리가 도착하면 쿼리 기반 플래너가 필요한 증거를 파악하고 메모리 검색 및 타겟 리플레이를 지시한다.
• 과거 프레임을 재검토함으로써 관찰 중에 생략된 시각적 세부 정보를 복구하고 보존된 설명을 넘어 증거에 기반한 답변을 제공할 수 있다.
• OVO-Bench와 StreamingBench에서 실험한 결과 각각 66.07%와 59.53%의 종합 점수를 기록하며 기존 스트리밍 영상 이해 방법들을 능가한다.