실시간 영상 AI가 사람처럼 기억할 수 있나

핵심 요약

• 스트리밍 영상을 처리하는 AI 모델이 실제로 필요한 것은 세션 간 기억을 유지하는 능력인데, 기존 벤치마크는 연속 영상이나 짧은 클립만 다뤘다.
• APM-Bench는 549개 세션, 104개 궤적, 2,719개 질문으로 구성되며, 각 세션은 세밀한 주석이 달린 영상이고 같은 궤적 내 세션들은 관련 활동을 중심으로 구성된다.
• 모델은 지속성 메모리를 사용해 이전 세션에 대한 질문에 답변하고, 실시간 상호작용을 유지하면서 사전 대응 응답을 제공해야 한다.
• 지속성 메모리는 저장 가능해야 하며, 선택적으로 정보를 보유하고, 올바른 시점에 주입되며, 효율적이어야 한다는 도전 과제가 있다.
• 유한한 저장소로 인해 필요한 증거가 없을 수 있으므로, 모델은 부족한 증거를 인식해야 한다.
• 일반 영상 모델과 특화된 스트리밍 메모리 시스템을 다양한 메모리 프로토콜 하에서 체계적으로 평가했다.
• 평가 결과 기존 방법들은 장기 회상 신뢰성, 낮은 오버헤드, 세션 간 효과적인 사전 대응을 동시에 달성하는 데 어려움을 겪고 있다.
• APM-Bench는 유틸리티와 지연 시간, 저장 공간 간 명확한 트레이드오프를 보여주며, 현실적인 스트리밍 조건에서 지속성 메모리 시스템 개발을 위한 종합 테스트베드를 제공한다.