음성 대화형 AI의 기억 능력을 측정하는 VoxMem 벤치마크 공개

핵심 요약

• 음성 대화 시스템은 이전 상호작용 정보를 회상해야 하는데, 기존 벤치마크는 발화 내용만 평가하고 화자 정체성·억양·배경음 같은 음성 고유 정보는 무시했다.
• 연구팀은 기억 평가를 위해 보존할 음향 증거와 적용할 메모리 연산 두 축으로 분류 체계를 제안했다.
• VoxMem은 34,743개 음성 세션(177시간)의 3,196개 평가 사례로 구성되며, 음성 의미·화자 정체성·병렬언어학 신호·환경음의 4가지 증거 타입과 정보 추출·다중 세션 추론·시간 추적·답변 거부의 4가지 메모리 연산을 다룬다.
• 문맥 길이 8K~64K 토큰 범위에서 다중 세션 이력에 기반하고 계층화되어 있다.
• 15개 대규모 음성 언어 모델(LALM) 평가 결과 32K 토큰에서 40% 성능을 초과하는 모델이 없었다.
• 모든 모델이 '무엇을 말했는가'에는 잘 답하지만 '누가 말했는가·어떻게 말했는가·무엇이 들렸는가'에는 크게 못 미쳤다.
• 이 격차는 복잡한 연산에서 벌어지고, 이력이 길어질수록 커지며, 증거 타입별로 서로 다른 실패 양식으로 나타난다.
• VoxMem은 음성 대화 기억의 전체 범위에 대한 진전을 측정하고 추진하는 기초를 제공하는 것을 목표로 한다.