로봇의 귀를 열다, 공간음향 이해 벤치마크 OmniEcho
Key Point
음성 감지 능력이 로봇과 에이전트의 환경 이해 능력을 크게 확장할 수 있으며, 이를 평가하고 개선할 수 있는 첫 번째 대규모 벤치마크가 공개되었다.
핵심 요약
- 구체화된 에이전트(로봇 등)가 시각 정보와 함께 음성 신호를 이용해 추론하기는 여전히 어렵다.
- 음향-시각 인식과 음성-시각-언어 기반 네비게이션을 평가할 통일된 벤치마크가 필요했다.
- 연구팀이 OmniEchoBench를 제안했으며, 30개 실제 환경에서 수집한 197개 실제 공간음향-시각 장면, 2,972개 질문-답변 쌍, 900개 네비게이션 샘플(1차 앰비소닉스 오디오)을 포함한다.