로봇의 귀를 열다, 공간음향 이해 벤치마크 OmniEcho
원제 OmniEcho: Spatial Audio Understanding for Embodied Agents
추천 22댓글 2
Key Point
음성 감지 능력이 로봇과 에이전트의 환경 이해 능력을 크게 확장할 수 있으며, 이를 평가하고 개선할 수 있는 첫 번째 대규모 벤치마크가 공개되었다.
핵심 요약
- 구체화된 에이전트(로봇 등)가 시각 정보와 함께 음성 신호를 이용해 추론하기는 여전히 어렵다.
- 음향-시각 인식과 음성-시각-언어 기반 네비게이션을 평가할 통일된 벤치마크가 필요했다.
- 연구팀이 OmniEchoBench를 제안했으며, 30개 실제 환경에서 수집한 197개 실제 공간음향-시각 장면, 2,972개 질문-답변 쌍, 900개 네비게이션 샘플(1차 앰비소닉스 오디오)을 포함한다.
- 학습 감독을 확장하기 위해 공간음향을 제어 가능하게 렌더링하는 파이프라인을 개발했으며, 음원·시각·에이전트 궤적 간 기하학적 일관성을 보존한다.
- OmniEcho 모델은 1차 앰비소닉스 공간 인코더와 사전학습된 의미론적 오디오 처리 경로를 결합한 공간인식 멀티모달 모델이다.
- OmniEcho는 공간음향-시각 인식에서 최첨단 성능을 달성했으며, 음성 안내 네비게이션에서는 기존 시각-언어 네비게이션 수준에 근접한 성능을 보였다.
- 공간음향이 구체화된 장면 추론과 네비게이션의 가치 있는 신호가 될 수 있음을 보여주는 한편, 세밀한 공간 위치 파악과 거리 추정이 남은 과제임을 지적했다.