세계 모델에 소리를 더하는 'WorldSonus' 논문 공개
원제 WorldSonus: Bringing Sound to Worlds
추천 33댓글 2
Key Point
기존 월드 모델은 시각만 생성했지만, WorldSonus는 실시간 상호작용형 공간음향 합성으로 생성 환경의 완전성을 한 단계 높였다.
핵심 요약
- 월드 모델이 생성한 시각적 환경에 실시간 공간음향을 합성하는 'WorldSonus' 프레임워크를 제시했다.
- 실시간 생성을 위해 스트리밍 인과 자기회귀 확산 구조를 사용해 RTF 0.41의 저지연으로 오디오 청크를 합성한다.
- 대화형 제어는 오디오 중심의 캡셔닝 파이프라인과 청크 인덱스 프롬프트 스케줄링으로 생성 도중 음향 이벤트를 동적으로 조작할 수 있다.
- 공간 정렬을 위해 스테레오와 앰비소닉 데이터로 큐레이션한 고품질 스테레오 감독 신호를 활용한다.
- 월드 모델 전용으로 설계되었지만 오픈도메인 비디오-오디오 벤치마크에서도 최첨단 양방향 모델과 동등하거나 우수한 음향 품질과 공간 정렬을 달성했다.