음성·음악을 입체음향으로 생성·편집하는 AMBIT 프레임워크
원제 Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion
추천 57댓글 2
Key Point
입체음향 생성과 편집을 자동으로 처리하는 통합 프레임워크로, 음성 콘텐츠 제작과 방송·게임·VR 음향 설계에 직접 활용할 수 있기 때문이다.
핵심 요약
- 공간 음향 제작을 위해 음원 배치와 입체음향 합성을 통합하는 AMBIT 프레임워크를 제안했다.
- 음원의 콘텐츠·활동·3D 궤적을 지정하는 ScenePlan을 실행 가능한 형태로 만들고, 자동회귀 계획과 정류 흐름 기반 렌더링을 Transfusion 백본으로 통합했다.
- 편집 작업 시 계획은 보존할 음원을 포함한 전체 목표 장면을 명시하며, 대조적 특징으로 변경 요청을 정의하고 참조 음성의 레이턴트로 음향 세부사항을 보존한다.
- 1차 앰비소닉(FOA) 전용 연속 VAE는 공유 디코더 전방향 복구, 비대칭 그룹화 KL, 공간 공분산 매칭으로 콘텐츠와 채널 간 구조를 유지한다.
- 정책상 자기 증류(OPSD)로 학생 모델이 생성한 접두사와 학생 계획 하에서 도달한 샘플링 상태에서 계획과 렌더링을 정제한다.
- 음성·음악·효과음 전반에서 생성 품질과 공간 음질이 개선되었으며, 편집 시 음향 충실도와 미편집 음원 보존이 기존 모델을 상회했다.