혼합 오디오마다 주파수 대역을 동적으로 재분할
원제 Learning Where to Split: Dynamic Band Splitting for Audio Source Separation
추천 134댓글 2
Key Point
콘텐츠에 따라 최적의 주파수 분할을 자동으로 찾아내는 기법으로, 고정 비용 제약 하에서 음원 분리 성능을 크게 높이는 실질적 개선이 가능함을 보여준다.
핵심 요약
- 오디오 음원 분리 모델은 세밀한 스펙트럼 구조를 보존하면서 계산 비용을 제어해야 하는데, 기존 Band-split 구조는 주파수를 고정된 대역으로 사전에 나누어 각 대역을 토큰으로 인코딩한다.
- 고정된 대역 경계는 음원 콘텐츠에 따라 판별력 있는 정보를 병합하거나 불필요한 해상도에 토큰을 낭비할 수 있다.
- Dynamic Band Splitting(DBS)은 고정된 밴드-토큰 예산 하에서 각 혼합에 맞게 대역 경계 위치와 너비를 적응적으로 조정하는 엔드-투-엔드 프레임워크이다.
- DBS는 주파수 블록 내에서 콘텐츠 조건부 경계 점수를 예측하고, Top-K를 이용해 필요한 개수의 경계를 선택한 후, 콘텐츠 의존 풀링으로 컴팩트한 밴드 토큰을 얻는다.
- 분리 후 토큰을 원래 STFT 그리드로 매끄럽게 확장하고 주파수 방향으로 정제한 뒤, 주파수 공유 헤드로 복소 마스크를 디코딩한다.
- DnR v2, MUSDB18-HQ, EchoSet 데이터셋에서 DBS가 정적 모델보다 성능이 우수했으며, DBS-BSRNN은 DnR v2에서 평균 SI-SDR 기준 29.0% 상대 성능 향상을 달성했다.
- 코드와 오디오 데모는 공개되었다.