혼합 오디오마다 주파수 대역을 동적으로 재분할
Key Point
콘텐츠에 따라 최적의 주파수 분할을 자동으로 찾아내는 기법으로, 고정 비용 제약 하에서 음원 분리 성능을 크게 높이는 실질적 개선이 가능함을 보여준다.
핵심 요약
- 오디오 음원 분리 모델은 세밀한 스펙트럼 구조를 보존하면서 계산 비용을 제어해야 하는데, 기존 Band-split 구조는 주파수를 고정된 대역으로 사전에 나누어 각 대역을 토큰으로 인코딩한다.
- 고정된 대역 경계는 음원 콘텐츠에 따라 판별력 있는 정보를 병합하거나 불필요한 해상도에 토큰을 낭비할 수 있다.
- Dynamic Band Splitting(DBS)은 고정된 밴드-토큰 예산 하에서 각 혼합에 맞게 대역 경계 위치와 너비를 적응적으로 조정하는 엔드-투-엔드 프레임워크이다.