음성·음악 분리와 생성을 한 번에, 오디오-비디오 AI 모델 SepGen
원제 SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
추천 39댓글 2
Key Point
비디오에서 개별 음원을 자동 분리·생성할 수 있게 되면 3D 음성화(audio spatialization)나 음향 편집 등 실제 영상 제작 워크플로우가 단순해질 수 있으며, 기존 단순 음성 분리 모델을 능가하는 성능을 보인다.
핵심 요약
- 음성-영상 생성 모델을 확장하여 비디오, 혼합 사운드트랙, 각 음원별 개별 스템을 한 번의 샘플링으로 출력하는 SepGen을 제시한다.
- 생성 모드에서는 각 음원 캡션이 해당 스템의 내용을 지정하며, 예를 들어 두 명의 대사는 각 화자마다 하나의 스템으로 원래 순서대로 분리된다.
- 분리 모드에서는 입력 오디오 혼합을 유지하면서 캡션으로 추출할 내용을 지정하여, 자유형식 설명으로부터 녹음을 분해할 수 있다.
- 텍스트에서 합성한 장면으로 생성 능력을, 다른 생성 모델과 실제 음성·음악·효과음 녹음으로 분리 능력을 평가했다.
- 오디오 혼합과 음성 대사 캡션이 주어질 때 SepGen은 언어 조건 분리 모델을 능가하며, 특히 음성 분리에서 두드러지고, 캡션에서 대사를 제거해도 우위를 유지한다.
- 코드, 체크포인트, 데이터셋은 공식 웹사이트에서 제공된다.