음성·음악 분리와 생성을 한 번에, 오디오-비디오 AI 모델 SepGen
Key Point
비디오에서 개별 음원을 자동 분리·생성할 수 있게 되면 3D 음성화(audio spatialization)나 음향 편집 등 실제 영상 제작 워크플로우가 단순해질 수 있으며, 기존 단순 음성 분리 모델을 능가하는 성능을 보인다.
핵심 요약
- 음성-영상 생성 모델을 확장하여 비디오, 혼합 사운드트랙, 각 음원별 개별 스템을 한 번의 샘플링으로 출력하는 SepGen을 제시한다.
- 생성 모드에서는 각 음원 캡션이 해당 스템의 내용을 지정하며, 예를 들어 두 명의 대사는 각 화자마다 하나의 스템으로 원래 순서대로 분리된다.
- 분리 모드에서는 입력 오디오 혼합을 유지하면서 캡션으로 추출할 내용을 지정하여, 자유형식 설명으로부터 녹음을 분해할 수 있다.