음악 생성 AI의 상징과 음향 통합한 YuE2 등장
원제 YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
추천 15댓글 3
Key Point
악보라는 명시적 중간 단계를 통해 AI 음악 생성의 투명성과 편집 가능성을 확보하면서도 상용 서비스와 경쟁할 수 있는 품질을 달성했기 때문이다.
핵심 요약
- Hugging Face와 arXiv 논문으로 공개된 YuE2는 악보 기반 계획을 통해 기호 음악과 오디오 음악 생성을 단일 모델로 통합했다.
- AR-NAR Mixture-of-Transformers(MoT) 아키텍처를 사용하며, 악보로 멜로디와 화성을 지정한 뒤 의미론적 음악 토큰으로 확장해 전곡 오디오를 생성한다.
- 전문가 평가에서 악보 기반 계획이 49.3%의 선호도를 기록해 계획 없는 생성의 34.6%를 앞질렀으며, 음악성과 전체 품질에서 우수했다.
- WildSongBench의 SongBench Global Avg에서 6.73점을 기록해 공개 기준선을 모두 능가했고, 8개 후보 중 최고를 선택하면 6.96점에 도달했다.
- 전문가 청취 평가에서 Suno v4.5보다 선호되었고 Suno v5와는 거의 동등한 수준의 경쟁력을 보였다.
- 음성 녹음만으로 학습하기 위해 MERT2와 SheetSage2를 개발했다.
- MERT2는 음악 표현 학습에서 MARBLE 지표 15개 중 14개에서 최고 성능을 달성했으며, SheetSage2는 리드시트 전사 벤치마크 15개 지표 쌍 중 12개에서 최고다.
- 동일 체크포인트로 악보 편집에 따라 음악을 수정하면서 미편집 부분은 유지하며, 커버 학습 없이 제로샷 커버를 생성할 수 있다.
- 읽을 수 있는 악보 형식으로 생성되므로 외부 언어 모델이 사용자 피드백을 작곡 수정으로 변환하는 에이전트형 음악 편집을 지원한다.