YuE2, 음악 생성에서 새로운 벤치마크 수립
원제 YuE2 · Frontier Music with Symbolic Planning
100 포인트댓글 90
Key Point
음악 생성 AI가 기호 계획을 통해 생성·분석·편집을 통합하며 기존 모델을 넘어선 품질에 도달한 방식과 구체적 성능이 명확하기 때문이다.
핵심 요약
- YuE2는 기호 계획(symbolic planning)을 통해 음악을 생성하는 프런티어 모델로, WildSongBench의 192개 프롬프트 평가에서 6.9632점을 기록해 Suno v5의 6.8721점을 능가했다.
- 약 35.9억 개 파라미터와 28개 레이어로 구성되며, 음악 생성·커버·편집을 모두 지원하고 편집 가능한 악보를 음악 토큰과 오디오로 변환한다.
- MERT2 음악 인코더는 ConvNeXt 프론트엔드와 24레이어 Conformer로 설계되어, MARBLE 벤치마크의 15개 지표 중 14개에서 최고 성능을 달성했다.
- SheetSage2는 녹음된 노래를 편집 가능한 악보(ABC 표기법)로 변환하며, 6가지 음악 전사 작업(비트·코드·멜로디 등)에서 13개 지표 중 10개의 SOTA를 기록했다.
- 사용자는 악보 편집, 장르 탐색, 에이전트 기반 음악 편집 같은 인터랙티브 인터페이스로 음악의 멜로디·리듬·코드를 조정하고 새로운 배열을 만들 수 있다.