multimodal-art-projection/YuE
YuE2: 악보 편집으로 완성도 높은 음악 생성
원제 multimodal-art-projection/YuE
스타 9,360당일 +332Python
Key Point
악보를 중간 단계로 하는 '화이트박스' 음악 생성 방식으로, 사용자가 생성 과정을 직접 검사·편집할 수 있는 새로운 제어 방식을 제시한다.
핵심 요약
- 가사와 스타일 설명만으로 멜로디-코드 악보를 자동 작성한 후 보컬과 반주가 포함된 완성 곡을 생성한다.
- 악보를 악곡 형식(ABC)으로 읽고 수정 가능해 사람이나 에이전트가 직접 편집할 수 있다.
- 기존 곡을 악보로 변환한 뒤 새로운 스타일로 재해석하는 제로샷 커버와, 대화 기반 에이전트 편집을 지원한다.
- WildSongBench에서 Suno v5/v6과 경쟁 가능한 수준이며, 48kHz 스테레오 음질로 양자화 없이 생성한다.
- Linux, Python 3.12, NVIDIA GPU 24GB VRAM 필요하며, Hugging Face에서 모델 다운로드 후 Python API로 사용 가능하다.
저장소 보기 ↗github.com