음악 악보 변환 AI, 합성 데이터로 정확도 대폭 향상
원제 SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision
추천 10댓글 2
Key Point
음악 악보 자동 변환의 핵심 문제(학습 데이터 부족과 음악적 일관성)를 합성 데이터와 구조화된 디코딩으로 해결한 방법론이 멀티태스크 모델에서 전문 모델을 능가하는 성능을 입증했다.
핵심 요약
- 음성을 악보로 변환하려면 리듬, 화성, 멜로디, 형식을 일관성 있게 이해해야 하는데 주석이 달린 녹음 부족과 부분 예측 오류 누적이 난제였다.
- SheetSage2는 합성 데이터, 구조화된 디코딩, 자기회귀 증류를 통합한 음악 변환 모델로, MIDI를 음성으로 렌더링한 합성 데이터로 대규모 학습을 가능하게 한다.
- 작업별 구조화된 디코더가 음악 정보와 시간 의존성을 통합해 일관성 있는 악보를 생성한다.
- 자기회귀 증류로 추론 시 동적 계획법 없이도 정확도를 유지한다.
- 8개 벤치마크 평가에서 SheetSage2-AR 모델이 15개 중 12개 지표에서 기존 시스템을 능가했으며, SheetSage1을 크게 개선하고 여러 벤치마크에서 작업별 특화 모델을 앞섰다.
- 모델 가중치와 추론 코드가 공개되었다.