음성을 악보로 바꾸는 AI, 65배 작아졌다

Key Point
지금까지 65배 더 큰 모델을 썼는데도 같거나 더 좋은 성능을 내는 소형 모델이 나왔으며, 저작권 없는 데이터만으로 학습할 수 있다는 점이 오디오 AI와 음악 기술 분야에서 의미가 있습니다.
핵심 요약
- 음성을 MIDI로 변환하는 오픈소스 모델 Dettato를 공개했다. 2천만 파라미터로 경쟁 모델 MuScriptor(13억)보다 65배 작으면서도 성능이 더 우수하고, 비공개 모델인 Mirelo A2M v1.1 Pro와도 비슷한 수준의 정확도를 갖췄다.
- 벤치마크는 여러 데이터셋(Bach, PHENICX, RWC 등)에서 측정했으며, Dettato의 평균 F1 스코어는 60.87로 Mirelo 56.16, MuScriptor 47.45보다 높다.
- 학습 과정에서 저작권이 있는 음성을 전혀 사용하지 않았다. 대신 합성 악기 녹음과 CC 라이선스 솔로 악기를 URMP 데이터셋으로 혼합하고, 나머지는 Soundfont를 변형해 생성했다.