음성을 악보로 바꾸는 AI, 65배 작아졌다
원제 Show HN: I made an audio-to-MIDI model 60x more efficient
156 포인트댓글 28

Key Point
지금까지 65배 더 큰 모델을 썼는데도 같거나 더 좋은 성능을 내는 소형 모델이 나왔으며, 저작권 없는 데이터만으로 학습할 수 있다는 점이 오디오 AI와 음악 기술 분야에서 의미가 있습니다.
핵심 요약
- 음성을 MIDI로 변환하는 오픈소스 모델 Dettato를 공개했다. 2천만 파라미터로 경쟁 모델 MuScriptor(13억)보다 65배 작으면서도 성능이 더 우수하고, 비공개 모델인 Mirelo A2M v1.1 Pro와도 비슷한 수준의 정확도를 갖췄다.
- 벤치마크는 여러 데이터셋(Bach, PHENICX, RWC 등)에서 측정했으며, Dettato의 평균 F1 스코어는 60.87로 Mirelo 56.16, MuScriptor 47.45보다 높다.
- 학습 과정에서 저작권이 있는 음성을 전혀 사용하지 않았다. 대신 합성 악기 녹음과 CC 라이선스 솔로 악기를 URMP 데이터셋으로 혼합하고, 나머지는 Soundfont를 변형해 생성했다.
- 모델의 약점은 악기 분리를 정확하게 하지 못하는 것이며, 출력물은 성능 MIDI로 비트만 정렬된 형태다. 악보 같은 연주 가능한 형식이 필요하면 Songscription이나 Klangio 같은 도구를 추천한다.
- 개발 초기에는 데이터 문제로 접근했으나 실제 병목은 아키텍처였다. 광학 악보 인식(OMR)과 비교하면, 기존 방식은 LLM을 단순히 연결했을 때 합성 데이터에 과적합되는 문제가 있었다.
- 문제를 로컬로 재구성해 해결했다. OMR은 검출 모델로, 음성-MIDI 변환은 음정-레인 모델로 접근하면 오버피팅 없이 성능을 올릴 수 있다는 걸 발견했다.
- 상용 이용이 가능하며, 저작권 미사용 제약이 모델 성능을 해치지 않고 오히려 혁신을 유도했다고 작가는 말한다.