합창 오디오를 성부별로 자동 기록하는 AI 모델 등장
원제 Toward Part-Aware Choral Transcription with singing voice assignment
추천 12댓글 2
Key Point
합창 악보를 성부별로 정확히 기록할 수 있게 되면 학생 악단 연습, 악보 출판, 원곡 복원 등이 더 효율적으로 가능해진다.
핵심 요약
- 기존 합창 자동 악보 기록(AMT) 시스템은 소프라노·알토·테너·베이스(SATB) 성부를 구분하지 못하고 하나의 음표 트랙으로 병합했는데, 이는 악보 복원과 성악 교육을 어렵게 만들었다.
- 새로운 'PawCT' 모델은 합창 오디오를 입력받아 활성화된 SATB 성부를 먼저 식별한 뒤, 각 성부를 별도의 음표 레벨 트랙으로 자동 기록한다.
- 성부별 음의 시작·종료·유지 시점 예측과 성부 포함 여부 추정을 함께 진행하며, SATB 음역대 사전 정보(RP)와 성부 내 선율 연속성·성부 간 음정 순서를 반영하는 확장 기법(OC)을 적용한다.
- YouChorale 데이터셋에서 PawCT-RP-OC는 50ms 음의 시작 지점 허용치에서 성부별 인식 F1 점수 0.225를 기록했으며, 기존 합창 기준 모델(0.165)보다 상대 성능 36.4% 향상했다.
- 성부 구분을 하지 않는 변형 모델 PagCT는 F1 점수 0.382를 달성해, 이전 최고 성능 합창 AMT 모델(0.237)을 상회했다.
- CSD와 Cantoria 데이터셋으로 교차 검증한 결과 서로 다른 데이터셋 환경에서도 성능을 유지했으며, 음 기록과 성부 할당을 함께 모델링할 때의 이점을 입증했다.