• 한국음향학회지
• /
• 제42권2호
• /
• pp.102-111
• /
• 2023

자동 음악 채보는 주어진 오디오에서 음표 정보를 추출하는 태스크로, 이 연구에서는 피아노 음악의 자동음악 채보 모델에서 지연 시간을 줄이는 방법을 소개한다. 신경망 기반 채보 모델이 피아노 채보에도 적용되어 높은 정확도를 기록하였고 이를 이용한 실시간 구현도 소개된 바 있지만, 채보를 위한 지연 시간이 길어 인터랙티브 시나리오에서 활용하기에 한계가 있었다. 이 문제를 해결하기 위해 본 연구는 Fast Fourier Transformation(FFT)에서 윈도우 크기와 홉 크기를 줄이거나 합성곱 레이어의 커널 크기를 수정하고 시간 축에서 레이블을 이동하여 모델이 시작을 더 일찍 예측하도록 훈련하는 등 피아노 전사를 위한 신경망의 내재적 지연 시간을 줄이는 몇 가지 기술을 제안한다. 실험 결과, 이러한 접근 방식을 결합하면 높은 전사 정확도를 유지하면서 지연 시간을 줄일 수 있음을 알 수 있었다. 기존 모델은 160 ms의 지연 시간을 가지고 음표 F1 점수는 93.43 %였으나 제안한 방법을 적용하면 96 ms와 64 ms의 지연 시간 동안 각각 92.67 %와 90.51 %의 F1 점수를 달성할 수 있었다. 이러한 결과는 향후 피아노 교육을 위한 실시간 피드백 제공 등 다양한 인터랙티브 시나리오를 위한 자동 채보 모델에 활용될 수 있을 것이다.

• 전기전자학회논문지
• /
• 제23권1호
• /
• pp.249-253
• /
• 2019

현재 상용화된 악보 채보 프로그램은 오디오 정보를 기반으로 채보를 진행한다. 이러한 기존 채보 프로그램은 환경 의존성, 장비 의존성, 시간 지연이라는 단점을 지니고 있다. 본 논문은 기존의 오디오를 이용하여 채보를 방식을 지양하고, 연주 영상을 분석하여 채보를 진행하는 컴퓨터 비전 기반 악보 채보 시스템을 제안한다. 제안하는 악보 채보 시스템은 대중화된 스마트폰 카메라를 활용하여 피아노 연주를 촬영하고, 이를 분석하여 자동으로 전자 악보인 미디파일을 생성하는 방식으로 동작한다. 컴퓨터 실험에서 제안하는 악보 채보 시스템은 95.6%의 정확도로 연주된 음계를 채보하는 것으로 조사되었다.