Note Tracking and Localization Algorithm for Interactive Rhythm-based Music Player

리듬기반 인터액티브 음악 플레이어를 위한 음표 위치 추적 알고리즘

Conventional music players offer simple replay and one way entertainment. The paper presents an algorithm to extract, within a digitally recorded music file, the temporal information of a sequence of target notes (i.e. melody). We assume to have the score (e.g. MIDI or printed score), and using this information, it becomes possible to first sequentially predict the probable location of the target notes. However, recorded music is hardly performed according to the score, especially temporally. Thus, additional analysis is carried out to hone in on the exact location of the target note from the initially predicted location. This prediction and correction process is repeated to find one note after another. This allows us to develop an interactive music player that is enacted by rhythmic interaction, and induce a new user experience, i.e. as if one is playing the music oneself.

기존의 음악 플레이어들은 녹음 되거나 디지털적으로 캡쳐 된 음악정보를 재생 하여 사용자들이 "한 방향"으로의 수동적인 감상을 가능하게 하였다. 본 논문에서는 mp3나 wav 로 형태로 실제로 연주 되고 녹음 된 음악에서의 특정 음표의 시간적인 위치를 찾아내는 알고리즘을 소개 하도록 한다. 찾아내고자 하는 음표의 악보를 이용하면, 우선 주어진 녹음 된 음악 파일에서의 해당 음표의 위치를 시간적인 순서대로 예측 할 수 있다. 그러나, 연주/녹음된 음악은 악보에 나와 있는 대로 연주 되지 않고 대부분 시간적으로 혹은 심지어 내용적으로 변화가 있게 마련이다. 따라서 추가적인 분석을 통하여 음표의 정확한 위치를 찾아나가게 되고, 그 위치로부터 이러한 예측 및 교정작업 (prediction/correction)을 계속적으로 수행하게 된다. 이러한 부가적인 정보를 이용하여 사용자가 음표의 위치에 (즉 리듬에) 기반한 인터액션을 통하여 실제 음악을 연주하는 듯 한 사용자 경험을 줄 수 있다.