Development of a Page Turner Application based on Eye Tracking Algorithm for the Performing Artists

연주자를 위한 시선 추적 기반 페이지 터너 애플리케이션 개발

Sheet music is one of the inevitable elements for successful melody interpretation, playing or rendering, and performance, most of performing artists usually utilize a paper sheet music in the cases. However, the paper sheet music can be a one of the reason to degrade the concentration of audiences and artists or entire performing flows. In addition, it might be a weakness to use a paper sheet music in an outside performing place. We propose an electronic sheet music page tuner application, which can overcome these problems, based on a Tablet PC. The proposed page tuner application, which uses the OpenCV to adapt an eye tracking and behavior recognition, can provide an automatical page pass function to the performing artists. We will expect that the proposed application can highly decrease the weakness of paper sheet music.

악보는 성공적인 곡 해석, 연주, 공연 등을 위해 필수적인 요소로 인식되고 있으며, 대부분의 연주자들은 이러한 상황에서 일반적으로 종이악보를 활용하고 있다. 그러나 종이악보는 페이지를 넘겨야 할 때 연주자 및 청중의 집중도를 떨어뜨리는 원인 중 하나가 될 뿐 아니라, 전체적인 연주의 흐름을 저해하는 요소로 작용하기도 한다. 또한 이러한 종이악보의 단점들은 공연장소 주변의 날씨나 환경 등으로 인해 더더욱 부각될 수밖에 없다. 본 논문에서는 이러한 종이악보의 단점들을 해결하기 위한 태블릿 PC기반의 전자악보 페이지 터너 애플리케이션을 제안한다. 제안하는 페이지 터너 애플리케이션은 원활한 연주 진행을 위해 연주자의 시선 또는 동작을 판독하여 전자악보를 다음페이지로 넘길 수 있도록 구현되어 있으며, 시선추적 및 동작 판독 알고리즘은 OpenCV를 통해 구현하였다. 제안하는 페이지 터너 애플리케이션을 통해 기존 종이악보가 갖고 있는 문제점을 상당부분 개선할 수 있을 것으로 기대한다.