Abstract
In this paper, we propose a virtual violin implementation using the detection of bowing and finger dropping position from the estimated finger tip and finger board information with the 3D image data from a Kinect. Violin finger board pattern and depth information are extracted from the color image and depth image to detect the touch event on the violin finger board and to identify the touched position. Final decision of activated musical alphabet is carried out with the finger drop position and bowing information. Our virtual violin uses PC MIDI to output synthesized violin sound. The experimental results showed that the proposed method can detect finger drop position and bowing detection with high accuracy. Virtual violin can be utilized for the easy and convenient interface for a beginner to learn playing violin with the PC-based learning software.
본 논문에서는 키넥트의 3차원 영상정보를 이용하여 종이 바이올린 지판과 손가락 끝점을 검출하고 활 움직임을 판정한 뒤, 이 정보를 이용하여 가상 바이올린을 구현하는 방법을 제안한다. 키넥트의 컬러영상과 깊이영상을 이용하여 먼저 바이올린 지판을 식별하고 손가락 끝점을 검출한 뒤 지판 정보와 사용자의 지판 누름 여부를 판정하기 위한 지판의 깊이 정보를 검출한다. 운지와 활 움직임 정보에서 음이름을 판정하여 PC MIDI 인터페이스를 통해 가상 바이올린 연주 시스템을 구현하였다. 본 논문에서 제안하는 방법을 이용하여 가상 바이올린 성능평가를 수행한 결과 높은 검출 정확도를 보였다. 구현된 가상 바이올린 기능을 활용하여 바이올린 연주 입력장치를 구현함으로써 PC기반 바이올린 연주시스템 구현의 편리성을 보였으며 악기 초보자가 PC 기반 바이올린 연주 학습에 사용자 인터페이스로 활용할 수 있는 가능성을 확인하였다.