Keyboard Solo System using a Real Time Hand Recognition Method

As parents are interested in music education for infants in these days, they require systems to help these infants to actively play music. In this paper, we propose a keyboard solo system using a real time hand recognition method. In order to enable the infants to use the system easily, the proposed system plays some sounds whenever the infants move their fingers on a paper piano. For the purpose of minimizing cost to play music, the proposed system utilizes a general PC with only a paper piano, a web camera, and a speaker. With the aim of precisely and efficiently recognizing both a hand and each key on keyboard, the proposed system divides a recognition step into a hand recognition step and a keyboard recognition step. Also, the hand recognition step considers only skin color, and the keyboard recognition step considers only black and white without other colors.

실시간 손 인식 기법을 인용한 건반 연주 시스템

요즘 부모들이 유아들의 음악 교육에 대해서 관심이 많아지면서, 유아들이 능동적으로 음악을 즐길 수 있도록 지원하는 시스템이 요구되고 있다. 따라서 본 논문에서는 실시간 손 인식 기법을 이용한 건반 연주 시스템을 제안한다. 제안하는 시스템은 유아들이 쉽게 사용할 수 있도록, 종이 건반위에서 손가락을 움직이기만 하면 음원이 재생되어 연주하는 환경을 제공한다. 그리고, 제안하는 시스템은 연주에 필요한 비용을 최소화하기 위해서, 보급형 컴퓨터와 종이건반, 웹 카메라, 스피커만을 이용한다. 또한, 효율적이고 정확하게 건반과 손가락을 인식하기 위해서, 건반 인식 단계와 손가락 인식 단계를 구분한다. 건반 인식 단계에서는 건반을 구성하는 검정색과 흰색만 고려하여 건반을 인식하고, 손가락 인식단계에서 는 피부색만 고려하여 손가락을 인식한다.