요즘 부모들이 유아들의 음악 교육에 대해서 관심이 많아지면서, 유아들이 능동적으로 음악을 즐길 수 있도록 지원하는 시스템이 요구되고 있다. 따라서 본 논문에서는 실시간 손 인식 기법을 이용한 건반 연주 시스템을 제안한다. 제안하는 시스템은 유아들이 쉽게 사용할 수 있도록, 종이 건반위에서 손가락을 움직이기만 하면 음원이 재생되어 연주하는 환경을 제공한다. 그리고, 제안하는 시스템은 연주에 필요한 비용을 최소화하기 위해서, 보급형 컴퓨터와 종이건반, 웹 카메라, 스피커만을 이용한다. 또한, 효율적이고 정확하게 건반과 손가락을 인식하기 위해서, 건반 인식 단계와 손가락 인식 단계를 구분한다. 건반 인식 단계에서는 건반을 구성하는 검정색과 흰색만 고려하여 건반을 인식하고, 손가락 인식단계에서 는 피부색만 고려하여 손가락을 인식한다.