초록
본 논문에서는 키보드나 마우스를 이용하지 않고 손 포즈나 동작으로 직관적인 사용자 인터 페이스를 제공하기 위한 실시간 손 포즈 인식 방법을 제안한다. 먼저 깊이 카메라 입력영상에서 왼손과 오른손의 영역을 분할 및 잡음 보정 후 각 손 영역에 대하여 손 회전각과 손 중심점을 계산한다. 그리고 손 중심점에서 일정간격으로 원을 확장해 나가면서 손 경계 교차점의 중간 지점을 구해 손가락 관절점과 끝점을 검출한다. 마지막으로 앞서 구한 손 정보와 이전 프레임의 손 모델간의 매칭을 수행하여 손 포즈를 인식한 후 다음 프레임을 위하여 손 모델을 갱신한다. 본 방법은 연속된 프레임간의 시간 일관성을 이용하여 이전 프레임의 손 모델 정보를 통하여 은닉된 손가락의 예측이 가능하다. 양손을 사용하여 은닉된 손가락을 가진 다양한 손 포즈에 대해 실험한 결과 제안 방법은 평균 95% 이상의 정확도로 32 fps 이상의 성능을 보였다. 제안 방법은 프리젠테이션, 광고, 교육, 게임 등의 응용분야에서 비접촉식 입력 인터페이스로 사용될 수 있다.
In this paper, we present a real-time hand pose recognition method to provide an intuitive user interface through hand poses or movements without a keyboard and a mouse. For this, the areas of right and left hands are segmented from the depth camera image, and noise removal is performed. Then, the rotation angle and the centroid point of each hand area are calculated. Subsequently, a circle is expanded at regular intervals from a centroid point of the hand to detect joint points and end points of the finger by obtaining the midway points of the hand boundary crossing. Lastly, the matching between the hand information calculated previously and the hand model of previous frame is performed, and the hand model is recognized to update the hand model for the next frame. This method enables users to predict the hidden fingers through the hand model information of the previous frame using temporal coherence in consecutive frames. As a result of the experiment on various hand poses with the hidden fingers using both hands, the accuracy showed over 95% and the performance indicated over 32 fps. The proposed method can be used as a contactless input interface in presentation, advertisement, education, and game applications.
