Face and Hand Tracking Algorithm for Sign Language Recognition

In this paper, we develop face and hand tracking for sign language recognition system. The system is divided into two stages; the initial and tracking stages. In initial stage, we use the skin feature to localize face and hands of signer. The ellipse model on CbCr space is constructed and used to detect skin color. After the skin regions have been segmented, face and hand blobs are defined by using size and facial feature with the assumption that the movement of face is less than that of hands in this signing scenario. In tracking stage, the motion estimation is applied only hand blobs, in which first and second derivative are used to compute the position of prediction of hands. We observed that there are errors in the value of tracking position between two consecutive frames in which velocity has changed abruptly. To improve the tracking performance, our proposed algorithm compensates the error of tracking position by using adaptive search area to re-compute the hand blobs. The experimental results indicate that our proposed method is able to decrease the prediction error up to 96.87% with negligible increase in computational complexity of up to 4%.

수화 인식을 위한 얼굴과 손 추적 알고리즘

본 논문에서는 수화 인식을 위한 얼굴 및 손 추적시스템을 제안한다. 제안된 시스템은 검출 및 추적 단계로 구분된다. 검출 단계에서는 신호의 주체인 얼굴과 손에 위치한 피부 특징을 이용하였다. CbCr 공간에서의 타원 모델을 구성하여 피부 색상을 검출하고 피부 영역을 분할한다. 그리고 크기와 얼굴 특징을 이용하여 얼굴과 손 영역을 정의한다. 추적 단계에서는 동작 추정을 위하여 첫 번째 손 영역으로 예측된 다음의 손위치를 연산함으로써 두 번째 손의 영역을 유도해낸다. 그러나 갑작스런 움직임의 속도 변화가 있을 경우 연속된 프레임에서 추적된 위치는 부정확하였다. 이러한 점을 해결하고자 손 영역에 대하여 반복적인 재연산을 수행하여 적응적으로 영역을 찾음으로써 오차를 보정하도록 하였다. 실험 결과 제안된 방법은 기존의 방법보다 4%의 처리 시간이 증가된 반면, 예측 오차는 96.87%까지 감소시킬 수 있었다.