A Hybrid Approach of Efficient Facial Feature Detection and Tracking for Real-time Face Direction Estimation

In this paper, we present a new method which efficiently estimates a face direction from a sequences of input video images in real time fashion. For this work, the proposed method performs detecting the facial region and major facial features such as both eyes, nose and mouth by using the Haar-like feature, which is relatively not sensitive against light variation, from the detected facial area. Then, it becomes able to track the feature points from every frame using optical flow in real time fashion, and determine the direction of the face based on the feature points tracked. Further, in order to prevent the erroneously recognizing the false positions of the facial features when if the coordinates of the features are lost during the tracking by using optical flow, the proposed method determines the validity of locations of the facial features using the template matching of detected facial features in real time. Depending on the correlation rate of re-considering the detection of the features by the template matching, the face direction estimation process is divided into detecting the facial features again or tracking features while determining the direction of the face. The template matching initially saves the location information of 4 facial features such as the left and right eye, the end of nose and mouse in facial feature detection phase and reevaluated these information when the similarity measure between the stored information and the traced facial information by optical flow is exceed a certain level of threshold by detecting the new facial features from the input image. The proposed approach automatically combines the phase of detecting facial features and the phase of tracking features reciprocally and enables to estimate face pose stably in a real-time fashion. From the experiment, we can prove that the proposed method efficiently estimates face direction.

실시간 얼굴 방향성 추정을 위한 효율적인 얼굴 특성 검출과 추적의 결합방법

본 논문에서는 실시간으로 입력되는 비디오 영상으로부터 사용자의 얼굴 방향을 효율적으로 추정하는 새로운 방법을 제안하였다. 이를 위하여 입력 영상으로부터 외부조명의 변화에 덜 민감한 Haar-like 특성을 이용하여 얼굴영역의 검출을 수행하고 검출 된 얼굴영역 내에서 양쪽 눈, 코, 입 등의 주요 특성을 검출한다. 이 후 실시간으로 매 프레임마다 광류를 이용해 검출된 특징 점을 추적하게 되며, 추적된 특징 점을 이용해 얼굴의 방향성 추정한다. 일반적으로 광류를 이용한 특징 추적에서 발생할 수 있는 특징점의 좌표가 유실되어 잘못된 특징점을 추적하게 되는 상황을 방지하기 위하여 검출된 특징점의 템플릿 매칭(template matching)을 사용해 추적중인 특징점의 유효성을 실시간 판단하고, 그 결과에 따라 얼굴 특징 점들을 다시 검출하거나, 추적을 지속하여 얼굴의 방향성을 추정을 가능하게 한다. 탬플릿 매칭은 특징검출 단계에서 추출된 좌우 눈, 코끝 그리고 입의 위치 등 4가지 정보를 저장한 후 얼굴포즈 측정에 있어 광류에의해 추적중인 해당 특징점들 간의 유사도를 비교하여 유사도가 임계치를 벗어 날 경우 새로이 특징점을 찾아내는 작업을 수행하여 정보를 갱신한다. 제안된 방법을 통해 얼굴의 특성 추출을 위한 특성 검출과정과 검출된 특징을 지속적으로 보완하는 추적과정을 자동적으로 상호 결합하여 안정적으로 실시간에 얼굴 방향성 추정 할 수 있었다. 실험을 통하여 제안된 방법이 효과적으로 얼굴의 포즈를 측정할 수 있음을 입증하였다.