Abstract
This paper proposes a fast face tracking method with only depth information. It is basically a template matching method, but it uses a early termination scheme and a sparse search scheme to reduce the execution time to solve the problem of a template matching method, large execution time. Also a refinement process with the neighboring pixels is incorporated to alleviate the tracking error. The depth change of the face being tracked is compensated by predicting the depth of the face and resizing the template. Also the search area is adjusted on the basis of the resized template. With home-made test sequences, the parameters to be used in face tracking are determined empirically. Then the proposed algorithm and the extracted parameters are applied to the other home-made test sequences and a MPEG multi-view test sequence. The experimental results showed that the average tracking error and the execution time for the home-made sequences by Kinect ($640{\times}480$) were about 3% and 2.45ms, while the MPEG test sequence ($1024{\times}768$) showed about 1% of tracking error and 7.46ms of execution time.
본 논문에서는 깊이 정보만을 이용하여 얼굴을 고속으로 추적하는 방법을 제안하다. 그 방법으로는 템플릿 매칭 방법을 사용하며, 템플릿 매칭 방법의 문제점인 과다한 수행시간의 문제를 해결하여 고속으로 얼굴을 추적하기 위하여 조기종료 기법과 sparse 탐색 기법을 적용하고, 그에 따른 추적오류를 보정하고자 주변 화소들을 대상으로 매칭보정을 수행한다. 얼굴의 움직임에 따른 깊이의 변화를 보정하기 위해 추적할 얼굴의 깊이 값을 추정하고 그 결과에 따라 템플릿의 크기를 조정한다. 또한 조정된 템플릿의 크기에 따라 템플릿 매칭을 수행할 탐색영역을 조정한다. 자체 제작한 테스트 시퀀스들을 사용하여 추적에 필요한 파리미터들을 결정하였으며, 또 다른 자체 제작한 테스트 시퀀스들과 MPEG에서 제공한 다시점 테스트 시퀀스를 제안한 방법에 적용하는 실험을 수행하였다. 실험결과 Kinect을 이용하여 자체제작($640{\times}480$) 시퀀스에서는 약 3%의 추적오류와 2.45ms의 수행시간을 보였으며, Lovebird1($1024{\times}768$) 시퀀스에서는 약 1%의 추적 오류와 7.46ms의 수행시간을 보였다.
