A Real-Time Head Tracking Algorithm Using Mean-Shift Color Convergence and Shape Based Refinement

In this paper, we propose a two-stage head tracking algorithm adequate for real-time active camera system having pan-tilt-zoom functions. In the color convergence stage, we first assume that the shape of a head is an ellipse and its model color histogram is acquired in advance. Then, the min-shift method is applied to roughly estimate a target position by examining the histogram similarity of the model and a candidate ellipse. To reflect the temporal change of object color and enhance the reliability of mean-shift based tracking, the target histogram obtained in the previous frame is considered to update the model histogram. In the updating process, to alleviate error-accumulation due to outliers in the target ellipse of the previous frame, the target histogram in the previous frame is obtained within an ellipse adaptively shrunken on the basis of the model histogram. In addition, to enhance tracking reliability further, we set the initial position closer to the true position by compensating the global motion, which is rapidly estimated on the basis of two 1-D projection datasets. In the subsequent stage, we refine the position and size of the ellipse obtained in the first stage by using shape information. Here, we define a robust shape-similarity function based on the gradient direction. Extensive experimental results proved that the proposed algorithm performs head hacking well, even when a person moves fast, the head size changes drastically, or the background has many clusters and distracting colors. Also, the propose algorithm can perform tracking with the processing speed of about 30 fps on a standard PC.

Mean-Shift의 색 수렴성과 모양 기반의 재조정을 이용한 실시간 머리 추적 알고리즘

이 논문에서는 팬-틸트-줌 기능을 가지는 실시간 능동카메라 시스템에 적합한 2단계 머리 추적 알고리즘을 제안한다. 먼저, 색 수렴 단계에서는 머리의 모양을 타원으로 가정하고 모델 색-히스토그램을 얻는다. 그 후, 모델과 후보 타원의 색-히스토그램간의 유사도를 검사하여 목표 물체의 대략적인 위치를 구하기 위해 mean-shift 방법을 이용한다. 여기에서 영상 내 물체 영역의 색 분포가 카메라의 관찰 방향에 따라 달라지는 것을 고려하기 위하여, 모델 히스토그램 뿐 아니라 이전 프레임에서 얻어진 타원의 색 히스토그램도 함께 고려함으로써 mean-shift의 수렴성을 향상시킨다. 특히, 이전 프레임에서 결정된 타원 내부의 가장자리 영역에 포함되어 있는 배경 색 성분에 의한 오류 누적 문제를 해소하기 위해, 모델 히스토그램을 이용하여 타원의 크기를 적응적으로 축소함으로써 이전 추적 결과중 머리 영역에 해당되는 색 히스토그램을 얻는다. 또한 영상 내의 전역 움직임을 예측하고 이를 보상하여 정확한 초기 위치를 찾음으로써 mean-shift의 색 수렴성을 더욱 향상시킨다. 이 때, 고속 움직임 추정을 위해 1-D 투사 데이터 기반의 방법을 제안한다. 다음 단계에서는, 모양 정보를 이용하여 수렴단계에서 얻어진 타원의 위치와 크기를 보다 정확히 재조정한다. 이를 위해 영상 내 경사도의 방향에 기반한 강건한 모양 유사도 함수를 정의하고 사용한다. 다양한 환경을 고려한 실험을 통하여, 사람의 움직임이 빠른 경우, 영상 내 머리 크기의 변화가 심한 경우, 그리고 배경의 색과 모양이 매우 복잡한 경우에 대해서도 제안한 알고리즘이 비교적 정확히 추적을 수행함을 보였다. 아울러 제안한 알고리즘은 추적을 수행하는데 일반 PC에서 약 30fps의 처리 속도를 보여 실시간 시스템에 적합하다.