Face Tracking System Using Updated Skin Color

업데이트된 피부색을 이용한 얼굴 추적 시스템

Abstract

*In this paper, we propose a real-time face tracking system using an adaptive face detector and a tracking algorithm. An image is divided into the regions of background and face candidate by a real-time updated skin color identifying system in order to accurately detect facial features. The facial characteristics are extracted using the five types of simple Haar-like features. The extracted features are reinterpreted by Principal Component Analysis (PCA), and the interpreted principal components are processed by Support Vector Machine (SVM) that classifies into facial and non-facial areas. The movement of the face is traced by Kalman filter and Mean shift, which use the static information of the detected faces and the differences between previous and current frames. The proposed system identifies the initial skin color and updates it through a real-time color detecting system. A similar background color can be removed by updating the skin color. Also, the performance increases up to 20% when the background color is reduced in comparison to extracting features from the entire region. The increased detection rate and speed are acquired by the usage of Kalman filter and Mean shift.

1. 서 론

어린이집 폭행사건, 학교 내에서의 어린이 성폭행 등 많은 범죄가 발생함으로 인해 CCTV의 중요성이 크게 대두되고 있다. CCTV(Closed Circuit Television)는 화상 정보를 특정의 목적으로 특정의 사용자에게 전달하는 시스템으로 대부분 위치가 고정되어 있어서 사각지대가 발생하고, 이 사각지대로 인해 CCTV가 설치된 방향 외에서 발생하는 사건에 대해서 대처할 수 없는 단점을 가지고 있다. 이러한 단점을 해결하기 위한 대안으로 지능형 CCTV에 대한 관심이 크게 높아지고 있다. 지능형 CCTV는 카메라의 방향이 고정되어 있는 것이 아니라 소리나 움직임 등의 상황을 인식해서 자동으로 감시 기능을 수행하는 CCTV를 말한다. 하지만 지능형 CCTV의 경우도 정확한 얼굴 검출과 추적이 필수적이다. 본 논문에서는 실시간으로 갱신되는 피부색 정보와 효과적인 검출기를 이용해서 얼굴을 검출하고 Kalman filter와 Mean shift를 이용해서 얼굴을 추적하는 시스템을 제안한다.

인간의 얼굴에 대한 정보는 일반 사물처럼 고정된 것이 아니라 얼굴표정, 인종, 나이, 성별, 헤어스타일, 조명, 카메라의 기계적인 특성 등에 따라 다양하게 나타날 수 있다. 따라서 이 같은 환경에 따른 다양한 방법의 얼굴 검출 기법들이 연구되고 있다. 얼굴 검출기법은 크게 얼굴의 지역적 특징(Local Feature)에 근거한 방법[1]과 얼굴의 전체형상(Template Based Feature)에 기반을 둔 방법[2-6]으로 나눌 수 있다. 지역적 특성에 근거한 방법은 얼굴이 지니는 고유특징들의 크기와 위치, 각도 등 특징 요소들의 상관관계를 기반으로 얼굴을 검출한다. 이 방법은 눈, 코, 입이 모두 뚜렷하게 존재하는 영상에서 높은 인식률을 나타낸다. 하지만, 영상 내에 얼굴이 하나일 때만 검출이 가능하고 다양한 크기의 얼굴을 찾기 위해 멀티스케일의 검색 윈도우를 이용하여 영상에서 쉬프트하면서 스캔을 수행해야하기 때문에 연산량이 많은 단점을 가지고 있다. 얼굴의 전체 형상을 이용하는 방법은 형태 정보와 색상 정보를 이용한 방법[2-6]이 있다. 형태 정보를 이용하는 방법은 표준적인 얼굴 형판을 만들고 입력 영상을 형판과 비교하여 얼굴영역을 검출하는 방법이이고, 색상 정보를 이용한 방법은 스킨칼라 모델을 이용해서 얼굴을 검출하는 방법이다. 얼굴 전체형상을 이용하는 방법은 얼굴의 일부가 다른 객체에 의해 가려지거나 얼굴의 각이 기울어질 경우와 조명의 변화정도에 따라 얼굴 검출률이 크게 떨어지는 단점을 가지고 있다.

검출된 얼굴을 추적하기 위한 여러 가지 기법들로 Optical flow[7-8], Mean shift[9-10], Kalman filter [11-12] 필터 등이 있다. Optical flow는 입력 영상 프레임의 시간적 벡터와 프레임내의 화소들의 위치변화에 대한 속도를 공간적 벡터로 표현하여 물체의 이동을 인식하고 추적 한다. Mean shift를 이용한 방법은 타겟 모델과 후보 모델 사이의 유사도를 측정하고, 이 유사도를 최대로 하는 위치로 후보 모델의 위치를 변경하여 물체를 추적한다. Kalman filter를 이용하는 방법은 백색 가우시안 노이즈를 가진 선형동적 시스템에서 외부에서 관측된 값과 측정된 에러들로부터 다음 상태를 예측한다.

본 논문에서는 연속적으로 입력되는 영상에서 적응적 피부색 검출기를 이용해서 얼굴 후보영역을 검출하고, 효과적인 얼굴 검출기를 이용해서 얼굴을 검출한 다음 Kalman filter와 Mean shift를 이용하여 실시간으로 얼굴을 추적하는 시스템을 제안한다.

 

2. 얼굴 검출 및 추적 시스템 전체 구성

본 논문에서 제안하는 얼굴 검출 및 추적 시스템의 전체 구성은 Fig. 1과 같다.

Fig. 1.Main stages of the proposed face tracking system.

먼저 영상이 입력되면 미리 학습된 피부색 데이터를 이용해서 피부색 후보영역과 배경영역을 분리하고, 실시간으로 업데이트 되는 피부색 영역을 이용해서 얼굴 후보영역을 검출한다. 다음으로 PCA[13-15]와 Haar-like 특징 값을 이용해서 얼굴영역을 검출할 수 있는 유용한 특징 값을 추출한 다음 이 특징 값들을 SVM[16-17]의 학습패턴으로 사용해서 분류기를 구성하고 분류한다. 최종적으로 검출된 얼굴영역을 Kalman filter와 Mean shift를 이용해서 추적한다.

2.1 얼굴 후보영역 검출

얼굴 후보영역 검출방법은 Fig. 2와 같다. 영상이 입력되면 움직이는 피부색을 검출하기 위해 차 연산을 수행한다. 차 연산이 수행된 영상은 형광등 불빛이나 외부의 급격한 조명변화로 인해 많은 잡음을 포함하고 있다. 전처리 과정으로 미디언 필터를 이용해서 잡음을 제거한다. 미디언 필터는 식 (1)과 같다.

Fig. 2.Structure of the proposed face candidate region detection system.

는 미디언 필터를 사용해서 잡음을 제거한 영상이다. (s,t)는 마스크의 좌표 값이고, Sx,y는 마스크의 크기이다. 본 논문에서는 사용된 미디언 필터의 마스크의 크기는 3×3이다. 미디언 필터는 Fig. 3과 같이 3×3 크기의 구조요소 밝기 값을 정렬한 후 중앙값을 구조요소의 중심 값으로 사용한다.

Fig. 3.Calculating the median value of pixel neighborhood.

이전단계에서 잡음이 제거된 영상과 인터넷에서 수집한 영상 100개에서 손과 얼굴부분만 잘라내어 학습데이터 만들어진 피부색 영역을 이용해서 피부색 후보영역을 추출한다. Fig. 4는 본 논문에 사용된 피부색 학습데이터이다.

Fig. 4.Images used for skin color training.

이전 단계에서 만들어진 피부색 후보영역에서 얼굴 후보영역을 검출한다. 먼저 학습된 피부색을 이용해서 피부색 후보영역을 추출한다. 이때 추출된 피부색 후보영역은 다양한 얼굴을 대상으로 학습한 영상이기 때문에 피부색 영역이 광범위하다. 본 논문에서는 정확한 피부색 후보영역의 검출을 위해서 학습된 피부색에서 검출된 피부색 후보영역 중 차 연산을 이용해서 움직이는 피부색영역을 검출해서 얼굴 후보영역으로 결정한다. 현재 프레임의 피부색 영역이 이전 5 프레임에서 움직임이 없을 경우 배경으로 간주한다. 수식 (2)는 피부색 영역을 축소하는 식이다.

본 논문에서는 α 값을 실험적으로 가장 좋은 결과를 보여주는 0.05를 사용한다. 다음으로 업데이트된 피부색을 이용해서 얼굴후보영역을 추출한다. 분리된 영상에서 모폴로지 연산을 이용해서 잡음 픽셀을 제거한다. 다음으로 레이블링 알고리즘을 이용해서 레이블링하고 400pixel이하의 얼굴 후보영역은 잡음으로 간주해서 얼굴후보영역에서 제외한다.

레이블링 알고리즘으로는 Grass Fire를 사용한다. 알고리즘의 탐색 방법은 상, 하, 좌, 우 4방향으로 탐색한다. 레이블링을 수행하기 위해 얼굴후보영역을 255, 배경부분은 0으로 이진화 한다. 그리고 시작 지점 (0,0)은 0으로 번호를 부여한다. Fig. 5(b)와 같이 처음 밝은 화소를 만나면 좌표 스택에 좌표를 저장 하고 8-이웃을 검색한다. 8-이웃 중에 밝은 화소를 발견하게 된다면 번호를 확인한다. 번호가 0이면 좌표 스택에 저장하고 다시 8-이웃 화소를 검색한다. Fig. 5(c) 같이 더 이상 밝은 좌표가 없이 배경만 나타난다면 스택에 있는 좌표를 꺼내 Fig. 5(d)와 같은 방법으로 탐색한다. 영상에 모든 번호가 부여될 때까지 알고리즘을 수행한다. 레이블링 과정에서 Fig. 5(a)와 같이 각 후보 영역들의 top, bottom, left, right의 좌표들을 구할 수 있으며 4개의 좌표를 이용해 중심 좌표를 계산 할 수 있다.

Fig. 5.Processing of Grass Fire labeling algorithm.

이 단계를 거침으로써 전체 영상에서 피부색 영역만 얼굴 후보영역으로 추출하게 된다. Fig. 6은 얼굴 후보영역을 추출한 예이다. Fig. 6(a)는 입력 영상이고, Fig. 6(b)는 미리 학습된 피부색에 의한 얼굴 후보영역으로 결정된 영상이다. Fig. 6(c)는 실시간으로 업데이트 되는 피부색에 의해 배경영역이 제거된 영상이고, Fig. 6(d)는 잡음영역이 제거되고 최종적으로 얼굴후보영역이 결정된 영상이다.

Fig. 6.Examples of detecting face candidate region.

2.2 특징 추출 및 분류기 학습

본 논문에서는 얼굴 특징을 추출하기 위해 Fig. 7과 같은 다섯 종류의 심플한 Haar-like 특징 값[18]을 이용하였다. 이 Haar-like 특징 값은 각 영역들 간의 평균에 대한 차를 나타내기 때문에 픽셀 기반의 특징 보다 연산이 간단하고 효율적이다. 그러나 이 특징들은 매우 많은 양의 학습 데이터를 필요로 한다. 따라서 우리는 PCA를 이용하여 학습 데이터 중 유용한 데이터만 추출해서 사용하였다.

Fig. 7.Five Haar-like features used in the facial detection system.

각 5개의 특징들로부터 모든 가능한 특징 값을 추출하고 PCA를 통해 설명 비율이 90% 이상 되는 유용한 12개의 주성분을 사용하였다. 12개의 주성분들을 사용하여 모든 가능한 162,336개의 Haar-like 특징 값들 중에서 288차원의 유용한 Haar-like 특징을 선별한다. 선별된 288차원의 특징 값들은 SVM 분류기의 입력 벡터로 사용되어진다.

2.3 분류기 학습

본 논문에서는 학습데이터를 구성하기 위해 총 6977개의 MIT CBCL 학습 Face Data Set중 얼굴 영상 1000개, 얼굴이 아닌 영상 1000개를 랜덤하게 선정하고 각 이미지를 24×24크기로 정규화 하였다.

Fig. 8은 심플한 특징 추출, 특징 분석, 그리고 분류기 구성에 대한 전체 과정을 나타낸다. 먼저 PCA를 통해 추출된 Haar-like 특징들로부터 유용한 특징들을 선별한다. 선별된 288차원의 유용한 특징들을 얼굴 1000개, 비 얼굴 1000개의 전체 학습영상에 적용하여 입력 벡터로 변환한다. 마지막으로 변환된 입력 벡터들은 SVM 분류기의 학습을 위해 사용된다.

Fig. 8.Structure of the proposed face detection system.

2.4 Kalman filter와 Mean shift를 이용한 얼굴 추적

얼굴을 검출하고 추적함에 있어 얼굴부분이 사라지거나 심하게 기울어지거나 상호간 겹침이 발생할 경우 얼굴을 검출하지 못하는 문제가 발생한다. 본 논문에서는 이러한 문제가 발생하더라도 효과적으로 얼굴을 추적하기 위해 Kalman filter와 Mean shift알고리즘을 사용한다. Kalman filter는 이전 프레임에서 얻은 얼굴 영상의 위치 정보를 분석해서 현재 프레임에서의 위치를 결정하고, 다음 프레임을 위한 움직임을 예측하고, Mean shift 알고리즘은 목표모델과 후보영상 사이의 컬러분포의 유사도 Bhattacharyya 계수를 이용하여 판별한 후 탐색한다. 그러나 Kalman filter는 선형추적만 가능하고, Mean shift의 경우 지역 모드로 수렴하는 특성으로 인해 객체의 폐색이 발생할 경우 추적 성공률이 떨어지는 단점이 있다. 본 논문에서는 이러한 문제점들을 해결하기 위해 Kalman filter와 Mean shift 알고리즘을 동시에 사용해서 얼굴을 추적한다.

 

3. 실험 및 결과 분석

본 논문에서 제안하는 얼굴 추적 시스템은 CORE I3-4160(3.6GHZ), Windows 운영체제 환경에서 Visual C++를 이용하여 구현 하였다. 구현된 시스템을 이용하여 다양한 영상에서 얼굴 검출 및 추적을 실험하고 그 결과를 분석 하였다. 실험에 사용하기 위해 유튜브에 공개된 영상, 인터넷 검색엔진을 이용해서 수집한 영상, TV 방송을 캡쳐한 영상, PC-캠으로 실시간으로 입력되는 영상 등, 다양한 영상을 수집하였다.

3.1 학습된 피부색과 업데이트된 피부색 비율에 따른 피부색 검출 결과

Fig. 9는 [수식 2]의 α 값에 따른 True positive rate와 False negative 비율을 나타낸다.

Fig. 9.Detection rate according to the value of α.

True positive는 전체 영상에서 피부색으로 인식해야 할 부분 중 몇 %를 피부색으로 바르게 인식했는지를 나타내고, False negative는 배경으로 인식되어야 할 영역이 피부색으로 잘못 인식된 비율을 나타낸다.

α 값을 0에 가까이 했을 때 초기 피부색상이 업데이트 되지 않아서 배경영역에서 피부색으로 오 인식했던 부분들이 없어지지 않고 계속 남아 있는 비율이 높아져서 검출 효율이 떨어지게 된다. 반대로 α값을 1에 가까이 했을 때는 후보피부색 영역이 급격하게 줄어들어서 얼굴후보영역이 검출되지 않는다. 특히, 급격한 조명변화가 발생할 경우 얼굴후보영역이 완전히 사라지는 문제점이 발생한다. 본 논문에서는 α의 값으로 실험적으로 가장 좋은 결과를 나타내는 0.05를 사용하였다.

3.2 적응적 스킨칼라를 이용하였을 때와 전체 영상에서 얼굴을 검출하였을 때의 비교 실험

본 논문에서는 실시간으로 얼굴 후보 영역을 업데이트 하고, 업데이트된 얼굴 후보영역에서만 얼굴을 검출함으로써 얼굴 검출 성능을 향상시킨다.

Fig. 10은 전체 영상에서 얼굴을 검출한 결과이다. 그림에서 보는바와 같이 넥타이와 팔 부분을 얼굴영역으로 오 인식하는 문제가 발생한다. 하지만 Fig. 11에서 보는바와 같이 얼굴 후보 영역에서 얼굴을 검출할 경우 넥타이와 팔 영역은 얼굴 후보 영역이 아니기 때문에 오 검출이 발생하지 않는다.

Fig. 10.Examples of non-face regions detected as facial regions.

Fig. 11.Examples of facial regions detected from face candidates.

3.3 다양한 조건에서의 얼굴 검출

Fig. 12, 13은 다양한 조건의 입력 영상에서 얼굴을 검출하고 추적한 결과를 보여준다.

Fig. 12는 얼굴영역의 부분적인 다른 객체로 인해 가려졌을 때의 검출 결과를 나타낸다. 그림에서 보는바와 같이 얼굴 검출기로만 검출했을 때는 손에 의해 얼굴 영역이 가려졌을 경우 얼굴을 검출하지 못하는 문제점이 발생하지만 Kalman Filter와 Mean shift를 사용할 경우 정상적으로 얼굴 영역을 검출한다.

Fig. 12.Local occlusion sequence in face tracking.

Fig. 13은 얼굴 영역이 심하게 기울어 졌을 때의 검출 결과를 나타낸다. 그림에서 보는바와 같이 심하게 기울어진 얼굴의 경우 검출기 구성 시 학습 영상에 포함되지 않아서 얼굴영역이 검출되지 않는다. 하지만, 검출을 실패한 기울기 변화가 심한 입력 영상이라도 Kalman filter와 Mean shift를 이용해서 성공적으로 추적이 가능함을 보여준다.

Fig. 13.Face tracking in a heavily rotated face.

3.4 실험결과

본 절에서는 다양한 영상에서 본 논문에서 제안한 방법으로 실험한 결과이다. 본 논문에서 사용하는 방법인 피부색을 이용한 얼굴 후보 영역으로부터의 얼굴을 추출하는 방법의 우수성을 보이기 위하여 전체 영역에서의 얼굴을 추출하는 방법과 비교 실험한 결과를 기술한다.

Table 1은 전체 영상에서 얼굴을 검출했을 때와 본 논문에서 제안한 바와 같이 피부색을 적용해서 얼굴 후보영역을 결정하고, 결정된 후보영역으로만 얼굴을 검출했을 때의 실험 결과를 비교한 것이다. Table 1에서 나타난 바와 같이 피부색 영역에서의 얼굴 검출이 전체 영상에서의 얼굴 검출에 비해 처리속도, 검출률이 향상됨을 볼 수 있다. 특히 처리속도는 피부색 영역을 적용 하지 않았을 때에 비해 평균 20%이상의 향상을 가져옴을 알 수 있다. 이는 시스템이 영상 전체에서 얼굴을 검출하지 않고 얼굴 후보영역에서만 얼굴을 검출하기 때문이다. 그리고 시스템이 배경을 얼굴로 잘못 인식하는 오 검출률의 향상은 배경부분에서 얼굴로 인식될 수 있는 영역을 피부색으로 걸러주기 때문이다.

Table 1.(D.R.: Detection Rate, T.R.: Tracking Rate, F.P.S. : Frame Per Second.)

 

4. 결 론

본 논문은 조명 변화가 심한 영상, 배경이 복잡한 영상, 얼굴의 이동 및 포즈 변화가 심한 영상 등 다양한 조건의 입력 영상에서 실시간 얼굴을 추적하기위한 시스템을 제안하였다. 차 연산을 이용해서 움직이는 피부색 영역을 검출하고, 업데이트해서 현재 영상에서 최적화된 피부색 모델을 만들어 얼굴 후보영역을 추출한다. 다음으로, PCA와 Haar-like 특징 값을 이용해서 얼굴영역과 배경영역을 분리할 수 있는 유용한 특징 값을 추출한다. 이 특징 값들을 SVM의 학습패턴으로 사용해서 분류기를 구성하고 분류한다. 최종적으로 이전 프레임과 현재 프레임의 변화량을 이용하는 Kalman filter와 Mean shift알고리즘을 이용해서 검출된 얼굴을 추적한다.

실시간 업데이트되는 얼굴 후보영역에서 얼굴을 검출함으로써 처리속도를 높이고 오 검출률을 줄일 수 있고, Kalman filter와 Mean shift의 예측 과정을 통해 다양한 변수에 의해 얼굴을 검출하지 못하더라도 다음 프레임에서 최적의 얼굴 위치를 찾고 얼굴을 지속적으로 추적 할 수 있었다.

그 결과 32×240 크기의 입력 영상에서 97%이상의 추적 성공률과 실시간 시스템에 적용이 가능한 초당 24프레임 이상의 처리속도를 얻을 수 있었다.

그러나 본 논문은 조명이 어둡거나 얼굴을 빠르게 돌리거나 얼굴의 일정부분이 지속해서 가려질 경우 추적 오차가 생기거나 검출하지 못하는 문제점을 가지고 있다.

그래서 향후 연구에서는 다양한 환경에서 강인하게 얼굴을 검출할 수 있는 검출 방법과 더불어 여러 대의 카메라를 이용해서 사물에 의해 얼굴의 일정부분이 가려지거나 얼굴을 빠르게 회전하더라도 지속적으로 얼굴을 추적할 수 있는 시스템을 연구하고자 한다.