Face Image Analysis using Adaboost Learning and Non-Square Differential LBP

아다부스트 학습과 비정방형 Differential LBP를 이용한 얼굴영상 특징분석

Abstract

In this study, we presented a method for non-square Differential LBP operation that can well describe the micro pattern in the horizontal and vertical component. We proposed a way to represent a LBP operation with various direction components as well as the diagonal component. In order to verify the validity of the proposed operation, Differential LBP was investigated with respect to accuracy, sensitivity, and specificity for the classification of facial expression. In accuracy comparison proposed LBP operation obtains better results than Square LBP and LBP-CS operations. Also, Proposed Differential LBP gets better results than previous two methods in the sensitivity and specificity indicators 'Neutral', 'Happiness', 'Surprise', and 'Anger' and excellence Differential LBP was confirmed.

서 론

원활한 의사소통을 위하여 인간은 타인의 감정을 시각이나 청각 등의 감각으로 인식하여 그에 맞는 화법이나 행위를 선택해 왔지만 항상 올바르게 인식하는 일은 어렵다. 최근에슨 인간의 행동에 대한 분석의 필요성과 인식 기술의 발전에 따른 자동적 감정 인식 기법들이 제안되었고 상용화 단계에까지 이르고 있다. 이는 타인과의 직접적 대화를 넘어서 사업자는 소비자에게 향상된 서비스를 제공하거나 인간과 로봇의 의사소통에도 이용할 수 있게 되었다. 인간은 타인의 감정을 인식함에 있어 시각적 정보에 의해 얼굴표정을 분석하는 과정을 거친다. 감정을 인식하는 기법 중에 영상정보를 이용하는 기법들이 뛰어난 성능을 보이고 있으나 만족할 만한 성능을 보여 주기에는 어려움이 따른다.

영상정보로부터 표정을 인식함에 있어 얼굴의 최적영역을 효과적으로 추출하는 AAM[1]기법이 개발됨에 따라 이를 기반으로 많은 기법들이 연구되었다. Cheon[2]은 AAM의 파라미터의 변화량을 특징으로 이용하여 얼굴표정을 인식하였으며, 학습기로서 k-근접 이웃법을 사용하였다. Ahraf[3] AAM으로 검출한 얼굴의 형태특징과 질감특징을 기반으로 고통을 느끼는 얼굴표정을 인식하였으며 학습기로서 SVM(Support Vector Machine)을 이용하였다.

Matthew[4]는 얼굴영상을 기반으로 Gabor wavelet으로 추출한 특징을 주성분 분석기법을 이용하여 표정을 인식하였다. Kostia[5]는 얼굴의 랜드마크 점들을 옵티컬 플로우를 이용하여 추적함으로써 얼굴표정을 인식하는 연구를 수행하였다.

최근 얼굴 감정 인식에 있어 영상 기반 방법의 하나로서 LBP[6]와 SVM을 사용한 연구가 수행되었다[7,8]. Ojala 등에 의해 소개된 LBP는 물체에 대한 높은 식별력이 있으며 조명 변화에 대한 강인성, 그리고 간단한 연산 때문에 영상인식 분야에 많이 사용되고 있다. 또한 LBP가 얼굴인식에 널리 사용되면서 변형된 형태로서 CS(Center-Symmetric)-LBP[9]가 사용되었으며 이는 특징벡터의 차원을 줄이면서 대각방향의 성분을 나타낼 수 있다. 최근 반경의 크기를 다중화시킨 멀티스케일 LBP를 이용하여 얼굴의 표정을 검출한 연구가 있었다[8].

본 연구에서는 수평과 수직 방향 성분의 마이크로 패턴을 잘 묘사할 수 있는 비정방형태의 Differential LBP연산 방법을 제시하였고 대각선 방향성분 뿐만 아니라 다양한 방향성분을 나타낼 수 있는 LBP연산 방법을 제안하였다. 수평과 수직 방향의 LBP연산의 마스크를 변화시킴으로서 기존의 정방형태의 LBP연산에서 묘사하기 어려운 다양한 형태의 미세패턴의 형상을 표현할 수 있게 되었다. 또한 기존의 CS-LBP에서는 45도와 135도 방향의 방향 성분을 표현할 수 있었지만 제안한 Differential LBP연산에서는 수평과 수직 성분의 크기가 변화에 따라서 25가지 각도 성분을 표현할 수 있다.

제안한 Differential LBP연산의 유효성을 검증하기 위하여 얼굴표정의 분류결과에 대하여 정확도(accuracy), 민감도(sensitivity) 및 특이도(specificity)를 계산하였다. 제안한 LBP 연산을 Square LBP, CS-LBP 연산의 정확도를 비교한 결과 더 우수한 결과를 얻었다. ‘무표정’, ‘행복’, ‘놀람’, ‘화냄’에 대한 민감도와 특이도 지표에서도 네 가지 표정 모두 두 방법보다 우수한 결과를 얻어 제안한 Differential LBP의 우수성을 확인할 수 있었다.

 

2. 관련 연구

2.1 LBP(Local Binary Patterns)

Ojala에 의해 소개된 LBP는 물체에 대한 높은 식별능력과 조명 변화에 대한 강인성이 있으며 간단한 연산 때문에 영상인식 분야에 다양하게 적용되고 있으며 최근에는 표정 인식에 사용되고 있다[7,8]. 또한 LBP 히스토그램이 얼굴인식 분야에 널리 사용되면서 조명변화에 강인한 특성을 이용한 인식 방법이 연구되고 있다.

LBP 연산은 식 (1)과 같으며 현재 위치의 화소와 이웃 화소화의 차이를 0과 1로 나타낸다. 여기서 P, R, gc, gp는 각각 인접 화소수와 원의 반경, 현재 화소, 이웃화소를 의미한다.

2.2 CS-LBP

LBP가 얼굴인식에 널리 사용되면서, 여러 가지 방법으로 다양하게 변화된 LBP 변형들 이 나타나게 되었다. 그 중 CS-LBP는 핀란드 Oulu 대학의 Pietikäinen 교수팀의 Marko Heikkilä가 제안한 방법으로 기존의 LBP가 이진 코드값을 가지면서 히스토그램 기반의 매칭방법으로 얼굴인식을 수행할 경우 특징벡터의 차원이 늘어나는 단점이 발생한다. 이것을 보완하기 위해서 CS-LBP를 제안하였다.

CS-LBP 방법은 중심화소와 인근 화소값의 비교과정 통하여 이진패턴을 만들지 않고, 중심화소를 기준으로 대칭되는 이웃화소들과의 비교만을 통하여 이진패턴을 만드는 방법으로 수식 (2)와 같이 계산된다. 예를 들어, LBP(8,1)일 경우 값은 0에서 255까지의 값을 가지지만, CS-LBP에서의 가중치는 20 부터 23까지이므로 패턴의 최대값은 15가 된다. LBP의 최대값이 255인 것에 반해 CS-LBP는 15의 값을 갖는 것은 기존의 이진패턴 히스토그램을 이용한 얼굴인식 방법에 있어서, CS-LBP가 히스토그램 특징벡터의 차원을 줄이는 의미를 가진다.

2.3 아다부스트 학습

아다부스부스트 학습 알고리즘은 1999년 Freund와 Schapire[10]에 의해 제안되었으며 기존 부스팅 알고리즘이 가진 실질적인 문제점을 해결하였다. 아다부스트 학습은 일련의 라운드 t = 1,⋯,T에서 반복적인 weak 학습 알고리즘을 의미한다. 알고리즘은 학습 집합에 대해서 가중치의 분포 또는 집합을 유지하는 것이다. 라운드 t에서 학습 샘플 i에 대한 분포 가중치는 Dt(i)로 표시된다. 초기의 모든 가중치들은 같은 값으로 설정되지만 각 라운드에서 부정확하게 분류된 샘플들의 가중치들이 점차 증가하여 약 분류기가 학습 집합의 오인식된 샘플에 집중하도록 강제한다. Weak hypothesis ht가 받아들여지면 부스팅은 파라메터 αt를 선택하며 αt는 ht에 할당된 중요도를 수치화한다. 이의 효과는 ht에 의해 오인식되는 샘플의 가중치는 증가하고 올바르게 인식되는 샘플의 가중치는 감소한다. 최종 hypothesis H는 T개의 weak hypothesis들의 가중화된 값이며 αt는 ht에 할당된 가중치이다.

2.4 SVM 다중 분류기

데이터 분류를 위한 강력한 기계 학습 기법으로서 SVM은 데이터를 높은 차원의 공간으로 변환하고 분리 경계면과 이와 인접한 서포트 벡터와의 거리를 최대화함으로써 각 클래스를 구분하는 최적 분리 경계면을 구한다[11].

SVM은 이진 분류기지만 다양한 감정의 분류를 위해서는 멀티 클래스 분류가 필요하며 이를 위하여 본 연구에서는 One-against-all 방법을 사용한다. One-against-all 방법은 이진 분류모형을 이용하여 다중 분류 문제를 해결하기 위해 사용된 방법이다[12]. k개의 클래스를 분류하는 문제에 이 방법을 적용하면, k개의 이진분류모형을 이용하여 i번째 모형에서 분류결과에 따라 i에 소속되는 데이터와 i외의 다른 클래스에 소속되는 데이터로 분류하는데 동일한 단계를 k번 학습한 다음 분류 단계에서 입력영상과 k개의 이진분류 모형 중 가장 큰 거리값을 가지는 이진 분류모형의 표정으로 출력이 결정된다.

 

3. 방 법

3.1 제안한 Differential LBP

기존의 LBP의 경우 방향성에 대한 정보가 결여되어 있어서 미세패턴이 방향성이 있을 경우 이를 묘사하기에 어려움이 있었다. CS-LBP의 경우 수직, 수평 및 대각선 방향의 정보가 있어 방향성이 있는 미세패턴을 기술할 수 있으나 사용되는 방향벡터의 차원이 적어 일반적인 상황에서 LBP보다 인식률이 떨어지는 단점이 있다.

본 연구에서는 기존 LBP와 CS-LBP의 단점을 극복하기 위하여 수직, 수평, 대각선 방향의 미세패턴을 묘사할 수 있는 Differential LBP를 제안하였고, 정방 크기의 LBP 형태 뿐만 아니라 수평과 수직의 크기를 가변시킴으로서 다양한 형태의 미세 패턴을 묘사할 수 있는 방법을 제안하였다.

먼저 수평과 수직방향 패턴을 묘사할 수 있는 Differential LBP를 Fig. 1과 식 (3)에 보였다. 수직과 수평 방향의 Differential LBP는 마주한 두 픽셀의 차로서 구현되며 수평 3비트 수직 3비트의 합인 6비트로서 표현된다. Fig. 2와 3에서는 정방형태의 Differential LBP 연산을 확장하여 다양한 크기의 수직과 수평 미세 패턴을 기술할 수 있는 멀티스케일 Differential LBP 마스크를 보여주고 있다.

Fig. 1.Differential LBP of horizontal and vertical direction.

Fig. 2.Extension of horizontal Differential LBP in square shape.

Fig. 3.Extension of vertical Differential LBP in square shape.

Fig. 4와 식 (4)에서 대각선 방향의 Differential LBP 연산의 계산방법을 보여주고 있다. 대각선 45도 방향과 135도 방향의 LBP 연산과정을 보여주고 있으며 대상 물체의 45도 및 135도 각도의 미세패턴을 기술할 수 있게 된다. Fig. 5와 6에서는 정방형태의 Differential LBP 연산을 확장하여 다양한 크기의 45과 135도 방향의 대각선 성분의 미세 패턴을 기술할 수 있는 멀티스케일 Differential LBP 마스크를 보여주고 있다.

Fig. 4.Differential LBP of diagonal direction.

Fig. 5.Extension of 45 degree Differential LBP in square shape.

Fig. 6.Extension of 135 degree Differential LBP in square shape.

Fig. 7, 8은 Differential LBP 연산을 수평 방향으로 LBP 연산의 반경을 1×1에서 1×5까지 확장시키고 수직방향으로 1×1에서 5×1확장시킨 후 최종적으로 5×5 확장시켜 정방형의 Differential LBP연산 뿐만 아니라 비정방형태의 연산이 수행되도록 하여 다양한 형태의 미세패턴을 기술할 수 있게 되었다. Fig. 9, 10은 방향성 Differential LBP 연산을 위하여 수평과 수직방향으로 비정방형 형태로 마스크를 확장시켜 다양한 각도의 Differential LBP 연산이 가능하게 하였다. R의 크기를 수평 방향과 수직 방향이 동일한 정방 형태의 경우 45도 및 135도의 미세 패턴을 표현할 수 있지만 비정방형의 LBP연산의 경우 다양한 각도의 미세패턴을 표현할 수 있다.

Fig. 7.Extension of Differential LBP to vertical direction.

Fig. 8.Extension of Differential LBP to horizontal direction.

Fig. 9.Extension of Differential LBP to first quadrant.

Fig. 10.Extension of Differential LBP to second quadrant.

3.2 제안한 Differential LBP를 이용한 분류 과정

제안한 표정분류 방법 Fig. 11과 같이 학습과정과 분류과정으로 구성되어 있으며 학습과정은 네 가지 표정 데이터에 대한 Differential LBP연산 수행, 특징벡터를 추출하고 아다부스트 학습을 통하여 100개의 주요 특징 인자를 추출하는 과정, 이를 다중 클래스 SVM을 이용하여 학습하는 과정으로 구성된다. 분류과정에서는 학습과정에서 생성된 SVM 모델과 훈련 영상에서 추출된 특징벡터와의 비교를 통하여 얼굴표정을 검출하게 된다.

Fig. 11.Flowchart of proposed classification.

제안한 방법의 LBP 연산은 반경이 수평방향으로 1에서 5까지 증가하고 수직방향으로도 1에서 5까지 증가하면서 비정방형태의 LBP 연산을 수행하게 된다. 이에 따른 수평과 수직 방향 성분의 LBP계산 결과를 Fig. 12에 보였으며 수평과 수직방향에 대하여 25개의 연산을 수행하게 된다. 또한 식 (5)와 같이 수평과 수직의 반경이 변함에 따라서 45도, 135도의 대각선 방향뿐만 아니라 다양한 각도의 비정방형의 LBP 연산을 수행한 결과를 Fig. 13에 보였다.

Fig. 12.Images of horizontal and vertical LBP component.

Fig. 13.Images of directional LBP component.

한 개의 40×48의 크기영상에 대하여 총 23,400개의 특징인자가 계산되었으며 이를 아다부스트 학습을 통하여 각 감정별로 100개의 주요한 특징인자를 결정하게 된다. 아다부스트 학습에서의 약분류기로서는 히스토그램 템플리트 매칭이 사용된다. 먼저 각 특징인자의 분할 영역에 대한 템플리트를 구하기 위하여 LBP 블록 히스토그램의 평균값을 계산한다. 학습된 약분류기는 입력 히스토그램을 각 클래스의 템플리트와 매칭시켜 가장 거리가 가까운 클래스를 적합한 클래스로 출력한다. 이때 히스토그램의 비유사성 측정(dissimilarity measure)도구로서 Chi square(X2)가 사용된다. 네 가지 표정에 대한 다중 클래스 문제에서 one-against-all 방법을 사용하여 특정 표정 그리고 나머지 표정을 구분하여 학습시킨다. 아다부스트 학습에서 특정 표정의 샘플 영상은 Positive 샘플이 되고 다른 나머지 표정 영상은 Negative 샘플이 된다. 아다부스트 학습을 통하여서는 블록 히스토그램 특징인자 중 주요한 100개 블록을 검출하고 표정 분류기로서는 다중 클래스 SVM을 사용한다.

 

4. 결 과

본 실험에 사용된 포항공대 데이터베이스는 남녀 각 100명에 대하여 네 가지 감정의 얼굴 영상으로서 40×48의 크기이다. 감정 각각에 대하여 3,200장, 남녀 각 100장, 전체 영상의 개수는 12,800장으로서 학습과 분류에 절반씩 나누어서 사용하였다.

제안한 방법의 비교평가를 위해 식 (6)과 같이 표정인식 결과를 정확도, 민감도, 특이도를 이용하여 계산하였다.

정방형 LBP, CS-LBP와 제안한 LBP의 정확도를 비교한 결과를 Table 1에 보였으며 정방향 LBP 93.47%, CS-LBP 92.08% 그리고 제안한 방법의 정확도가 95.5%로서 가장 우수함을 알 수 있었다.

Table 1.Accuracy comparison of classification using Square LBP, CS-LBP, and proposed LBP

Table 2와 Fig. 14의 4개 표정에 대한 민감도 비교에서 ‘무표정’, ‘행복’, ‘놀람’ 및 ‘화냄’ 모두 제안한 방법의 결과가 가장 우수하였으며, CS-LBP의 경우 ‘무표정’의 경우 정방형 LBP보다 좋은 결과를 얻었지만 나머지 표정의 경우 정방형 LBP가 좋은 결과를 보였다.

Table 2.Sensitivity comparison of four expressions classification

Fig. 14.Sensitivity comparison of four expressions classification.

Table 3과 Fig. 15의 특이도 비교의 경우에 ‘놀람’과 ‘화냄’의 경우 CS-LBP가 정방형 LBP보다 우수한 결과를 얻었으며 제안한 방법의 경우 ‘무표정’, ‘행복’, ‘놀람’ 및 ‘화냄’ 모두 먼저의 두 가지 방법보다 우수한 결과를 나타내었다.

Table 3.Specification comparison of four expressions classification using Square LBP, CS-LBP, and proposed LBP

Fig. 15.Specification comparison of four expressions classification.

Table 4는 제안한 방법의 혼동행렬 (confusion matrix)을 보여주고 있다. 행복의 경우 TP 비율이 99.44%로 가장 좋은 결과를 보였다. 무표정의 경우 96.0%의 TP 비율을 보여주며 ‘행복’과 ‘놀람’에 각각 1.75%와 1.38%로 분류되었다. ‘화냄’의 경우 TP 비율이 89.13%로 가장 낮으며 ‘무표정’에 6.25%, ‘행복’에 2.75% 등으로 분류되었다.

Table 4.Confusion matrix of classification of proposed method

 

5. 결 론

본 연구에서는 수평과 수직 방향 성분의 마이크로 패턴을 잘 묘사할 수 있는 비정방형태의 Differential LBP연산 방법을 제시하였고 대각선 방향성분 뿐만 아니라 다양한 방향성분을 나타낼 수 있는 LBP연산 방법을 제안하였다.

제안한 Differential LBP연산의 유효성을 검증하기 위하여 얼굴표정의 분류결과에 대하여 정확도, 민감도 및 특이도를 계산하였다. 정방형 LBP, CS-LBP와 제안한 LBP의 정확도를 비교한 결과 제안한 방법의 정확도가 95.5%로서 가장 우수함을 알 수 있었다. 네 가지 표정에 대한 민감도와 특이도 지표에서도 각각의 표정 기존 방법보다 우수한 결과를 얻어 제안한 Differential LBP의 우수성을 확인할 수 있었다. 혼동행렬의 결과에서 행복의 경우 TP 비율이 99.44%로 가장 좋은 결과를 보였지만 ‘화냄’의 경우 TP 비율이 89.13%로 가장 낮아 향후 ‘화냄’ 표정의 TP 비율을 증가시킬 수 있다면 더 높은 정확도를 가질수 있겠다.

제안한 Differential LBP는 높은 식별력과 조명의 변화에 대한 내구성을 가지는 LBP의 특성을 유지하면서 다양한 각도의 미세패턴을 잘 표현할 수 있음을 보였다. 제안한 LBP 연산기법은 영상의 복구, 생체 이미지 분석, 대기의 이미지 분석과 센싱 및 얼굴 이미지 분석 등 다양한 분야에 적용될 수 있을 것으로 기대한다.