Recognition of Facial Emotion Using Multi-scale LBP

멀티스케일 LBP를 이용한 얼굴 감정 인식

Abstract

In this paper, we proposed a method to automatically determine the optimal radius through multi-scale LBP operation generalizing the size of radius variation and boosting learning in facial emotion recognition. When we looked at the distribution of features vectors, the most common was $LBP_{8.1}$ of 31% and sum of $LBP_{8.1}$ and $LBP_{8.2}$ was 57.5%, $LBP_{8.3}$, $LBP_{8.4}$, and $LBP_{8.5}$ were respectively 18.5%, 12.0%, and 12.0%. It was found that the patterns of relatively greater radius express characteristics of face well. In case of normal and anger, $LBP_{8.1}$ and $LBP_{8.2}$ were mainly distributed. The distribution of $LBP_{8.3}$ is greater than or equal to the that of $LBP_{8.1}$ in laugh and surprise. It was found that the radius greater than 1 or 2 was useful for a specific emotion recognition. The facial expression recognition rate of proposed multi-scale LBP method was 97.5%. This showed the superiority of proposed method and it was confirmed through various experiments.

1. 서 론

얼굴영상으로부터 감정을 인식하기 위해 많은 방법이 연구되어 왔으며 대표적으로 모델 기반과 영상기반 방법이 있다[1]. 모델 기반 인식방법은 얼굴영상에서 특징점을 검출하고 얼굴의 움직임을 파악하여 감정을 인식하는 방법으로 AAM(active appearance models)에 의해 획득된 특징점을 분석하여 감정을 인식하는 연구가 대표적이다[2]. 또한, 라인기반의 Caricatures를 생성하여 LEM(line edge map)과 비교하여 얼굴 감정을 인식하는 방법도 연구되었다[3]. 영상 기반 방법으로서 얼굴 영상의 밝기와 가버 웨이블릿 변환을 이용하는 방법[4]이 연구되었고, 얼굴 영상을 눈, 코 및 입 영역을 나누어 각 영역에 PCA (principal component analysis)을 적용하여 얻은 특징을 이용하여 감정을 인식하는 방법[5]도 연구되었다. 모델 기반 방법과 영상 기반 방법을 결합한 형태로는 Discriminant non-negative matrix factorization을 이용하는 방법[6]이 있으며 서로 다른 인식기를 조합하는 형태의 연구로는 PCA를 이용하여 얼굴 영상에서 주요 특징을 얻은 후 신경망을 이용하여 얼굴 감정을 구분하는 연구와 Dense Optical Flow로부터 얻은 정보를 PCA에 투영하여 주요한 특징을 추출한 후 HMM(hidden Markov model)를 이용하여 감정을 인식하는 연구[7]도 수행되었다.

최근 얼굴 감정 인식에 있어 영상 기반 방법의 하나로서 국부이진패턴[8]과 SVM을 사용한 연구가 수행되었다[9,10]. Ojala 등에 의해 소개된 국부이진패턴은 물체에 대한 높은 식별력이 있으며 조명 변화에 대한 강인성, 그리고 간단한 연산 때문에 영상인식분야에 많이 사용되고 있다.

국부이진패턴을 감정 인식에 적용함에 있어 얼굴을 다수의 영역으로 분할하여 분할 영역의 국부이진 패턴 히스토그램을 축적하여 특징 인자로 사용하게 된다. 일반적으로 국부이진패턴을 이용한 인식 분야에서 LBP8,1 과 LBP8,2을 기본적으로 사용하게 되며, 최근에 두 가지 패턴을 이용한 연구가 수행되었다[10]. 본 논문에서는 분할 영역의 이동, 크기 변화에 더하여 얼굴 감정을 잘 나타낼 수 있도록 국부이진패턴 연산시 적용되는 반경의 크기 변화를 일반화시키는 멀티스케일 LBP를 제안하였다. 부스팅 학습을 이용하여 4개 감정 각각에 대한 상위 50개의 특징인자를 검출한 결과 LBP8,1과 LBP8,2 비율이 57.5%였으며 상대적으로 반경이 큰 LBP8,3, LBP8,4, 및 LBP8,5의 분포는 42.5%였다. 상대적으로 반경이 큰 패턴도 얼굴의 특징을 표현하고 있음을 알 수 있었다. 특히 웃음의 경우 LBP8,3의 분포가 LBP8,1의 분포와 같거나 많음을 확인함으로써 반경의 크기를 다중화 시킨 멀티스케일 LBP의 유용성을 확인하였다. 또한, LBP 연산을 이용한 다양한 얼굴감정 인식 실험과 비교하여 본 논문에서 제안한 멀티스케일 LBP 방법에 의한 감정 인식률이 97.5%로 가장 높은 결과를 보였으며 제안한 방법의 유효성을 확인하였다.

 

2. 이 론

2.1 국부이진패턴(local binary pattern)의 특성

Ojala에 의해 소개된 국부이진패턴은 물체에 대한 높은 식별능력과 조명 변화에 대한 강인성이 있으며 간단한 연산 때문에 영상인식 분야에 다양하게 적용되고 있으며 최근에는 감정 인식에 사용되고 있다[9,10]. 또한 국부이진패턴 히스토그램이 얼굴인식 분야에 널리 사용되면서 국부이진패턴이 조명변화에 강인한 특성을 이용한 인식 방법이 연구되고 있다.

국부이진패턴 연산은 식 (1)과 같으며 현재 위치의 화소와 이웃 화소화의 차이를 0과 1로 나타낸다. 여기서 P, R, gc, gp는 각각 인접 화소수와 원의 반경, 현재 화소, 이웃화소를 의미한다.

2.2 부스팅 알고리즘

부스팅 알고리즘은 1999년 Freund와 Schapire [11]에 의해 제안되었으며 기존 부스팅 알고리즘이 가진 실질적인 문제점을 해결하였다. 부스팅 학습은 일련의 라운드를 통해 반복적인 weak 학습 알고리즘을 의미한다. 알고리즘은 학습 집합에 대해서 가중치의 분포 또는 집합을 유지하는 것이다. 초기의 모든 가중치들은 같은 값으로 설정되지만 각 라운드에서 부정확하게 분류된 샘플들의 가중치들이 점차 증가하여 약 분류기가 학습 집합의 오인식된 샘플에 집중하도록 강제한다. Weak hypothesis가 받아들여지면 부스팅 학습은 weak hypothesis에 할당된 중요도를 수치화한다. 이의 효과는 weak hypothesis에 의해 오인식되는 샘플의 가중치는 증가하고 올바르게 인식되는 샘플의 가중치는 감소한다. 최종 hypothesis는 각 weak hypothesis들의 가중화된 값이다.

2.3 SVM(support vector machine) 다중 분류기

데이터 분류를 위한 강력한 기계 학습 기법으로서 SVM은 데이터를 높은 차원의 공간으로 변환하고 분리 경계면과 이와 인접한 서포트 벡터와의 거리를 최대화함으로써 각 클래스를 구분하는 최적 분리 경계면을 구한다[12].

SVM은 이진 분류기지만 다양한 감정의 분류를 위해서는 멀티 클래스 분류가 필요하며 이를 위하여 본 연구에서는 One-against-all 방법을 사용한다. One-against-all 방법은 이진 분류모형을 이용하여 다중 분류 문제를 해결하기 위해 사용된 방법이다[13]. k개의 클래스를 분류하는 문제에 이 방법을 적용하면, k개의 이진분류모형을 이용하여 i번째 모형에서 분류결과에 따라 i에 소속되는 데이터와 i외의 다른 클래스에 소속되는 데이터로 분류하는데 동일한 단계를 k번 학습한 다음 분류 단계에서 입력영상과 k개의 이진분류 모형 중 가장 큰 거리값을 가지는 이진 분류모형의 표정으로 출력이 결정된다.

 

3. 방 법

3.1 템플리트 매칭 분류

균일국부이진패턴 블럭 히스토그램을 기반으로 하는 얼굴인식에는 템플리트매칭기법이 일반적으로 사용되며 입력영상과 템플리트와의 비유사도 혹은 거리를 계산하여 값이 작은 클래스로 분류된다. 템플리트는 얼굴의 각 클래스에 대하여 생성되며, 입력영상과 가장 가까운 템플리트를 매칭시키기 위하여 최근접 이웃 분류기(nearest-neighbor classifier)가 사용된다. 얼굴 감정을 분류함에 있어서 계산의 단순성 때문에 템플리트매칭기법이 사용된다. 훈련 단계에서 주어진 클래스의 템플리트를 생성하기 위하여 각 감정 영상의 히스토그램의 평균값을 계산한다. 히스토그램의 비유사성도 측정은 식 (2)와 같이 Chi square(X2)를 사용한다.

얼굴에서의 특정 영역은 감정 분류에 있어서 다른 영역보다 더 유용한 정보를 가지고 있으며 얼굴 감정에서 주요 정보는 눈과 입 영역에 주로 분포하고 있다. 얼굴 영상에서 중요도에 따라 각 분할 영역에 가중치(weighting factor)를 부여하기도 한다. 각 블록에 서로 다른 가중치를 부여하여 인식에 있어 중요한 영역이라고 판단되는 곳에 큰 값을 중요도가 떨어지는 영역에는 작은 값을 부여하여 인식에 사용하며 가중치는 관찰에 의해 경험적으로 결정한다.

여기서, S는 입력영상, M은 템플리트의 균일국부 이진패턴 히스토그램이며 wj는 영역 j에서의 가중치이다.

3.2 제안한 멀티 스케일 LBP를 이용한 분류

제안한 방법의 감정분류 방법은 학습과정과 분류과정으로 구성되어 있다. 학습과정은 네 가지 감정의 학습데이터에 대한 멀티스케일 국부이진패턴 연산을 수행한 후에 얼굴의 특징을 표현하는 균일 국부이진패턴의 블록 히스토그램을 구하게 된다. 부스팅 학습을 통하여 각각의 표정에 대한 블록 히스토그램 특징인자 중 주요한 50개 블록을 약 분류기로 검출하였다. 검출된 50개의 특징인자를 네 가지 얼굴 감정에 대하여 다중 클래스 SVM을 이용하여 학습시킴으로써 학습이 완료된다.

본 논문에서는 미세한 특징 요소를 표현할 수 있도록 반경의 크기 변화를 일반화시킨 멀티 스케일 LBP를 사용하여 얼굴 감정을 표현하는 방법을 제안하였다. 국부이진패턴 연산의 반경을 변화시켜 다양한 크기의 특징 요소를 표현하도록 하는 과정을 Fig. 1에 보였다.

Fig. 1.Decision of multi-scale LBP dominant features.

얼굴 표현을 위한 특징인자는 국부이진패턴 연산 후에 블록으로부터 균일국부이진패턴의 히스토그램을 계산하여 이를 감정인식을 위한 요소로 사용하게 된다. 추출된 균일국부이진패턴 히스토그램 특징인자는 분할 영역의 크기와 위치에 영향을 받게 되는데 얼굴 영상에 대하여 분할 영역을 이동시키고 영역의 크기를 변경시킴으로써 더 많은 분할 영역을 얻을수 있으며 얼굴 영상을 더욱 효과적으로 표현할 수 있다. Fig. 2와 같이 블록의 크기를 변화시키고 이동시키는 경우 40×48 화소의 영상에 대하여 LBP8,1 연산을 수행하면 유효 크기는 38×46가 된다. 블록을 1화소씩 이동시키고 크기를 10×10에서 25×25에서 1화소씩 증가시킨다고 했을 때 생성되는 블록의 개수는 125,504개가 된다. 본 논문에서는 블록의 크기를 10×10에서 25×25까지 5화소씩 증가 및 4화소씩 이동시켰으며 블록의 총 개수는 660개였다.

Fig. 2.(a) Block assignment and (b) block shift for feature extraction of face.

감정인식을 위해 사용되는 블록 히스토그램은 기본적으로 국부이진패턴의 연산에 의해 계산되며 국부이진패턴의 연산의 변수는 사용되는 화소의 개수 P와 반경 R이 있다. 화소 개수 P의 경우 연산의 편이성을 위해 대부분의 경우 8을 사용하며 반경 R의 경우에는 R=1 혹은 R=2가 일반적으로 사용된다. 본 연구에서는 식 (3) 및 Fig. 3과 같이 LBP 연산시 R을 다중화시켜 특정 반경 R을 고정하지 않고 부스팅 학습에 의해 최적의 값이 결정될 수 있도록 하였다. 각 블록 내에서 미세 패턴을 표현하는 국부이진패턴의 반경을 다중화함으로서 얼굴의 미세 영역을 효과적으로 표현할 수 있도록 하였다.

Fig. 3.Radius of LBP operation (a) R=1 (b) R=2 (c) R=3 (d) R=4 (e) R=N.

본 논문에서는 분할 영역의 이동, 크기 변화에 더하여 미세한 특징 요소를 표현할 수 있도록 국부이진 패턴의 반경을 다중화 하여 멀티 스케일 균일국부이 진패턴 히스토그램으로부터 얼굴 감정을 표현하는 방법을 제안하였다. 국부이진패턴 연산의 반경을 변화시켜 다양한 크기의 특징 요소를 표현하도록 하였으며 반경의 크기 변화에 따른 연산의 결과를 Fig. 4에 보였다. 반경이 증가함에 따라 얼굴 영상의 유효 화소의 면적은 감소하게 되기 때문에 적정한 최대 반경의 제한이 필요하며 본 논문에서는 N=5로 설정하였다. 입력영상의 크기가 충분히 클 경우에는 N값을 증가시킴으로써 마이크로 패턴뿐만 아니라 마크로 패턴의 특징을 명확하게 표현할 수 있다.

Fig. 4.Results of LBP operation (a) R=1 (b) R=2 (c) R=3 (d) R=4 (e) R=5.

멀티스케일 국부이진패턴 연산의 경우 얼굴영역을 표현하는 블록 개수는 2,360개가 되며 이를 부스팅 알고리즘을 이용하여 각 감정별로 50개의 주요한 블록 및 특징 인자를 결정하고 이를 멀티 클래스 SVM을 학습시켰다. 부스팅 학습을 위한 약 분류기로서는 식 (2)의 최근접 이웃 분류기를 사용하였으며 가중치는 부여하지 않았다.

 

4. 실험 결과 및 고찰

본 실험에 사용된 포항공대 데이터베이스는 남녀 각 100명에 대하여 네 가지 감정의 얼굴 영상으로서 40×48의 크기이다. 감정 각각에 대하여 3,200장, 남녀 각 100장, 전체 영상의 개수는 12,800장으로서 학습과 분류에 절반씩 나누어서 사용하였다.

템플리트 매칭과 SVM을 분류기로 사용한 실험의 경우, 4×4의 고정된 블록을 사용하는 균일국부이진 패턴 히스토그램 특징 벡터의 크기는 16×59=944가 된다. 국부이진패턴의 경우 40×48 화소 크기의 얼굴영상을 LBP8,1 연산을 수행하면 유효 크기는 38×46가 된다. 블록을 1화소씩 이동시키고 크기를 10×10에서 25×25에서 1화소씩 증가시킨다고 했을 때 생성되는 블록의 총 개수는 125,504개였다. 하지만 본 실험에서는 각 블록을 x, y방향으로 4화소씩 이동시키고 크기는 10×10에서 25×25까지 5화소씩 증가시켰으며 실제 생성되는 블록의 개수는 LBP8,1의 경우 660개였다. 또한 LBP8,2의 경우 560개의 분할 영역이 생성되며, LBP8,3, LBP8,4 및 LBP8,5의 경우 블록의 개수는 각각 468, 384 및 308개였다.

Fig. 5(a)의 원영상에 대하여 멀티스케일 LBP8,1∼LBP8,5 연산의 결과를 Fig. 5(b)∼(f)에 보였다. 각 감정별로 2,380개의 분할영역으로부터 부스팅 알고리즘을 적용하여 50개의 주요 특징 인자를 결정하고 SVM 분류기로서 감정 인식실험을 수행하였다.

Fig. 5.(a) Facial expressions of normal, laugh, surprise, and anger (b) LBP8,1 (c) LBP8,2 (d) LBP8,3 (e) LBP8,4 (f) LBP8,5.

부스팅 기법을 이용하여 4개 감정 각각에 대한 상위 50개의 특징인자를 검출한 각각의 분포를 Table 1에 나타내었다. LBP8,1 31%로서 가장 많이 분포하며 LBP8,1과 LBP8,2 비율이 57.5%가 되며 LBP8,3, LBP8,4, 및 LBP8,5는 각각 18.5%, 12.0%, 12.0%였다. 무감정과 화남의 경우 LBP8,1과 LBP8,2가 많이 분포하며 웃음의 경우는 비교적 고르게 분포하고 있으며 놀람의 경우 LBP8,2과 LBP8,3의 분포가 많았다. 입력 영상의 크기가 40×48로서 크지 않아서 미세 패턴을 표현하기에 LBP8,1과 LBP8,2만으로 충분하다고 생각될 수 있었으나 본 실험 결과에서 나머지 LBP8,3, LBP8,4, 및 LBP8,5의 분포도 42.5%를 차지하고 있어 상대적으로 반경이 큰 패턴도 얼굴의 특징을 표현하고 있음을 알 수 있다. 특히 웃음의 경우 LBP8,3의 분포가 LBP8,1의 분포와 같거나 많았다.

Table 1.Distribution of 50 dominant features by multi-scale LBP

Fig. 6에서 각 감정에 대하여 LBP8,1에서 LBP8,5까지 50개 주요 특징인자의 위치를 나타내었다. Fig. 6(a) 무감정의 경우 LBP8,1에서 눈, 코밑, 및 입 주변에 고르게 분포하며 LBP8,2에서 LBP8,5는 주로 입 주변에 많이 분포한 것을 알 수 있다. Fig. 6(b) 웃음의 경우 LBP8,1, LBP8,2의 입 주변에 다수가 분포하며 눈과 코 주변에 일부가 분포하고 있다. LBP8,3는 눈 부근, LBP8,4는 코 주변에 다수가 분포하며 LBP8,5는 고르게 분포하고 있다. Fig. 6(c) 놀람의 경우에는 LBP8,1의 입 주면에 다수가 분포하며 LBP8,2는 고르게 분포, LBP8,3는 눈, 코 및 입 위쪽에 분포, LBP8,4는 코밑과 입 위쪽에 분포, LBP8,5는 미간에 분포하고 있다. Fig. 6(d) 화남의 경우에 LBP8,1에서 LBP8,3는 고르게 분포하고 있으며 LBP8,4는 미간과 코밑, LBP8,5는 입 주변에 분포하고 있다.

Fig. 6.Fig. 6. Location of dominant features (a) Normal (b) laugh (c) surprise (d) anger.

얼굴 감정 인식률 평가 결과를 Table 2에 나타내었으며, 실험은 ULBP8,2 히스토그램 특징인자와 템플리트 매칭에 의한 분류, ULBP8,2 히스토그램 특징인자와 SVM 분류, 부스팅 ULBP8,1 히스토그램 특징인자와 SVM 분류, 부스팅 ULBP8,2 히스토그램 특징인자와 SVM 분류, 부스팅 ULBP8,1+8,2 히스토그램 특징인자와 SVM 분류[10], 및 제안한 방법인 멀티스케일 부스팅 균일국부이진패턴 히스토그램 특징인 자와 SVM에 의한 분류 순으로 진행하였다.

Table 2.Comparison of facial expression detection rate

ULBP8,2 히스토그램 특징인자와 템플리트 매칭에 의한 감정인식 결과는 84.7%였으며, SVM을 분류기로 사용했을 경우 인식률은 95.2%로 증가하였다. ULBP8,1 연산 후 부스팅 알고리즘을 적용시키고 SVM을 분류기로 사용하였을 경우의 인식률은 94.4%로 고정된 4×4 분할 영역을 사용하는 ULBP8,2의 인식률 95.2%보다 떨어지는 것을 확인하였다. 하지만 LBP8,2 연산 후 부스팅 알고리즘을 적용한 경우에는 95.6%로서 위의 두 경우보다 나은 인식률을 보였으며 부스팅 ULBP8,1+8,2 히스토그램 특징인자와 SVM 분류는 96.3%였다. 본 논문에서 제안한 LBP 반경을 다중화시켜 얼굴의 미세패턴을 효과적으로 표현하는 멀티스케일 부스팅 LBP 의 경우에는 얼굴 감정 인식률이 97.5%로 가장 높은 결과를 보였으며 제안한 방법의 우수성을 확인할 수 있었다.

 

5. 결 론

본 논문에서는 분할 영역의 이동, 크기 변화에 더하여 미세한 특징 요소를 표현할 수 있도록 멀티스케일 부스팅 국부이진패턴을 제안하여 얼굴의 감정을 인식하였다. 본 논문에서는 국부이진패턴 특징인자를 추출함에 있어서 멀티스케일 연산을 적용하는 방법을 제안하였다. 또한, 주요 특징인자를 결정하기 위하여 부스팅 알고리즘을 사용하여 얼굴의 정보를 더 효과적으로 표현하였고 얼굴감정 인식률을 향상시켰다.

얼굴인식 연구에서 일반적으로 LBP8,1과 LBP8,2 연산을 많이 사용하고 있으나 본 논문에서는 얼굴감정 인식에 국부이진패턴 연산의 반경의 크기 변화를 일반화시킨 멀티스케일 LBP 연산과 부스팅 학습을 통하여 최적 반경을 자동적으로 결정하는 방법을 제안하였다. 부스팅 학습을 통한 특징 인자의 분포를 보면 LBP8,1이 31%로서 가장 많았으며 LBP8,1과 LBP8,2 비율이 57.5%가 되며 LBP8,3, LBP8,4 및 LBP8,5는 각각 18.5%, 12.0%, 12.0%로서 상대적으로 반경이 큰 LBP의 비중이 42.5%였다. 무감정과 화남의 경우 LBP8,1과 LBP8,2가 많이 분포하며 웃음과 놀람의 경우 LBP8,3의 분포가 LBP8,1의 분포와 같거나 많았다. LBP8,1 및 LBP8,2 뿐만 아니라 다른 크기의 반경이 특정감정 인식에 유용함을 알 수 있었다. 또한, LBP를 이용한 다양한 얼굴감정 인식 실험과 비교하여 본 논문에서 제안한 멀티스케일 부스팅 국부이진패턴 방법에 의한 감정 인식률이 97.5%로 가장 높은 결과를 보였으며 제안한 방법의 유효성을 확인하였다.