A Study on Facial Expression Recognition using Boosted Local Binary Pattern

Boosted 국부 이진 패턴을 적용한 얼굴 표정 인식에 관한 연구

Abstract

Recently, as one of images based methods in facial expression recognition, the research which used ULBP block histogram feature and SVM classifier was performed. Due to the properties of LBP introduced by Ojala, such as highly distinction capability, durability to the illumination changes and simple operation, LBP is widely used in the field of image recognition. In this paper, we combined $LBP_{8,2}$ and $LBP_{8,1}$ to describe micro features in addition to shift, size change in calculating ULBP block histogram. From sub-windows of 660 of $LBP_{8,1}$ and 550 of $LBP_{8,2}$, ULBP histogram feature of 1210 were extracted and weak classifiers of 50 were generated using AdaBoost. By using the combined $LBP_{8,1}$ and $LBP_{8,2}$ hybrid type of ULBP histogram feature and SVM classifier, facial expression recognition rate could be improved and it was confirmed through various experiments. Facial expression recognition rate of 96.3% by hybrid boosted ULBP block histogram showed the superiority of the proposed method.

최근 얼굴 표정 인식에 있어 영상 기반의 방법의 하나로서 ULBP 블록 히스토그램 피쳐와 SVM을 분류기로 사용한 연구가 수행되었다. Ojala 등에 의해 소개된 LBP는 높은 식별력과 조명의 변화에 대한 내구성과 간단한 연산 때문에 영상 인식 분야에 많이 사용되고 있다. 본 논문에서는 ULBP 블록 히스토그램을 계산함에 있어 분할 영역의 이동, 크기 변화에 더하여 미세한 특징 요소를 표현할 수 있도록 $LBP_{8,2}$과 $LBP_{8,1}$를 결합하였다. $LBP_{8,1}$ 660개, $LBP_{8,2}$ 550개의 분할 창으로부터 1210개의 ULBP 히스토그램 피쳐를 추출하고 이로부터 AdaBoost를 이용하여 50개의 약 분류기를 생성하였다. $LBP_{8,1}$와 $LBP_{8,2}$가 결합된 하이브리드 형태의 ULBP 블록 히스토그램 피쳐와 SVM 분류기를 이용함으로써 표정 인식률을 향상시킬 수 있었으며 다양한 실험을 통하여 이를 확인하였다. 본 논문에서 제안한 하이브리드 Boosted ULBP 히스토그램의 경우에 표정의 인식률이 96.3%로 가장 높은 결과를 보였으며 제안한 방법의 우수성을 확인하였다.

1. 서 론

사람과 컴퓨터간의 지능적 상호작용은 사람이 자연스럽게 컴퓨터를 이용하는 것을 목표로 발전하고 있다. 컴퓨터가 사람의 커뮤니케이션 기술로 사람과 의사소통하도록 하는 방법이 제시되고 있는데 이런 기술 중 하나가 사람의 감정 상태를 이해하는 능력이고 사람이 감정을 표현하는 가장 대표적인 방법은 얼굴 표정을 통해서이다[1-3]. 하지만 얼굴 표정을 해석하는 시스템을 개발하는 것은 어려운 일이다. 이를 위해서는 얼굴 표정 특징 추출과 얼굴 표정 분류, 두 가지 대표적 문제가 해결되어야 한다. 표정을 해석하기 위해 고려하는 특징은 주로 눈, 입 그리고 이마와 같은 얼굴영역으로 이 영역들은 얼굴 표정을 결정하는 대부분의 정보를 가지고 있다. 특징추출 시 조명이나 정적 배경조건 없이 얼굴이 보이도록 설정되어야 한다[4].

영상을 이용하여 표정을 인식하기 위해 많은 방법이 연구되어져 왔으며 모델 기반(model based)와 영상 기반(image based) 방법으로 나눌 수 있다[5,6].

모델 기반 방법은 얼굴에서 특징점을 검출하고 얼굴의 움직임을 파악하여 표정을 인식하는 방법으로 AAM(active appearance models)에 의해 획득된 특징점을 분석하여 표정을 인식하는 연구[7-9]와 특징점간의 거리를 인식하여 표정을 인식하는 방법도 제시되었다. 또한, Line-based Caricatures를 생성하여 LEM(line edge map)과 비교하여 표정을 인식하는 방법도 연구되었다[10].

모델 기반 방법은 얼굴의 특징점의 위치나 움직임 등을 기반으로 하며 다양한 표정을 구분하기 위해서는 정확한 특징점의 위치를 찾아야 하며 고해상도의 영상을 필요로 하며 실시간 표정 인식에는 부적합하다. 영상 기반 방법은 모델 기반방법에 비해 실시간 처리가 가능하나 얼굴 검출이 정확하게 이루어지지 않을 경우 모델 기반의 방법에 비해 오인식이 증가한다.

영상 기반 방법은 얼굴 영상의 휘도를 이용하여 표정을 인식하는 방법으로 얼굴 영상을 가버 웨이블릿(Gabor wavelet)으로 구분하는 기법[11]이 연구되었고, 얼굴 이미지를 눈, 코, 입 영역을 나누어 각각 영역에 PCA(principal component analysis)을 적용하여 얻은 특징 값을 이용하여 표정을 인식하는 방법[12]도 연구되었다. 또한, 얼굴 표정을 인식함에 있어 AdaBooost와 SVM(support vector machine)을 이용한 연구[13]와 Gaussian 프로세스를 이용한 연구[14]도 수행되었다.

최근 영상 기반의 방법의 하나로서 얼굴 표정 인식에 있어서 LBP(local binary pattern)를 피쳐로 이용하고 SVM을 분류기로 사용한 연구가 수행되었다. Ojala 등[15]에 의해 소개된 LBP는 높은 식별력과 조명의 변화에 대한 내구성과 간단한 연산 때문에 영상 인식 분야에 많이 사용되고 있으며 LBP8,2가 인식 성능이 좋아서 일반적으로 사용되고 있다.

본 논문에서는 AdaBoost를 이용하여 LBP 히스토그램 피쳐의 약 분류기(weak classifier)를 결정함에 있어서 분할 영역의 이동, 크기 변화에 더하여 미세한 특징 요소를 표현할 수 있도록 LBP8,2 뿐만 아니라 LBP8,1 연산을 추가하였다. LBP8,1에 의해 660개, LBP8,2에 의해 550개의 분할 창으로부터 1,310개의 ULBP 히스토그램 피쳐를 추출하고 이로부터 Ada-Boost를 이용하여 50개의 약 분류기를 생성하였다. 50개의 약 분류기를 연결하여 50×59크기의 ULBP 히스토그램 벡터로 만들어 각각의 표정에 대하여 SVM을 이용하여 학습시켰다. LBP8,1 와 LBP8,2이 하이브리드 형태로 결합한 ULBP 히스토그램 피쳐 벡터를 SVM을 이용하여 분류함으로써 표정 인식률을 향상시킬 수 있었으며 다양한 실험을 통하여 이를 확인하였다. 본 논문에서 제안한 하이브리드 Boosted LBP 히스토그램의 경우에 표정의 인식률이 96.3%로 가장 높은 결과를 보였으며 제안한 방법의 우수성을 확인할 수 있었다.

 

2. 관련 연구

2.1 LBP의 특성

Ojala 등에 의해 1996년 처음 소개된 LBP 연산자는 텍스쳐 (texture) 분류에서 매우 높은 구분 능력을 보여주었다. LBP는 높은 식별력과 조명의 변화에 대한 내구성과 간단한 연산 때문에 이미지와 영상의 복구, 생체 이미지 분석, 대기의 이미지 분석과 센싱, 얼굴 이미지 분석 등 다양한 분야에 적용되고 있으며 최근에는 표정 인식에 사용되고 있다[16]. 또한 LBP 히스토그램을 이용한 얼굴인식이 널리 사용되면서 LBP가 단조로운 조명변화 (monotonic grey level)에 민감하지 않은 특성을 가짐으로써 조명의 변화에 강인하다는 장점을 이용한 인식 방법이 연구되고 있다.

LBP 연산은 식 (1)과 같으며 현재 위치의 화소값과 이웃 화소값의 차이를 0과 1의 값으로 나타낸다. 여기서 P, R, gc, gp는 각각 인접 화소의 수와 원의 반지름, 현재 화소의 화소값, 이웃화소의 화소값을 의미한다. 그림 1은 P, R에 대한 3가지 LBP를 예시를 도시하고 있다.

그림 1.LBP의 3가지 예시

LBP8,1 일 경우, 중앙 화소값을 기준으로 8개의 인접한 화소값과 비교하여 값이 구성되며 그림 2와 같이 시계방향으로 중앙 화소값과 비교하여 크면 1, 그렇지 않으면 0의 값으로 변환한다. LBP8,1은 8개의 인접한 픽셀들과 비교하여 값이 구성되기 때문에 8비트로 표현되며, 0부터 255 사이의 값을 갖는다.

그림 2.3×3 영역에서의 LBP 연산

균일국부이진패턴 (uniform local binary pattern, ULBP)은 LBP의 여러 가지 즉, 256가지 가능한 국부 이진패턴 중에서 의미가 있는 패턴들만을 선택하여 히스토그램으로 사용하는 방법이다. 의미가 있는 패턴을 구분하는 기준은 한 점을 기준으로 한 칸씩 시계방향으로 비트가 바뀌는 현상이 2번 이하로 나타나는 패턴만을 균일국부이진패턴으로 사용한다. 256가지 LBP 중에서 58개의 패턴이 ULBP로 선택되고, 선택되지 않은 나머지 패턴들은 의미가 없는 패턴으로 구분하여 히스토그램에서 한 개의 패턴으로 합쳐서 처리한다.

ULBP만으로도 영상 특성의 대부분을 나타낼 수 있으며 이를 축적한 히스토그램의 매칭을 통하여 영상의 질감특성을 서로 분류할 수 있다. 그림 3은 ULBP의 여러 가지 예를 보여준다. 전체 영상에 대한 에지, 점, 코너, 등과 같은 마이크로 패턴의 분포에 대한 정보가 히스토그램에 포함되며, 이는 영상의 통계적 특성을 나타낸다. 이를 이용한 매칭으로 결과적으로 영상데이터를 분류하고 인식하게 된다.

그림 3.ULBP

LBP는 이미지의 텍스쳐 분류에 성공적으로 사용된 후 얼굴인식에 많이 사용되고 있다. LBP 히스토그램을 이용한 얼굴 인식은 일반적으로 그림 4와 같이 수행이 된다. 전체 얼굴 영상을 16개의 블록으로 분할한 뒤 각각의 블록에 대하여 ULBP 히스토그램을 결합하여 축적한 뒤 이것을 바탕으로 인식을 수행한다. 이 ULBP 히스토그램은 얼굴의 특성을 나타내는 다양한 마이크로 패턴의 합성으로 볼 수 있다. 다음 그림과 같이 얼굴 영상의 정보를 ULBP 히스토그램으로 표현할 수 있으며 특징벡터의 차원은 총 16블럭×59패턴=944개가 된다.

그림 4.ULBP를 이용한 영상의 히스토그램 축적

2.2 AdaBoost 알고리즘

AdaBoost 알고리즘은 1999년 Freund와 Schapire[17]에 의해 제시되었으며, 이전의 부스팅 알고리즘이 가진 실질적인 많은 문제점들을 해결하였다. AdaBoost 의사코드는 그림 5와 같다. 알고리즘은 학습집합 (x1,y1),⋯,(xm,ym)을 입력으로 한다. 여기서 각 xi는 어떤 도메인 또는 인스턴스 공간 X에 속하고, 각 레이블 yi는 레이블 집합 Y에 속하며 여기서 Y={-1, +1}을 가정한다. AdaBoost는 일련의 라운드 t=1,⋯,T에서 반복적인, 주어진 weak 또는 base 학습 알고리즘을 말한다. 알고리즘의 주요 아이디어들 중 하나는 학습 집합에 대해서 가중치의 분포 또는 집합을 유지하는 것이다. 라운드 t에서 학습 샘플 i에 대한 분포 가중치는 Dt(i)로 표시된다. 초기에 모든 가중치들은 똑같게 설정되지만, 각 라운드에서 부정확하게 분류된 샘플들의 가중치들이 점차 증가하여 weal classifier가 학습 집합의 어려운 샘플들(오인식된 샘플들)에 집중하도록 강제한다.

그림 5.부스팅 알고리즘

Weak learner의 일은 분포 Dt에 적합한 weak hypothesis ht : X→{-1,+1}를 찾는 것이다. Weak hypothesis의 선량한 정도(goodness; 신뢰도)는 다음 식(2)와 같이 그 hypothesis의 에러로 측정된다.

이 에러는 weak learner가 학습되는 분포 Dt에 따라 측정됨을 주목하라. 실제적으로, weak learner는 가중치 Dt를 사용하는 알고리즘일 수 있다. 다른 방식으로, Dt를 사용하는 것이 가능하지 않는 경우에는, Dt에 따라 학습 집합의 부분집합을 선별적으로 샘플링 할 수 있고, 그렇게 재 샘플된(가중치-중요도가 없는) 샘플들이 weak learner를 학습하는데 사용될 수 있다. 전체 데이터를 학습하는데 각 데이터의 Dt를 반영하여 학습할 수도 있고, 또는 Dt가 큰 데이터들만 수집한 후 수집한 데이터에 대해서는 Dt정보를 반영하지 않고 분류기를 구현한다는 의미이다.

일단 weak hypothesis ht가 받아들여지면, Ada-Boost는 그림에서처럼 파라메터 αt를 선택한다. 직관적으로 αt는 ht에 할당된 중요도를 수치화한다. 에러가 0.5보다 작다면 αt는 0보다 크다는 것과, 에러가 작아질수록 αt가 더 커진다.

분포 Dt는, 그림에 있는 규칙을 사용해서 다음에 갱신된다. 이 규칙의 효과는 ht에 의해 오인식되는 샘플들의 가중치는 증가하고, 올바르게 인식되는 샘플들의 가중치는 감소하는 것이다. 마지막 hypothesis H는 T개의 weak hypothesis들의 가중화된 다수결 투표이다. H 식에서 αt는 ht에 할당된 가중치이다.

2.3 SVM 분류기

SVM은 Vladimir Vapnik과 그의 AT&T Bell 연구소의 팀이 개발한 식별 방법[18]으로 최근 몇 년 동안에 이론적인 발전뿐만 아니라, 실제 구현되어 데이터 마이닝 분야는 물론 얼굴인식과 같은 패턴인식 응용 분야에도 널리 사용되고 있다. SVM은 다항식(polynomial), 방사 기저 함수(radial basis function), 그리고 다층 퍼셉트론 분류기(multi-layer perceptron classifiers)의 대안적인 학습 방법으로 패턴을 고차원 특징 공간으로 사상시킬 수 있다는 점과 대역적으로 최적의 식별이 가능한 특징을 가진다. 현재 알려져 있는 많은 인식 알고리즘 중 가장 인식 성능이 뛰어난 학습 모델 중 하나이며, 일반화 오차를 최소화할 수 있는 방향으로 학습을 수행하는 선형 분류기이다.

SVM은 데이터들을 주어진 공간보다 높은 차원의 공간으로 변환하고 나서, 각 클래스들을 구분하는 최적 분리 경계면을 구하기 위해 분리 경계면과 분리경계면에 가장 인접한 점인 서포트 벡터(support vector)와의 거리를 최대화한다. SVM은 비선형의 복잡한 결정경계를 가지는데 이 때문에 학습시간이 오래 걸리지만, 그만큼 매우 정확하다. SVM은 비중을 크게 줄 목적분류와 커널함수, 매개함수만 정하면 되기 때문에 최적화가 상대적으로 쉽고 분류 문제에 있어서 일반화 기능이 뛰어나 많은 분야에서 응용되고 있다.

본 논문에서는 AdaBoost를 이용하여 ULBP 블럭히스토그램 피쳐를 추출한 후에 SVM 분류기를 이용해 얼굴 표정 인식에 사용한다.

 

3. 방 법

3.1 LBP 템플리트 매칭에 의한 표정 분류

ULBP 블럭 히스토그램을 기반으로 하는 얼굴인식에는 템플리트 매칭 기법이 일반적으로 사용되며 입력영상과 템플리트와의 비유사도 혹은 거리를 계산하여 그 값이 작은 템플리트의 클래스로 분류한다. 템플리트는 얼굴의 각 클래스에 대하여 생성되며, 입력 영상과 가장 가까운 템플리트를 매칭시키기 위하여 최근접 이웃 분류기(nearest-neighbor classifier)가 사용된다. 얼굴 표정을 분류함에 있어서 계산의 단순성 때문에 템플리트 매칭 기법이 사용된다. 훈련단계에서 주어진 클래스의 템플리트은 각 표정 영상의 ULBP 블록 히스토그램의 평균값으로서 계산된다. 히스토그램의 비유사도 측정은 다음 식 (3)과 같이 Chi square(χ2)를 사용한다.

여기서, S는 입력영상, M은 템플리트의 ULBP 히스토그램이다. 얼굴에서의 특정 영역은 표정 분류에 있어서 다른 영역보다 더 유용한 정보를 가지고 있으며 얼굴 표정에서 주요 정보는 눈과 입 영역에 주로 분포하고 있다. 따라서 얼굴 영상에서 중요도에 따라 각 분할 영역에 가중치(weighting factor)를 부여하기도 한다. 각 블록에 서로 다른 가중치를 부여하여 인식에 있어 중요한 영역이라고 판단되는 곳에 큰값, 중요도가 떨어지는 영역에는 작은 값을 부여하여 인식에 사용하며 가중치는 관찰에 의해 경험적으로 다음 식(4)와 같이 결정한다.

여기서, S는 입력영상, M은 템플리트의 ULBP 히스토그램이며 wj는 영역 j에서의 가중치이다.

3.2 SVM에 의한 표정 분류

얼굴 표정 분류기로서 SVM은 히스토그램 매칭기법을 대신하여 효과적으로 사용될 수 있다. 데이터 분류를 위한 강력한 기계 학습 기법으로서 SVM은 데이터를 높은 차원의 공간으로 변환하고 분리 경계면과 분리 경계면에 가장 인접한 점인 서포트 벡터와의 거리를 최대화함으로써 각 클래스를 구분하는 최적 분리 경계면을 구한다.

SVM은 이진 분류기지만 다양한 표정분류를 위해서는 멀티 클래스 분류가 필요하며 이를 위하여 One-against-all 방법을 사용한다. One-against-all 방법은 이진 분류모형을 이용하여 다중 분류 문제를 해결하기 위해 사용된 방법이다[19]. k개의 집단을 분류하는 문제에 대해서 이 방법을 적용하면, k개의 이진분류모형을 이용하여 i번째 모형에서 분류결과에 따라 i에 소속되는 데이터와 i외의 다른 상태에 소속되는 데이터로 분류하는데 이와 같은 단계를 k번 학습한 이후 분류 단계에서 입력영상과 k개의 이진분류 모형 중 가장 큰 거리값을 가지는 이진 분류모형의 표정으로 출력이 결정된다.

3.3 Boosted LBP와 SVM에 의한 분류

ULBP 피쳐는 얼굴 표현에 있어 유용하며 특히, 다른 특징 기술자보다 계산 효율의 이점을 가지고 있다. 얼굴 영상은 동일한 크기의 작은 영역으로 분할되고 각각의 누적 ULBP 히스토그램은 하나의 피쳐 벡터로 연결된다.

추출된 ULBP 블록 히스토그램 피쳐는 분할 영역의 크기와 위치에 영향을 받는다. 얼굴 영상에 대하여 분할 영역을 이동시키고 영역의 크기를 변경시킴으로써 더 많은 분할 영역을 얻을 수 있다. 더 많은 ULBP 히스토그램 추출이 가능하기 때문에 얼굴 영상의 정보를 더 잘 표현할 수 있다. 분할 영역의 이동과 크기 변화에 의해 다수의 ULBP 블록 히스토그램이 얻어지므로 표정식별에 있어 중요한 정보를 가지고 있는 ULBP 블록 히스토그램을 추출하기 위하여 Booting 학습이 사용될 수 있다.

AdaBoost 기법은 비선형적인 분류 함수의 학습에 효과적인 접근 방법을 제공해 준다. 아다부스트는 작은 수의 약 분류기를 학습시키고 반복적으로 높은 정확도를 가지는 강 분류기로 부스팅시킨다. 각 가중오류 비율을 감소시키는 약 분류기가 선택되며, 오분류된 샘플의 가중치가 증가되고 다른 샘플의 중요도를 감소시키는 형태로 분포가 갱신된다.

각 LBP 히스토그램은 각각의 분할 영역에서 계산되며, AdaBoost는 얼굴 표정을 분류함에 있어 다수의 분할 영역 중 차별적인 정보를 가지는 분할 영역을 검출하기 위하여 사용된다. 본 논문에서는 Ada-Boost를 위한 약 분류기를 선정함에 있어 히스토그램 템플리트 매칭이 사용된다. 분할 영역에 대하여 각 표정 클래스 템플리트를 구하기 위하여 LBP 블록히스토그램의 평균값을 계산한다. 학습된 약 분류기는 입력 히스토그램을 각 클래스의 템플리트와 매칭시켜 가강 거리가 가까운 클래스를 적합한 클래스로 출력한다. 이때 히스토그램의 비유사성 측정(dissimilarity measure)도구로서 Chi square(χ2)가 사용된다.

기존의 AdaBoost는 두 개 클래스의 문제에서 사용되나 다중 클래스 문제에는 one- against-all 기법이 사용되며 표정 인식에서는 특정 표정 그리고 나머지 표정을 구분하여 학습시킨다. 각 AdaBoost 학습기에서 특정 표정의 샘플 영상은 Positive 샘플이 되고 다른 나머지 표정 영상은 Negative 샘플이 된다.

3.4 제안한 하이브리드 Boosted LBP와 SVM에 의한 분류

얼굴 표정 인식에 있어서 Boosted LBP를 이용하여 약 분류기를 찾고, SVM을 분류기로 사용한 연구가 C. Shan[16]에 의해 수행되었으며 약 95%의 인식률을 나타내었다. 이 연구에서는 LBP8,2연산을 사용하고 있으며 분할 영역을 이동시키고 크기를 변화시켜 ULBP 블록 히스토그램을 계산하였다. AdaBoost를 이용하여 약 분류기를 결정하고 이를 SVM을 분류기로 사용하여 표정을 인식하였다. 일반적으로 얼굴 인식 분야에서 LBP8,2연산에 의한 결과가 LBP8,1연산의 결과보다 인식 성능이 우수하여 LBP8,2를 일반적으로 사용하고 있다.

본 논문에서는 분할 영역의 이동, 크기 변화에 더하여 미세한 특징 요소를 표현할 수 있도록 LBP8,2뿐만 아니라 LBP8,1연산을 추가하여 사용하였다. LBP8,1연산을 추가함으로써 AdaBoost를 이용하여 선정한 약 분류기가 얼굴의 정보를 더 효과적으로 표현할 수 있었다. LBP8,1연산후에 660개의 분할 창과 LBP8,2에 의한 560개의 분할 창으로부터 Ada-Boost를 적용하여 50개의 약 분류기를 결정하였다. AdaBoost에 의해 자동적으로 선택된 약 분류기는 LBP8,1과 LBP8,2의 분할 창에 대하여 고르게 분포하였다. 따라서, LBP8,1과 LBP8,2연산으로부터 약 분류기를 선정하는 것이 타당함을 알 수 있었고, 실제 LBP8,1와 LBP8,2이 결합된 하이브리드 형태의 boosted ULBP 블록 히스토그램 피쳐를 사용함으로써 얼굴 표정의 인식률을 향상시킬 수 있었다. 그림 6에 제안한 방법의 흐름도를 보였다.

그림 6.제안한 방법의 흐름도

 

4. 결과 및 토의

본 논문의 실험에 사용된 데이터는 포항공대 데이터베이스로서 남녀 각 100명에 대하여 네 가지 표정변화를 가지고 16가지 조명 변화가 있는 얼굴 정면영상으로서 40×48의 크기로 정규화된 영상이다. 한 표정에 대하여 3,200장의 정면 영상이 있으며 남녀 각 100명, 1인당 1인당 16가지 조명변화를 나타내고 네 가지 표정 전체에 대한 영상의 총개수는 12,800장이다. 실험에서는 학습과 분류에 절반씩 나누어서 사용하였다.

고정된 분할 창을 사용하는 LBP 히스토그램 피쳐의 경우 40×48 화소 크기의 얼굴 영상을 LBP8,2연산을 수행하면 유효 크기는 36×44가 되고 분할 창의 4×4=16로 설정할 경우 각 분할 창의 크기는 9×11이 된다. 따라서 히스토그램 피쳐 벡터의 크기는 16×9=944개가 되며 분류기로서는 템플리트 매칭과 SVM을 이용하여 실험을 하였다.

Boosted LBP의 경우 40×48 화소 크기의 얼굴 영상을 LBP8,2연산을 수행하면 유효 크기는 36×44가 되고 분할 영역의 창을 1화소씩 이동시키고 크기를 10×10에서 25×25에서 1화소씩 변화시킬 때 생성되는 총 가지수는 125,504개가 된다. 하지만 실험에서 각 분할 창을 x, y방향으로 4화소씩 이동, 크기는 10×10에서 25×25까지 5화소씩으로 크기를 증가시켰다. 실제 생성되는 분할 창의 개수는 LBP8,2의 경우 560개였다.

또한 LBP8,1연산의 경우에는 유효 크기는 38×46가 되고 149,568개이지만 실험에서는 4화소씩 이동, 5화소씩으로 크기를 증가시켜 생성되는 660개의 분할창을 사용하였다. 그림 7의 원영상에 대하여 LBP8,1과 LBP8,2연산의 결과를 그림 8 및 그림 9에 보였다. 이로부터 AdaBoost를 적용하여 50개의 약 분류기를 결정하고 SVM 분류기로서 표정 인식실험을 수행하였다.

그림 7.원영상 (a) 무표정 (b) 웃음 (c) 놀람 (d) 화남

그림 8.LBP8,1연산 결과 (a) 무표정 (b) 웃음 (c) 놀람 (d) 화남

그림 9.LBP8,2연산 결과 (a) 무표정 (b) 웃음 (c) 놀람 (d) 화남

본 논문에서 제안한 하이브리드 Boosted LBP 히스토그램의 경우에는 LBP8,2의 560개의 분할 창과, LBP8,1의 660개 분할 창으로부터 AdaBoost를 적용하여 50개의 약 분류기를 결정하고 SVM 분류기로서 표정 인식실험을 수행하였다. AdaBoost를 이용하여 4개 표정에 각각에 대한 상위 50개의 LBP 히스토그램 약 분류기를 검출하였으며 각각의 개수는 표 1에 나타내었다.

표 1.LBP8,1, LBP8,2에 대한 50개의 약 분류기의 개수

그림 10에서 각 표정에 대한 약 분류기의 위치를 나타내었으며 약 분류기가 주로 눈과 입 영역에 분포하고 있음을 알 수 있다.

그림 10.각 표정에 따른 50개의 약 분류기 위치 (a) 무표정 (b) 웃음 (c) 놀람 (d) 화남

그림 11에서는 50개의 약 분류기 중에 상위 10개에 대해서 약 분류기를 표시하였다. 그림 11(a) 무표정과 그림 11(c)의 놀람의 경우에 비교적 고르게 눈과 입 주위에 약 분류기가 분포해 있고 그림 11(b)의 웃음의 경우 눈보다는 입 주변, 그림 11(d) 화남의 경우에는 눈 주위에 약 분류기가 많이 분포되어 있는 것을 알 수 있다.

그림 11.각 표정에 따른 상위 10개의 약 분류기 (a) 무표정 (b) 웃음 (c) 놀람 (d) 화남

얼굴 표정 인식률 평가 결과는 표 2에 나타내었으며 실험은 LBP8,2히스토그램 피쳐와 템플리트 매칭에 의한 분류, LBP8,2히스토그램 피쳐와 SVM 분류, Boosted LBP8,1히스토그램 피쳐와 SVM 분류, Boosted LBP8,2히스토그램 피쳐와 SVM 분류 및 제안한 방법인 하이브리드 Boosted LBP 히스토그램 피쳐와 SVM 분류 순으로 진행되었다.

표 2.얼굴 표정 인식률 평가

LBP8,2히스토그램 피쳐와 템플리트 매칭에 의한 인식 결과는 84.7%였으며, SVM을 분류기로 사용했을 경우 인식률은 95.2%로 비약적으로 증가하였다. LBP8,1연산 후에 AdaBoost를 적용시키고 SVM을 분류기로 사용하였을 경우의 인식률은 94.4%로 고정된 분할 영역을 사용하는 LBP8,2의 인식률 95.2% 보다 떨어지는 것을 볼 수 있었다. 이 결과는 실제 LBP8,2이 LBP8,1보다 인식에 유리함을 알 수 있다.

본 논문에서 제안한 하이브리드 Boosted LBP 히스토그램의 경우에는 표정 인식률이 96.3%로 가장 높은 결과를 보였으며 제안한 방법의 우수성을 확인 할 수 있었다.

 

5. 결 론

일반적으로 얼굴 인식 분야에서 LBP8,2연산에 의한 결과가 LBP8,1연산의 결과보다 인식 성능이 우수하여 LBP8,2를 일반적으로 사용하고 있다.

본 논문에서는 분할 영역의 이동, 크기 변화에 더하여 미세한 특징 요소를 표현할 수 있도록 LBP8,2뿐만 아니라 LBP8,1연산을 추가하여 사용하였다. LBP8,1연산을 추가함으로써 AdaBoost를 이용하여 선정한 약 분류기가 얼굴의 정보를 더 효과적으로 표현할 수 있었다. 본 논문에서는 LBP8,1와 LBP8,2이 결합된 하이브리드 형태의 boosted ULBP 히스토그램 벡터를 사용함으로써 얼굴 표정의 인식률을 향상시켰다.

LBP8,2히스토그램 피쳐와 템플리트 매칭에 의한 분류, LBP8,2히스토그램 피쳐와 SVM 분류, Boosted LBP8,1히스토그램 피쳐와 SVM 분류, Boosted LBP8,2히스토그램 피쳐와 SVM 분류 및 제안한 방법인 하이브리드 Boosted ULBP 히스토그램 피쳐와 SVM 분류에 대한 실험을 하였다. 본 논문에서 제안한 하이브리드 Boosted ULBP 히스토그램의 표정 인식률이 96.3%로 가장 높은 결과를 보였으며 제안한 방법의 우수성을 확인할 수 있었다.