Construction of Composite Feature Vector Based on Discriminant Analysis for Face Recognition

얼굴인식을 위한 판별분석에 기반한 복합특징 벡터 구성 방법

Abstract

We propose a method to construct composite feature vector based on discriminant analysis for face recognition. For this, we first extract the holistic- and local-features from whole face images and local images, which consist of the discriminant pixels, by using a discriminant feature extraction method. In order to utilize both advantages of holistic- and local-features, we evaluate the amount of the discriminative information in each feature and then construct a composite feature vector with only the features that contain a large amount of discriminative information. The experimental results for the FERET, CMU-PIE and Yale B databases show that the proposed composite feature vector has improvement of face recognition performance.

1. 서 론

최근 하드웨어 기술이 발전하고 그에 따른 소프트웨어의 응용폭이 넓어짐에 따라 다양한 콘텐츠를 위한 기술들이 개발되고 있다. 특히, 스마트 모바일 기기들의 보급이 확산되면서 영상 데이터에 여러 가지 기계 학습 기법들이 적용된 지능형 시스템들에 대한 관심이 크게 증가하고 있다. 얼굴인식은 이러한 기술들 가운데 대표적인 기술로서, 방송 콘텐츠, 오락, 출입 제어, 보안, 감시 등 다양한 분야에서 응용될 수 있다[1,2].

그동안 얼굴인식을 위한 많은 알고리즘들이 제안되어 왔다[1-9]. 이들 알고리즘들은 필요한 정보를 어떤 영상으로부터 추출하는지에 따라 전역 특징(holistic-feature) 기반 방법[10-13]과 지역 특징(local- feature) 기반 방법[14-18]으로 나눌 수 있다. Eigenface[10], Fisherface[11], Null space LDA(Linear Discriminant Analysis)[12]와 같은 전역 특징을 이용하는 방법들은 전체 얼굴 영상으로부터 필요한 특징들을 추출한다. 전역 특징은 얼굴을 구분하는데 유용한 질감(texture) 정보나 윤곽(shape) 정보를 잘 보존하는 장점이 있다. 그동안 제안되어 왔던 여러 전역 특징 기반의 방법들은 실험실 안과 같은 제한된 환경에서 얻은 정규화 된 얼굴 영상에 대해서는 매우 좋은 성능을 보인다[3]. 그러나 액세서리(accessary) 착용, 헤어스타일 또는 표정(expression)의 변화 등 얼굴 내부의 변이가 있거나, 카메라의 각도(pose), 조명(illumination)의 변이(variation) 등 제한되지 않은 환경(uncontrolled environment)에서는 전체 얼굴 영상의 왜곡이 심하기 때문에 인식률이 크게 감소한다[3,18].

반면, 얼굴의 부분 영상으로부터 특징을 추출하는 지역적 특징 기반 방법들은 전체적인 얼굴 윤곽에 대한 정보는 사용하지 못하지만 전역 특징에 비해 각종 변이들에 덜 민감한 장점이 있다. 이를테면, 액세서리를 착용했을 때 액세서리 주변의 픽셀들은 변화가 있지만 액세서리가 포함되지 않은 부분 영상에는 영향이 없기 때문이다. 지역적 특징 기반의 방법들은 변이의 영향을 적게 받는다. 얼굴 영상의 어떤 부분을 사용했는지에 따라 인식 성능의 변동이 크다. [3,19]에서는 두드러진 얼굴 성분들이 분별력 있는 정보(discriminant information)를 많이 포함하고 있다는 정신물리학(psychophysical)적인 실험들에 근거하여 눈, 코, 입 등의 얼굴 요소들의 영상들을 부분 영상으로 사용하였다. [18]에서는 판별분석(discriminant analysis)을 이용하여 얼굴 영상을 이루고 있는 개개의 픽셀들이 갖고 있는 분별력 정보의 양을 정량적으로 측정하여 얼굴인식에 적합한 픽셀들을 선택하는 방법이 제안되기도 하였다.

한편, 전체 얼굴 영상과 부분 영상을 함께 사용하는 하이브리드(hybrid) 형태의 방법들도 제안되어 왔다[19-21]. [19]에서는 전체 얼굴 영상으로부터 추출한 전역 특징과 눈, 코, 입의 부분 영상으로부터 추출한 지역 특징을 연결하여 인식에 사용하였고 [20]에서는 전체 영상과 부분 영상에 DCT변환을 적용하여 전역 특징과 지역 특징을 추출하고 이들을 연결한 다음, I-LDA[5]를 적용하였다. [21]에서는 PCA(Principal Component Analysis)[10]과 2D WPA(Wavelet Packet Analysis)를 이용하여 각각 전역특징과 지역특징을 추출하고, 특징들의 결합 알고리즘으로 ANFIS(Adaptive Neuro-Fuzzy Inference System)[22]와 SVM(Support Vector Machine)[23]을 이용하였다.

본 논문에서는 얼굴인식에 대한 전역 특징과 지역 특징의 장점을 모두 활용하기 위한 복합특징 벡터구성 방법을 제안한다. 전역 특징 추출을 위한 전체 얼굴 영상은 두 눈의 좌표를 기준으로 동일한 크기로 자른 얼굴을 사용하였으며, 지역적 특징 추출을 위한 부분 영상은 판별분석에 의해 선택된 픽셀들로 구성하였다[18]. 먼저, 특징 추출 방법(feature extraction method)인 Null space LDA(NLDA)[12]를 이용하여 전체 얼굴 영상과 부분 영상으로부터 전역 특징과 지역 특징을 추출하였다. 그러나 앞서 언급한 대로, 이렇게 추출된 전역 특징들과 지역 특징들에는 얼굴인식에 유용한 정보 뿐 만 아니라 여러 종류의 변이나 잡음(noise)의 영향 등으로 인해 오히려 얼굴을 인식하는데 방해가 되는 정보들도 포함되어 있다. 따라서 제안한 방법에서는 추출된 특징들 중에서 얼굴인식에 적합한 특징들만을 선별적으로 선택하여 최종 인식 단계에서 사용하였다. 이를 위해, 대표적인 입력 특징 선택 방법 가운데 하나인 ReliefF 방법[24]을 이용하여 각 특징들에 대한 클래스 분별 능력을 측정하고 이를 바탕으로 얼굴인식을 위한 최적의 전역 특징과 지역 특징을 조합하였다. 많은 얼굴인식 연구에서 레퍼런스 데이터로 사용되는 FERET database[25], CMU-PIE database [26], Yale B database[27]에 대한 인식 성능 실험 결과, 제안한 방법은 전역 특징 또는 지역 특징을 단독으로 사용한 결과 뿐 만 아니라 전역 특징과 지역 특징을 함께 사용한 방법[19]보다 우수한 성능을 보여 주었으며, 특히 조명 변이가 심한 CMU-PIE database와 Yale B database에 대해 성능 개선이 더욱 두드러지게 나타났다.

본 논문은 다음과 같이 구성되었다. 2장에서는 전체 얼굴 영상과 얼굴의 부분 영상으로부터 얼굴인식을 위한 특징을 추출하는 방법과 판별분석에 기반하여 부분 영상을 선택하는 방법을 설명한다. 3장에서는, 추출된 전역 특징과 지역 특징들 가운데 얼굴인식을 위해 최종적으로 사용될 특징들을 선택하기 위해 특징들의 클래스 분별력을 측정하여 복합특징벡터를 구성하는 과정을 나타낸다. 4장에서는 여러 종류의 얼굴 데이터베이스에 대한 얼굴인식 성능 결과를 제시하고, 마지막으로 5장에서 결론을 맺는다.

 

2. 전역 특징(holistic feature)과 지역 특징(local feature) 추출

2.1 얼굴인식을 위한 특징 추출

얼굴인식을 위한 특징을 추출하는 대표적인 방법으로는 얼굴인식에서 Fisherface로 알려져 있는 LDA와, LDA의 변형(variant)들 중 하나로 특히 영상 데이터와 같이 차원이 큰 데이터의 경우에 효과적인 Null Space LDA (NLDA) 방법이 있다. 본 논문에서는 NLDA 방법을 이용하여 전체 얼굴 영상과 얼굴의 부분 영상으로부터 전역 특징과 지역적 특징을 각각 추출하였다.

N개의 샘플과 C개의 클래스를 가진 학습 집합이 주어졌을 때, 다른-집합 공분산 행렬(between-covariance matrix) Sb와 같은-집합 공분산 행렬(with-inclass covariance matrix) Sw를 다음과 같이 정의한다[1].

여기에서 xm∈Rn×1는 클래스 ci에 속한 m번째 샘플을 의미하며, N은 전체 샘플의 수, C는 클래스의 개수, 그리고 μ와 μi는 전체 샘플의 평균(mean)과 클래스 ci에 속한 샘플들의 평균이다. LDA의 경우, 특징 공간의 기저(basis)로 사용되는 투영 벡터(projection vector)들은 의 고유벡터(eigenvector)들이다[11]. 이는 LDA가 Sw의 range 공간, 즉 WTSwW≠0인 공간에서 같은 클래스 간의 공분산은 최소가 되면서 동시에 다른 클래스들 간의 공분산은 최대가 되도록 하는 특징 공간을 구성하는 것을 의미한다. 그러나 분별 정보의 측면에서 보면, WTSwW≠0이면서 동시에 WTSbW를 최대화 하는 공간보다는 Sw의 null 공간, 즉 WTSwW=0이면서 WTSbW를 최대화 하는 공간이 더 많은 분별 정보를 갖고 있다고 볼 수 있다. 따라서 NLDA는 다음과 같은 목적함수를 사용하여, 먼저 같은 클래스의 샘플들을 한 점으로 모으기 위해 샘플들을 Sw의 null space에 투영(projection)시킨 다음, Sw의 분산을 최대로 하는 투영 벡터들로 구성된 부분 공간을 찾는다.

2.2 부분 영상 구성을 위한 픽셀 선택

굴인식에 필요한 특징들을 추출함에 있어서 모든 픽셀이 유용하지는 않다. 인식에 유용하게 사용되는 픽셀들의 특성은 먼저 같은 사람의 영상들에서는 분산이 작고, 다른 사람의 영상들과의 분산은 커야 한다. 본 논문에서는 지역적 특징을 추출하기 위한 부분 영상을 구성하기 위해 판별분석에 기반 한 픽셀 선택 방법(Pixel Selection Based on Discriminant Analysis, PSDA)[18]을 사용하였다. 먼저 얼굴 영상으로부터 얼굴인식에 유용한 픽셀들을 선택하기 위한 기준(reference)을 정해야 하는데, 이를 위해 2.1에서 소개한 NLDA 방법을 이용하여 전체 얼굴 영상으로부터 분별력 있는 특징 공간(discriminant feature space)에 대한 투영 벡터를 구한다.

C개의 클래스를 갖는 학습 집합(training set)이 주어졌을 때, NLDA 방법은 C개의 투영 벡터 wl(l=1,2,,C)를 구할 수 있다[12]. 투영 벡터는 원 영상 공간에서 개별 픽셀에 해당하는 기저 벡터들의 선형 결합으로 표현될 수 있으므로 투영 벡터의 성분(vector element)들의 크기와 개별 픽셀과의 관계로부터 각 픽셀들이 갖고 있는 분별력 정보의 양을 측정하여, 정보 양이 많은 픽셀 순서대로 중요 픽셀의 우선순위를 나타내는 벡터(pl)를 구한다. 그런데 C개의 투영 벡터마다 각각 다른 우선순위 벡터가 만들어질 수 있으므로, 최종적인 픽셀의 중요도를 나타내는 우선순위 벡터 ps는 각 l-번째 투영 벡터로부터 구한 우선순위 벡터 pl에 고유 값(eigen value) λl에 따라 가중치 αl를 주어 다음과 같이 구한다[18].

우선순위 벡터 ps에 의해 선택된 픽셀들의 분포를 보면, 얼굴의 어떤 영역에서는 선택된 픽셀들이 연결되어 있지 않은 반면, 어떤 영역에서는 대부분의 선택된 픽셀들이 연결 되어 있다. 그러나 분별력 정보가 인접 픽셀마다 급격히 변화할 가능성은 적고, ps를 구하는데 사용된 학습 영상에 의해 세부적인 모양은 달라질 수 있다. 따라서 학습 데이터의 영향을 최소화하고 얼굴에서 분별 정보의 분포가 밀집 되어있는 영역을 나타내기 위해 [18]에서 제시한 방법을 따라 ps에 의해 선택된 픽셀들을 그룹핑(grouping)하여 최종적으로 부분 영상을 구성 할 픽셀들을 선택하였다. 본 논문에서 사용 된 부분 영상을 구성하는 픽셀의 위치를 구하기 위해 FERET database에 포함되어 있는 200명에 대해 2장 씩 (‘fa’, ‘fb’), 총 400장을 사용하였으며 선택된 픽셀의 분포는 Fig. 1에 나타내었다.

Fig. 1.Distribution of the selected pixels consisting of the sub-image.

 

3. 분별력 정보 측정에 의한 복합특징 벡터 구성 방법

전체 얼굴 영상()과 부분 영상()으로부터 NLDA를 이용하여 구한 투영 벡터의 집합을 각각 와 이라고 하면, 전역 특징 벡터 와 지역 특징 벡터 는 다음과 같이 구할 수 있다.

본 논문에서는 먼저 과 을 연결(concatenation)하여 를 만들고, 의 개별 특징들 (i=1,..,2C)들의 분별력 정보를 측정하여, 이를 바탕으로 분별력 정보들이 많은 특징들로 복합특징 벡터를 구성하였다. 먼저 각 특징들의 분별력 정보는 ReliefF 방법[24]을 이용하여 특징들 간의 조건적 상호의존성을 바탕으로 측정하였다.

ReliefF 방법은 기본적으로 각 특징들의 값이 얼마나 서로 가까이에 있는 샘플들을 잘 구분할 수 있는지에 따라 유용한 특징과 그렇지 않은 특징을 구별한다. 이를 위해, 먼저 특징에 대한 가치를 의미하는 가중치 벡터 A={A1,A2,..,A2C}T를 정의한다. 랜덤하게 선택한 m번째 샘플()에 대해 같은 클래스를 갖는 샘플 중 특징 공간(feature space)에서의 거리가 가장 가까운 k개의 샘플을 ‘Hit’(Hr,r=1,..,k)이라 하고, 다른 클래스에 속한 샘플 중에서 거리가 가장 가까운 k개의 샘플을 ‘Miss’(Mr,r=1,..,k)라고 부른다[24]. j번째 특징 yj에 대해, 만약 와 Hr가 다른 값을 갖는다면 특징 yj는 같은 클래스에 속한 샘플 와 Hr 를 서로 분리시키는 셈이 된다. 이런 경우는 클래스의 분별을 어렵게 만드는 것이므로 가중치 벡터의 j번째 원소 Aj의 값을 감소시킨다. 반면, 만약 yj에 대해 와 Mr 이 다른 값을 갖는다면 특징 yj는 서로 다른 클래스에 속한 샘플 와 Mr을 잘 분리하는 것이므로 Aj의 값을 증가시킨다. Aj의 초기 값을 0으로 했을 때, 샘플 에 의한 특징 yj의 가중치Aj는 다음과 같은 과정을 거쳐 계산된다.

1) 임의의 샘플 을 선택한다.

2) k개의 Hr를 찾는다.

3) 의 클래스 와 다른 클래스들 cl,(l=1,..,C-1)에서 k개의 Mr(cl)들을 찾는다.

4)

여기에서 P(cl)는 클래스 cl의 사전 확률(prior probability)이고, D(yj,yA,yB)=|yjA-yjB|이다.

위의 과정을 N개의 샘플 (m=1,2,..,N)에 대해 반복한 후, Aj의 값이 큰 특징들을 가지고 얼굴인식에 사용 될 최종 복합특징 벡터(FCFDA)를 구성한다. 제안한 방법의 전체 흐름은 Fig. 2에 제시하였다.

Fig. 2.Overall procedure of face recognition using composite feature vector.

 

4. 실험 결과 및 고찰

4.1 얼굴 데이터베이스 및 실험 조건

제안한 방법의 효과를 확인하기 위해 여러 가지 얼굴 데이터베이스를 가지고 인식률을 측정해 보았다. FERET database, CMU-PIE database, Yale B database는 얼굴인식 연구에서 널리 사용되는 데이터베이스들로서, 데이터베이스들마다 다른 특징을 가지고 있다(Table 1, Fig. 3).

Table 1.Characteristics of each database

Fig. 3.Examples from various databases. (a) FERETdatabase, (b) CMU-PIE database, (c) Yale B database.

FERET database는 994명에 대한 영상을 포함하고 있다. 이 가운데 본 논문에서는 992명에 대한 정면에서 찍은 두 장(‘fa’, ‘fb’)씩의 영상, 즉 총 1984장의 영상을 사용하였으며, ‘fa’와 ‘fb’ 사이에는 작은 표정 또는 안경 착용 등의 변화가 있다. 992명 가운데 2장의 부분 영상을 만드는데 사용되었던 200명의 영상(400장)을 인식 성능 평가를 위한 학습(training) 영상으로 사용되었으며, 나머지 792명의 영상이 테스트 영상으로 사용되었다. 테스트에서는 ‘fa’영상을 갤러리(gallery) 영상으로, ‘fb’ 영상은 프루브(probe)영상으로 사용하였다.

CMU-PIE database에는 총 68명에 대해 조명의 조건을 달리하는 21장의 영상을 포함하고 있는데, 그 중 3명의 영상은 일부 영상이 촬영 상의 결함이 있거나 21 종류의 조명 변이를 모두 포함하고 있지 않아, 본 실험에서는 65명에 대한 21장, 즉 총 1365장의 영상을 사용하였다. 학습 영상으로는 각 사람당 조명 변이가 크지 않은 3장의 영상(‘27_06’,‘27_07’,‘27_08’), 총 195장을 사용하였으며, 정면 조명에서 촬영된 ‘27_20’ 영상을 갤러리 영상으로, 각 사람당 나머지 17장의 영상(총 65명×17장=1105장)을 프루브 영상으로 사용하였다.

Yale B database는 10명 당 45종류의 조명 변이가 있는 영상을 포함하고 있는데, 조명 변이의 정도에 따라 subset 1, subset 2, subset 3, subset 4로 나누어져 있다. 본 실험에서는 조명 변이가 적은 subset 1과 subset 2의 영상들을 학습 영상과 갤러리 영상으로, 나머지 subset 3과 subset 4의 영상들을 프루브 영상으로 사용하였다.

얼굴인식 실험을 위해서는 얼굴 영상을 동일한 크기로 정렬(face alignment)해야 한다[5,18]. 이를 위해 전체 얼굴 영상은 수동으로 찾은 눈 좌표를 이용하여 두 눈 사이의 거리를 기준으로 자른 후 120x100 크기로 다운스케일링(down scaling)하였다[18]. 모든 영상에는 히스토그램 정규화 (histogram equalization)처리를 하였으며[28] 모든 픽셀들은 영 평균(zero mean), 단위 표준편차(unit standard deviation)를 갖도록 정규화 하였다[3,18].

4.2 얼굴인식률 비교 평가

얼굴인식률의 평가는 제안한 방법에 의한 복합특징(FCFDA)과 전체 영상과 부분 영상으로부터 추출한 전역 특징(FH), 지역 특징(FL), 그리고 전역 특징과 지역 특징을 함께 사용한 CSS 방법[19](FCSS)의 성능을 비교하였다. 얼굴인식을 위한 분류기로는 NN(Nearest Neighborhood) 방법을 사용하였으며 거리 측정 방법으로는 Euclidean distance를 사용하였다.

특징 공간의 각 차원은 해당 차원의 기저 벡터로 사용되는 투영 벡터의 고유 값이 클수록 그 차원이 특징 추출 방법의 목적함수의 특성을 잘 반영하는 것을 의미하므로, 일반적으로 고유 값이 큰 투영 벡터 순서대로 차원을 늘려가며 인식을 위한 최적 차원의 특징 공간을 찾는다. Fig. 4는 각 데이터베이스에 대해 전역 특징 공간과 지역 특징 공간을 각각 고유값이 큰 투영 벡터부터 순서대로 사용하여 차원을 늘렸을 때의 인식률과 전역 특징과 지역 특징을 모두 함께 사용한 경우(FCom), 그리고 제안한 방법에 의해 선택된 특징들로 구성된 복합 특징을 사용한 경우(FCFDA)의 인식률을 나타낸 것이다. Fig. 4에서 보듯이, 전역 특징, 지역 특징 모두 차원이 증가하면서 인식률이 함께 증가하는 것을 볼 수 있다. FERET database의 경우, 비교적 변이가 크지 않은 영상들을 포함하고 있기 때문에 전역 특징과 지역 특징의 성능이 비슷하고, FCom의 경우 FL에 비해 0.6% 정도 인식률이 상승하였다. 반면, 조명 변이가 있는 CMU-PIE database와 Yale B database의 경우 FL이 FH에 비해 성능이 눈에 띄게 개선되었는데 이는 지역 특징이 전역 특징에 비해 변이에 덜 민감하기 때문인 것으로 보인다. 한편, 전역 특징과 지역 특징을 단순히 결합한 FCom의 경우 FL보다 인식률이 낮게 나온 것을 볼 수 있는데, 이는 지역 특징보다 상대적으로 낮은 성능을 보이는 전역 특징의 영향으로 지역 특징이 오히려 하향 평준화 되었기 때문이다. 따라서 제안한 방법에서는 각 특징들의 분별력을 판별분석에 의해 측정하여 선별적으로 선택하고 선택된 특징들로 복합 특징 공간을 구성함으로써 전역 특징과 지역 특징의 장점들을 모두 활용하였는데, 이경우 CMU-PIE database와 Yale B database에서 모두 FCSDA가 FH, FL, FCom보다 좋은 성능을 나타내는 것을 확인할 수 있다.

Fig. 4.Recognition rates of holistic-features(FH), local-features(FL) and combined features(FCom) for various databases. (a) FERET database, (b) CMU-PIE database, (c) Yale B database.

Fig. 5은 여러 데이터베이스에 대하여, FCFDA, FH, FL, FCSS를 사용했을 때의 인식률을 나타내었다. Fig. 5에서 볼 수 있듯이, FERET database, CMU-PIE database, Yale B database에서 모두, 제안한 FCFDA가 가장 좋은 인식률을 나타내었다. 비교적 영상의변이가 작은 FERET database의 경우, 83개의 전역특징(FH)을 사용하였을 때(95.4%) 보다 95개의 지역 특징(FL)들을 사용하였을 때(96.5%) 인식률이 소폭 증가하였고, 전역 특징과 지역 특징들 가운데 좋은 특징들만 선택하여 구성한 FCFDA는 FH와 FL보다 0.6%~1.0% 높은 인식률을 보여주었다. 제안한 FCFDA의 효과는 조명 변이가 있는 CMU-PIE database와 Yale B database에서 더 크게 나타났다. Fig. 4와 Fig. 5에서 보듯이, FH에 비해 FL을 사용하였을 때 CMU-PIE database에서 64개의 특징을 사용했을 때와 Yale B database에서 9개의 특징을 사용했을 때 각각 인식률이 2.5%, 1.5% 증가하였다. 주목할 점은 단순히 눈, 코, 입으로부터 추출한 지역 특징을 전역 특징과 결합한 FCSS의 경우, 오히려 지역 특징만을 사용한 FL보다 성능이 낮게 나왔다. 이는 전역 특징과 지역 특징이 함께 사용되었을 때 특징들의 선택적 사용이 필요함을 다시 한 번 보여주는 것으로서, 제안한 방법을 이용하여 특징들을 선택적으로 구성한 FCFDA의 경우, CMU-PIE database에서 FH와 FL보다 각각 4.9%, 2.4%, Yale B database에서 2%, 0.4% 높은 인식률을 보여 주었다.

Fig. 5.Comparison of recognition rates between the proposed method and other methods.

 

5. 결 론

얼굴의 전체 영상으로부터 추출한 전역 특징과 부분 영상으로부터 추출한 지역 특징은 얼굴인식에 있어 각각 다른 특성을 보인다. 본 논문에서는 이러한 전역 특징과 지역 특징들 중에 얼굴인식에 필요한 정보를 많이 가지고 있는 특징들만을 결합하여 복합 특징을 구성하는 방법을 제안하였다. 이를 위해 먼저 PSDA을 사용하여 부분 영상을 만들고, NLDA를 사용하여 전체 영상과 부분 영상으로부터 각각 전역 특징과 지역 특징을 추출하였다. 추출된 특징들에 대해, 개별 특징들이 포함하고 있는 분별력 정보의 양을 판별분석에 기반 하여 측정하였다. FERET database, CMU-PIE database, Yale B database에 대한 인식 성능을 평가한 결과, 제안한 방법은 전역 특징 또는 지역 특징을 단독으로 사용하였을 때보다 인식에까지 걸리는 시간은 6~8ms 증가하였지만 모든 데이터베이스에서 전역 특징과 지역 특징을 단독으로 사용했을 때와 전역 특징과 지역 특징을 단순 결합했을 때보다 0.7%~4.9% 더 높은 인식률을 보여 주었다. 특히 변이가 작은 FERET database보다 조명 변이가 있는 CMU-PIE database와 Yale B database에서 성능의 개선이 두드러졌다. 제안한 복합특징 구성 방법은 얼굴인식 뿐만 아니라, 다른 패턴 인식 분야에서도 특성이 다른 여러 특징 추출 방법을 함께 사용하여 인식 성능을 개선하는 데에 사용될 수 있을 것으로 기대된다.