Feature Generation Method for Low-Resolution Face Recognition

저해상도 얼굴 영상의 인식을 위한 특징 생성 방법

Abstract

We propose a feature generation method for low-resolution face recognition. For this, we first generate new features from the input features (pixels) of a low-resolution face image by adding the higher-order terms. Then, we evaluate the separability of both of the original input features and new features by computing the discriminant distance of each feature. Finally, new data sample used for recognition consists of the features with high separability. The experimental results for the FERET, CMU-PIE and Yale B databases show that the proposed method gives good recognition performance for low-resolution face images compared with other method.

1. 서 론

얼굴인식은 영상 안에 포함되어 있는 사람의 얼굴을 찾아 누구인지를 분별하는 생체 인식 기술 중의 하나이다. 지문인식, 홍채인식, 정맥인식과 같은 생체 인식 기술들이 센서 와의 접촉 또는 특정 자리에 위치할 것 등을 사용자에게 요구하는 것과는 달리, 얼굴 인식은 비접촉식이고 사용자에게 특별한 협조를 요구하거나 혐오감을 주지 않는 장점이 있다. 이러한 사용자 친화적인 특징으로 인해 얼굴인식 기술은 사용자 인증, 용의자 검색 등의 보안, 감시 뿐 만 아니라 오락, 마케팅 등 응용의 폭이 점차 넓어지고 있다[1-3]. 특히, 얼굴인식은 데이터의 획득을 위해 카메라 외의 특별한 장치를 필요로 하지 않기 때문에 최근에는 스마트 폰과 같은 모바일 기기에서의 응용 콘텐츠들도 개발 되고 있다.

그동안 얼굴인식을 위한 많은 방법들이 연구되어 왔다. 그 가운데 형상 기반 방법(appearance based method)은 영상을 2차원 배열 또는 벡터로 표현하고 픽셀의 밝기 값들의 통계적인 정보를 이용하여 얼굴을 인식하는 방법으로서, Eigenface[4], Fisherface[5], DCV(Discriminant Common Vector)[6]을 비롯하여 이들을 확장(extended), 변형(variant)한 다양한 방법들이 제안되어 왔다[7-12]. 이 방법들은 얼굴을 인식하는 데에 유용한 특징들을 추출하기 위해 고차원의 얼굴 영상 데이터를 저차원의 특징벡터(feature vector)로 변환하기 위한 투영벡터(projection vector)를 구한다. Eigenface 방법은 주성분 분석(Principal Component Analysis, PCA)[13]을 기반으로 영상 샘플들의 분산을 크게 만드는 특징 공간에서 영상을 분류한다. Fisherface 방법은 선형 판별 분석(Linear Discriminant Analysis, LDA)[14]을 얼굴인식에 적용할 때 발생하는 SSS(Small Sample Size)문제[14]를 피하기 위해 PCA를 먼저 수행한 후 LDA를 적용하는 방법이다. DCV 방법은 LDA의 변형으로서 얼굴 영상의 차원이 샘플의 개수보다 많을 때 발생하는 영공간(null space) 상에서 인식을 수행하는 방법이다. 얼굴 영상은 대부분 고차원 데이터이므로 영공간의 차원이 높아 일반적으로 얼굴인식에서는 DCV가 좋은 성능을 보인다[7].

한편, 최근 초고해상도 카메라의 보급이 확산됨에 따라 일반 개인이 다루는 영상 데이터의 용량도 커지게 되었다. 그러나 고해상도의 영상은 디스플레이 이외의 용도에는 불필요한 메모리를 차지하거나 데이터를 처리하거나 응용하는 데에 과다한 연산 양을 요구한다. 이에 모바일 기기와 같이 비교적 컴퓨팅 파워가 작은 소형 기기에서는 데이터의 효율적인 호출과 처리를 위해 고해상도 영상에 대한 썸네일(thumbnail) 형태의 저해상도 영상을 만들어 사용한다. 얼굴인식 기술을 모바일 기기와 같은 소형 기기에서 다양한 용도로 활용하기 위해서는 간단하고 저해상도 영상에서도 잘 동작할 수 있어야 한다. 그러나 앞서 언급한 기존의 얼굴 인식 방법들은 영상을 구성하고 있는 픽셀의 형상 정보로부터 특징을 추출하기 때문에 얼굴 영상의 해상도에 따라 성능의 영향을 받는다. 특히 일반 고차원 영상 데이터에 대해 성능이 좋은 DCV 방법의 경우, 데이터의 차원이 줄어들면 영공간의 차원이 줄어들거나 사라지는 경우가 발생할 수 도 있다.

본 논문에서는 저해상도 얼굴 영상의 인식을 위한 특징 생성 방법을 제안한다. Cover의 정리[15]에 따르면, 데이터 샘플들이 선형 분리적(linearly separable)으로 분포하지 않은 경우, 샘플들을 고차원으로 변환시킴으로써 선형 분리적인 분포로 만들 수 있다. 저차원의 데이터 샘플을 고차원으로 변환하기 위해 커널(kernel) 함수를 사용하는 방법들이 있다[16-18]. 실제 커널 함수를 직접 계산하는 데에는 매우 큰 연산 양이 필요하므로 이 방법들은 커널 함수를 직접 계산 하는 대신 커널 행렬(kernel matrix)를 사용한다. 그러나 이 경우, 만들어진 고차원 데이터의 값을 확인할 수 없기 때문에 만약 고차원의 데이터의 개별 차원에 해당하는 변수들 중에 분류에 별다른 도움이 되지 않는 불필요한 변수들이 포함되어 있어도 이들을 제거하거나 분리하여 사용할 수 없다. 이에, 제안한 방법에서는 개별 변수들의 고차항(higher order term)을 추가하여 새로운 특징을 생성하고, 판별 거리 척도를 이용하여[19] 원래의 특징과 생성된 특징들에 대한 분리성(separability)을 측정하여 분별 정보가 많은 특징들만 선별적으로 얼굴인식 과정에 사용하였다. 제안한 방법의 효과를 확인하기 위해, 얼굴인식 연구 분야에서 널리 사용되는 FERET database[20], CMU-PIE database[21], Yale B database[22]에 대해 인식 성능을 실험해 본 결과, 저해상도 영상을 사용 하였을 때 보다 제안한 방법으로 생성한 특징들을 사용하였을 때 더 높은 인식률을 확인 할 수 있었다.

본 논문은 다음과 같이 구성되어 있다. 2장에서는 형상 기반 얼굴인식 방법과 해상도에 따른 얼굴인식 성능을 살펴본다. 3장에서는 특징 생성 방법과 최적 특징 선택 방법을 설명하고 4장에서는 다양한 얼굴영상 데이터베이스에 대해 제안한 방법의 성능을 평가한다. 마지막으로 5장에서 결론을 맺는다.

 

2. 얼굴 영상의 해상도와 얼굴인식 성능

2.1 형상 기반 얼굴인식 (Appearance Based Face Recognition)

형상 기반 얼굴인식 방법들은 H × W크기의 얼굴 영상을 n(= H • W)차원의 벡터 x로 표현한다. Fisherface 방법과 DCV 방법은 선형 판별 분석에 기반한 방법으로 형상 기반 얼굴인식 방법들 가운데 대표적인 방법들이다. C개의 클래스(C명)와 각 클래스 ci(i = 1,...,C)마다 Ni장의 총 N장의 영상이 있을 때 , 클래스 내 산란행렬(within class scatter matrix) SW와 클래스 간 산란행렬(between class scatter matrix) SB은 다음과 같이 정의할 수 있다.

여기서 μi는 클래스 ci에 속한 샘플들의 평균이고, μ는 전체 N개 샘플의 평균이다. Fisherface 방법은 클래스 내의 산란은 최소화하고 클래스 간의 산란은 최대화하기 위해 다음의 목적함수를 만족시키는 투영벡터(projection vector) wl(l = 1,...C-1)로 구성된 투영행렬(projection matrix) WFisher = [w1,...,wC-1]을 구한다.

영상의 픽셀 수(n)가 영상의 개수(N)보다 많은 경우, 이 때 발생하는 SSS 문제를 해결하기 위해 PCA 에 의한 투영행렬 WPCA을 이용하여 WPCA+LDA = WPCAWFisher를 사용하기도 한다.

Fisherface 방법이 SW의 차역공간(range space)을 이용하는 것과 달리, DCV 방법은 보다 많은 분별정보를 포함하고 있는 SW의 영공간을 이용한다. 즉, |WTSWW| = 0이면서 |WTSBW| ≠ 0인 공간에서 다음의 목적함수를 만족시키는투영 행렬 WDCV를 구한다.

영상의 픽셀 수가 많아 SW의 영공간이 큰 경우 DCV 방법의 성능이 Fisherface 방법보다 좋은 얼굴인식 성능을 보이며[7], DCV 방법은 Fisherface 방법에서와 같은 전처리 과정(PCA과정)이 없는 장점이 있다.

2.2 해상도 변화에 따른 얼굴인식 성능

얼굴인식 연구 분야에서 많이 사용되는 FERET database, CMU-PIE database, Yale B database에 대해(Fig. 1), 얼굴 영상의 해상도에 따른 얼굴인식 성능을 측정해 보았다. 영상의 해상도는 120 × 100, 60 × 50, 30 × 25, 24 × 20, 15 × 12에 대해 실험하였으며, 120 × 100, 60 × 50, 30 × 25, 24 × 20 영상에 대해서는 DCV 방법을 사용하였고, 15 × 12영상은 SW의 영공간이 존재하지 않아 Fisherface 방법을 사용하였다. Fig. 2에서 볼 수 있듯이, 모든 database에서 해상도가 감소함에 따라 인식률이 감소하는 것을 확인할 수 있었다. CMU-PIE database와 Yale B database에 비해 얼굴 영상에 변이가 적은 FERET database의 경우, 120 × 100에서 24 × 20까지는 해상도의 영향을 별로 받지 않았으나, DCV 방법을 사용할 수 없는 15 × 12 영상에 대해서는 인식률이 크게 감소함을 볼 수 있다.

Fig. 1.Examples from (a) FERET database, (b) CMU-PIE database, (c) Yale B database.

Fig. 2.Face recognition rates for various face image resolutions.

 

3. 특징 생성 및 최적 특징 집합 구성

3.1 고차항을 이용한 특징 생성 (Feature Generation Using Higher Order Term)

저차원 데이터 샘플들에 대해, 원래의 입력 특징들만을 가지고 분류를 하는 것은 종종 어려운 문제이다. 이런 경우, 데이터 샘플들을 비선형 변환 함수 φ(•)를 통해 고차원 공간으로 변환함으로써 샘플들의 분리성(separability)을 증가시킬 수 있다 (Cover의 정리[15], Fig. 3). 입력 공간의 차원을 늘리는 간단한 방법 중에 하나는 데이터 샘플의 입력 변수들로부터 고차항(higher order term)을 생성하여 추가 하는 것이다. 본 논문에서는 데이터 샘플(x = [x1,...xn]T)의 입력특징(픽셀)들의 이차항(xixj,(i,j = 1,...n))을 추가함으로써 입력 변수들 간의 상관관계(correla-tion)를 새로운 특징으로 사용하였다. 새로운 특징이 추가된 데이터의 차원 nN은 다음과 같다.

Fig. 3.Cover’s theorem.

3.2 판별 거리 척도를 이용한 최적 특징 선택 (Optimal Features Selection Based on Discriminant Distance)

많은 경우, 특징 생성을 통해 특징 공간의 차원이 증가하면 분류 율의 측면에서는 성능의 개선이 있지만, 동시에 분류기(classifier)에서의 계산 양은 증가한다. 게다가 특징 공간의 차원이 일정 수준을 넘도록 증가하면, 오히려 분류 율까지도 떨어지는 경우가 발생한다. 이는 특징 공간의 차원이 증가하면서 좋은 특징 공간을 학습하기 위해 요구되는 데이터 샘플의 개수 또한 증가하는데, 현실적으로 필요한 데이터 샘플을 모두 수집하는 데에는 한계가 있기 때문이다. 이러한 현상을 ‘차원의 저주’(curse of dimensionality)[23]라고 부른다. 따라서 최적의 분류 성능을 얻기 위해서는 적절한 차원의 특징 공간을 구성 하는 것이 필요하다.

15 × 12 크기의 영상에 대해, 식 (4)을 이용하면 16,290개의 특징을 생성할 수 있다. 이렇게 생성된 특징 중에는 분류에 유용한 특징들도 있는 반면, 분류 문제를 푸는 데에는 별다른 영향을 주지 못하는 특징들도 있다. 따라서 제안한 방법에서는 기존의 입력특징들과 생성된 특징들을 모두 얼굴인식 과정에 사용하지 않고 먼저 개별 특징들의 분리성을 측정하였다. 측정 결과를 바탕으로, 분리성이 높은 특징들로만 구성된 특징 벡터로부터 선형 판별 분석을 이용한 형상 기반 얼굴인식 방법을 사용하여 인식을 수행하였다.

개별 특징에 대한 분리성은 판별 거리 척도[19]를 이용하여 측정하였다. 새롭게 생성된 특징들을 포함한 데이터 샘플을 y∈RnN×1이라고 할 때 y의 i번째 성분(특징)에 대해, 같은 클래스 내 거리와 클래스 간 거리는 다음과 같이 정의할 수 있다.

여기서 과 mj는 클래스 ci의 평균의 i번째 성분과 전체 학습 데이터 샘플의 평균의 j번째 성분이며 Ni은 클래스 ci의 샘플 개수를 의미한다. 식 (5)로부터 i번째 특징의 판별 거리는 로 정의할 수 있으며[19] 이는 i번째 특징이 가지고 있는 판별 정보의 양을 나타내는 척도로 사용될 수 있다. β는 사용자 계수로서 데이터 샘플의 분포에 따라 결정할 수 있는데, 클래스 내의 분산이 크지만 클래스 분리성이 비교적 좋은 분포를 가지고 있는 경우에는 의 패널티를 의미하는 β의 값을 작게 하는 것이 좋다. β값에 따른 성능을 조사한 결과, 본 논문에서는 β의 값을 2로 설정하였다. 최종적으로 얼굴인식에 사용할 특징을 선택하기 위해 데이터 샘플과 같은 크기의 측정 벡터 S = [S1,S2,...,SnN]T, 를 정의하고 큰 Si에 해당하는 특징을 순서대로 선택한다. 제안한 방법의 전체 과정은 Fig. 4에 제시하였다.

Fig. 4.Overall procedure of the proposed method.

 

4. 실험 결과 및 고찰

4.1 얼굴 데이터베이스 및 전처리

제안한 방법의 효과를 확인하기 위해 여러 가지 얼굴 데이터베이스들에 대해 인식률을 측정해 보았다. 실험에 사용한 FERET database, CMU-PIE da-tabase, Yale B database는 얼굴인식 연구에서 널리 사용되는 데이터베이스들로서, Table 1과 같이 각각 다른 특성을 가지고 있다.

Table 1.Characteristics of each database used for the experiments

FERET database에 대해서는, 총 994명의 영상 중 992명의 영상을 사용하였고, 각 사람당 정면에서 찍은 두 장(‘fa’, ‘fb’)의 영상, 즉 총 1984장의 영상을 사용하였다[7]. 992명 가운데 200명의 영상(400장)을 인식 성능 평가를 위한 학습(training) 영상으로 사용하였으며, 나머지 792명의 영상을 테스트 영상으로 사용하였다. 테스트를 위해 ‘fa’영상을 갤러리(gallery)영상으로, ‘fb’ 영상을 프루브(probe) 영상으로 사용하였다.

CMU-PIE database의 정면 포즈 영상들 중에서 ‘illum’ 영상들은 총 68명에 대해 조명의 조건을 달리하는 21장으로 구성되어 있는데, 그 중 일부 촬영 상의 결함이 있거나 21 종류의 조명 변이를 모두 포함하고 있지 않은 영상들을 제외하고, 본 실험에서는 65명에 대한 21장, 즉 총 1365장의 영상을 사용하였다. 학습 영상으로는 각 사람의 영상 중에서 비교적 조명 변이가 크지 않은 3장의 영상(‘27_06’,‘27_07’,‘27_08’), 즉 총 195장을 사용하였으며, 정면 조명에서 촬영된 ‘27_20’ 영상을 갤러리 영상으로, 그리고 나머지 17장의 영상(총 65명×17장=1105장)을 프루브 영상으로 사용하였다.

Yale B database는 10명의 영상들을 포함하고 있으며, 각 사람의 영상은 45종류의 조명 변이가 있는 영상들로 구성되어 있다. 영상들은 조명 변이의 정도에 따라 subset 1, subset 2, subset 3, subset 4로 나누어져 있는데, 본 실험에서는 조명 변이가 적은 subset 1의 영상들을 학습 영상과 갤러리 영상으로, 나머지 subset 2, subset 3과 subset 4의 영상들을 프루브 영상으로 사용하였다.

얼굴인식 실험을 위해서는 먼저 얼굴 영상을 동일한 크기로 정렬(face alignment)해야 하는데 [7,12], 이를 위해 전체 얼굴 영상은 수동으로 찾은 눈 좌표를 이용하여 두 눈 사이의 거리를 기준으로 자른 후 120 × 100 크기로 다운스케일링(down scaling)하였고[7], 60 × 50, 30 × 25, 24 × 20, 15 × 12 영상들은 120 × 100 영상을 다시 다운스케일링 하였다. 모든 영상은 히스토그램 평활화 (histogram equalization) 처리를[24]하였으며, 모든 픽셀들은 영 평균(zero mean), 단위표준편차(unit standard deviation)를 갖도록 정규화 하였다[7,12].

4.2 얼굴인식률 평가

Fig. 2에서 인식률이 급격히 감소한 15 × 12영상(I180)을 기준으로, 15 × 12 영상(I180)과 15 × 12영상으로부터 bicubic 보간법[25]에 의해 120 × 100로 리사이징(resizing)한 영상, 그리고 식 (4)을 이용하여 I180으로부터 생성한 특징들이 추가된 의 전체 16,290개 특징 중에서 판별 거리 척도에 의해 선택한 최적 특징들로 구성된 (제안한 방법)에 대해 얼굴인식률 평가를 수행하였다. 최적의 특징 수(Nf)는 database의 성질에 따라 달라지기 때문에 실험적으로 Nf를 결정하였다[12]. Fig. 5에서와 같이 FERET database, CMU-PIE database, Yale B database에 대해 여러 Nf값에 따른 인식률을 비교해 본 결과, 본 실험에서는 FERET, CMU-PIE, Yale B database별로 각각 Nf = 12,290, 10,290, 16,290으로 정하였다. 특징 추출을 위한 형상 기반 얼굴인식 방법으로는 DCV 방법을 사용하였고 SSS 문제가 발생하는 I180에 대해서만 Fisherface 방법을 사용하였다. 얼굴인식을 위한 분류기로는 NN(Nearest Neighborhood)방법을, 거리 측정 방법으로는 Euclidean distance를 사용하였다.

Fig. 5.Recognition performance for various Nf.

Fig. 6은 여러 데이터베이스에 대하여, 에 대한 인식률을 나타내었다. Fig. 6의 결과들을 보면, 저해상도 영상(I180)을 보간법을 이용하여 영상의 크기, 즉 픽셀 수를 늘렸을 때, CMUPIE database와 FERET database의 경우에는 인식률의 향상이 있었으나 Yale B database의 경우에는 오히려 의 인식률이 I180보다 작게 나왔다. 이는 보간법에 의해 생성된 픽셀(입력특징)들은 기존 영상에서의 인접 픽셀들의 공간적인 관계로부터 추정된 밝기 값들이므로 이렇게 생성된 픽셀들은 선형판별 분석에 의한 특징을 추출하는 데에는 별다른 도움이 되지 않기 때문이다. 이와 달리, 제안한 방법을 이용하여 비선형 방식으로 입력특징을 생성하고 판별 거리 척도에 의해 선별적으로 선택된 특징들로 구성 된 는 모든 database에서 I180에 보다 높은 인식률을 보여 주었다.

Fig. 6.Comparison of recognition rates for (proposed method).

한편, 의 인식률을 보면, 의 인식률이 FERET database에서보다 CMU-PIE database와 Yale B database에서 더 두드러지게 향상되었음을 확인할 수 있었다. CMU-PIE database와 Yale B database에 비해 상대적으로 변이가 작은 FERET database의 영상들은 영상 축소로 인한 얼굴의 정체성 정보(identity information) 손실이 적은 반면, CMU-PIE database와 Yale B database의 영상들은 조명 변이로 인해 원 영상에서 이미 정체성 정보의 많은 부분이 손실되었기 때문에 축소된 영상(I180)에 얼굴 정체성 정보와 함께 그림자로 인한 왜곡 정보도 많이 포함된다. Bicubic 보간법은 I180로부터 로 확대할 때 새로운 픽셀의 밝기 값을 결정하기 위해 I180에서의 16개 인접 픽셀들을 이용하기 때문에 16개 픽셀 중 한 개라도 왜곡된 정보(그림자)가 포함되어 있으면 생성된 픽셀들 또한 왜곡 정보가 반영된다. 결과적으로, CMU-PIE database와 Yale B database의 경우에는 을 사용하였을 때 I180를 사용하였을 때 보다 인식률 향상의 폭이 크지 않거나 오히려 나빠지는 경우가 발생하였다. 반면, 제안한 방법에서는 생성된 특징들에서 정체성 정보에 대한 왜곡된 정보의 비율이 상대적으로 낮고, 그 결과 모든 database에서 생성된 특징을 모두 사용한 의 인식률이 I180보다 높게 나왔다. 또한 생성된 특징들 중에 왜곡된 정보가 포함되었을 경우에도 판별거리 척도를 이용하여 모든 특징들을 평가하고, 이를 바탕으로 분리성이 큰 특징들만 선별적으로 사용함으로써 추가적인 인식률 향상을 얻을 수 있었다.

 

5. 결 론

많은 경우, 데이터 처리를 위한 연산 양을 줄이고 저장 공간을 효과적으로 사용하기 위해 고해상도 카메라로부터 촬영된 영상을 저해상도 영상으로 변환하는데, 이때 발생하는 정보의 손실로 인해 얼굴인식의 성능이 감소할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 저해상도 얼굴 영상을 효과적으로 인식하기 위한 특징 생성 방법을 제안하였다. 저해상도 영상의 개별 픽셀을 입력특징이라고 할 때, 입력특징들의 고차항을 생성함으로써, 입력특징들간의 상관관계를 새로운 특징으로 사용하였으며, 판별 거리 척도를 이용하여 입력특징과 새로 생성된 특징들 중에서 인식에 별다른 도움이 되지 않거나방해가 되는 특징들은 제거하고 분리성이 큰 특징들만으로 데이터 샘플을 구성하였다. FERET database, CMU-PIE database, Yale B database에서, 축소된 영상, 보간법에 의해 확대된 영상과 제안한 방법에 의해 생성한 데이터 샘플 영상에 대한 인식 성능을 비교해 본 결과, 제안한 방법은 모든 database들에서 가장 높은 인식률을 보여 주었으며, 특히 조명 변이로 인해 원 영상의 왜곡이 많은 CMU-PIE database와 Yale B database에서도 성능이 크게 향상되었다. 제안한 특징 생성 방법은 얼굴인식 뿐 만 아니라, 다른 저차원 데이터에 대한 패턴 인식 문제에서도 효과적으로 사용될 수 있을 것으로 기대된다.