DCT 기반의 조명 보정과 고차 지역 패턴 서술자를 이용한 얼굴 인식

Face Recognition using High-order Local Pattern Descriptor and DCT-based Illuminant Compensation

Abstract

본 논문에서는 다양한 조명하에서 얼굴 인식의 정확성을 향상시키기 위하여 DCT 기반의 조명 보상 기법을 제안하였다. 제안한 방법은 DCT 공간으로 변환된 입력영상에서 저주파 영역은 조명의 정보를 포함하는 것을 이용하여 저주파 성분의 DCT 계수를 목표로 하는 조명으로 변환함으로써 조명을 보상하는 방법이다. 이때, 견고한 얼굴 특징을 추출하기 위해서 고차 지역 패턴 서술자를 이용하여 방향성에 강인한 특징점을 추출하였다. 실영상을 이용한 실험에서 최대 95% 이상의 인식률로써 제안한 알고리즘의 성능을 확인하였다.

This paper presents a method of DCT-based illuminant compensation to enhance the accuracy of face recognition under an illuminant change. The basis of the proposed method is that the illuminant is generally located in low-frequency components in the DCT domain. Therefore, the effect of the illuminant can be compensated by controlling the low-frequency components. Moreover, a directional high-order local pattern descriptor is used to detect robust features in the case of face motion. Experiments confirm the performance of the proposed algorithm got up to 95% when tested using a real database.

Ⅰ. 서 론

생체 인식은 기술의 발전과 사회적 필요성이 부각됨에 따라 보안, 인식, 지능형 관제와 같은 분야에서 연구되고 있다. 그 중에서도 얼굴 인식은 다양한 제품으로 활용되어 실생활에 밀접하게 적용되고 있다. 이때 얼굴 인식 방법으 로 아이겐 페이스(Eigenface)[1]와 피셔페이스(Fisherface)[2] 방법 등이 적용되었다.

최근에는 얼굴 인식의 성능을 개선하기 위하여 지역 서술자를 이용한 접근법이 많은 관심을 받고 있다. 이 중에서 가버 웨이블릿(Gabor Wavelet)[3]은 가우시안 엔빌로프 (Gaussian Envelope)에 의해 조절된 특정한 주파수와 방향을 가진 정현파로써 입력 대상의 공간 구조를 이용하여 특징을 추출하는 방법이다. 다음으로 EBGM(Elastic Bunch Graph Matching)[4]은 얼굴을 위상 그래프로 나타내어 제트 (jet)라고 하는 가버 계수의 집합으로 표현함으로써 특징을 추출한다. 한편 인식률을 높이기 위하여 텍스처 서술 기반의 지역 이진 패턴(Local binary Pattern, LBP)이 제안되었다[5]. 이 방법은 중심 값을 기준으로 영상을 이진화 하고 이를 방향에 따라 패턴화하여 주위값을 이용한다. 그러나 이 방법은 입력 물체가 가지고 있는 구체적인 정보를 추출하지 못한다는 단점이 있다. 이를 해결하기 위하여 제안된 고차지역 미분 패턴(Local Derivative Pattern, LDP)[6]은 LBP에 비해 보다 국부적인 변화를 잘 표현할 수 있다. LBP가 영상을 이진화 한 결과인 지역 패턴으로 표현한데 반해 LDP는 특징들에 대해 시작점을 변경하여 부호화함으로써 특징 추출 단계에서 방향을 고려한다는 장점이 있다.

일반적으로, 얼굴 인식 시스템의 성능은 자세, 표정, 조명의 변화에 의존하는 경향이 있다. 특히 조명의 변화는 방향, 색도, 밝기와 같은 가변적인 요소 때문에 성능 저하의 중요한 원인이 된다. 이를 해결하기 위한 방법으로 전처리 및 정규화, 불변 특징 추출, 얼굴 모델링과 같은 접근법이 있다. 먼저 전처리 및 정규화 방법 중에 히스토그램 균등화(Histogram Equalization, HE)[7]는 영상이 균일한 히스토그램을 갖도록 변환하는 방법이다. 그러나 이 방법을 적용한 후에, 불균일한 조명에서 촬영한 영상의 조명이 때때로 포화되거나 대비가 치우치게 되는 문제가 있다. 이와 같은 문제를 해결하기 위하여 적응형 히스토그램 균등화(Adaptive Histogram Equalization, AHE)[8] 방법이 사용된다. AHE는 주어진 픽셀에서 해당 픽셀에 맵핑된 값을 결정하기 위해 중심에 있는 국부 영상 영역의 히스토그램을 계산하여 국부 대비향상을 이끌어낸다. 특히대비제한적응 히스토그램 평활화(Clip Limitted Adaptive Hisotgram Equalization, CLAHE)[9] 방법은 일정 밝기 이상을 히스토그램 변환에서 제한하는 방법으로써, 블록단위의 처리를 위한 블록 크기와 대비 제한을 위한 매개변수 등 두 개의 매개변수에 의해서 성능이 결정되는 방법이다. 다른 방법으로 불변 특징(invariant feature) 추출은 조명 변화에 변함이 없는 얼굴의 특징점을 추출하는 방법으로가버 필터(Gabor Filter)[10]가 대표적이다. 이 방법은 영상을 처리하는 과정의 초기단계에서 공간 주파수와 방향에 민감한 특징을 추출하여 처리하는 것이다. 또 다른 접근법인 얼굴 모델링으로는 다양한 조명 조건의 얼굴 영상을 만들기 위해 사용되는 3D 얼굴 생성 모델[11]이 대표적이다. 이 방법은 먼저 다양한 조명 조건에서 얼굴 영상의 조합을 생성한다. 이때 생성된 다수의 영상으로부터 구성되는 조명 형상(illumination cone)은 주로 낮은 주파수 성분으로 표현된다는 것을 이용한다. 그러나 모델링 기반의 접근법은 사람의 얼굴이 볼록한 물체라고 추측하여 그림자가 고려되지 않는문제가있다. 본 논문에서는 임베디드시스템 구축을 위해 수행속도가 빠르고 성능이 우수하여 실시간 처리에 적용 가능한 방법을 중심으로 실험을 수행하고자 한다.

이러한 이유로 조명에 의한 영향을 최소화하기 위해 입력된 얼굴 영상을 보정하는 것이 필요하다. 본 논문에서는 카메라 입력영상에서의 얼굴 인식율을 향상하기 위해 이산코사인 변환(Discrete Cosine Transform, DCT) 기반으로 조명을 보상하고 견고한 얼굴 특징점을 검출하는 방법을 제안한다. 제안한 방법은 로그 DCT 영역에서 저주파 이산코사인 변환 계수를 조정함으로써 조명을 보정한 후 고차 LDP를 이용하여 방향성에 강인한 얼굴 특징을 추출하여 최종적으로 히스토그램을 기반으로 하여 얼굴 인식을 수행한다. 따라서 본 알고리즘을 통해 조명의 변화와 포즈의 변화에 강인한 얼굴인식 시스템을 설계하는 것이 가능하다. 본 논문의 다음 부분에서는 고차 LDP와 조명 보상을 위한 DCT에 대해 자세하게 논의하고, Yale B 데이터베이스와 실험실 데이터베이스를 이용하여 LDP와 DCT 알고리즘을 결합한 LDP의 결과를 비교하였다.

 

Ⅱ. 고차 지역 패턴

1. 지역 이진 패턴

지역 이진 패턴(LBP)은 그레이 스케일 변환으로써 영상의 질감을 표현하는데유용한방법이다. 이방법은 중심 픽셀의 값을 기준으로각 픽셀의 인접한 3×3 영역을 이진화한 후 십진수의 형태로 표현하기 위해 위치에 따른 가중치를 부여한다. 이때, 이진화 함수는 다음과 같이 나타낼 수 있다.

위의 식에서, Z0는 3×3 영역의 중간 픽셀이고 Zi는 중간 픽셀에 상응하는 인접한 픽셀들이다. 그리고 기준값(T)은 변화를 처리하기 위한 임의의 값으로 설정한다. 그림 1은 기준값을 0으로 두었을 때 LBP 패턴 계산의 예이다.

그림 1.3×3 영역의 LBP 패턴을 얻는 예 Fig. 1. Example of LBP by 3×3 window

2. 지역 미분 패턴

지역 이진 패턴(LBP)은 정의된 이진화 함수를 이용하여 지역 인접 패턴에 둘러싸인 1차 미분의 이진 결과를 부호화 한다. 그러나 이 방법은 입력 영상의 텍스처에 대한 세부적인 특징 변화에 따른 구체적인 정보를 부호화하는 것에 한계가 있다. 이러한 문제점을 해결하기 위해, 지역 미분 패턴 (LDP)[6]이 제안되었다. LDP 방법은 기본적으로 LBP 방법의 확장 개념으로 볼 수 있다. n차 LDP는 지역 인접 패턴에 둘러싸인 (n-1)차 지역 미분 방향의 변화를 부호화 할 수 있다. 또한 LDP를 계산할 때, 방향의 변화의 고려할 수 있는데 임의의 화소 Zo에 대하여 0°, 45°. 90°, 135°의 네 방향에 따른 특징을 추출할 수 있다. 1차 지역 미분의 변화는 I′α(Z)로 표현하고 다음과 같이 계산할 수 있다.

여기에서 α는 중심 픽셀 Z0에 대한 방향을 나타낸 것이다. 위의 1차 결과를 이용하여 2차 LDP는 다음 수식 (6)과 같이 나타낼 수 있다.

여기에서 f(.,.)는 다음과 같이 정의된 이진 부호화 함수이다. 다른 이웃 화소들에서 두 미분 방향의 동시 발생은 다음 수식 (7)과 같이 부호화 된다.

마지막으로 2차 LDP는 0°, 45°. 90°, 135°의 네 방향의 특징을 포함하는 32비트로 정의한다. 이것은 아래와 같은 수학적으로 표현할 수 있다.

LDP는 그레이 스케일 영상의 각 픽셀을 32비트 크기의 이진수의 형태로 표시한다. 식(7)에서 정의된 미분 방향의 비교는 그림 2와 같이 여러 가지 독특한 공간적 관계를 반영하는 n-점(n-point) 템플릿에서 수행된다. 이 때, n은 연산되는 픽셀의 수이다. 예를 들어, 그림 2(a)는 0° 방향에 대한 것으로 (a-1)~(a-3)은 4-점이며, (a-4)는 3-점 템플릿을 표현한 것이다. 그림 2(a)에서 이진 함수는 두 개의 1차 방향성 변수가 모두 양수이거나 음수일 경우에 값을 “0”이라고 할 당한다. 동일한 방법으로 3-점 템플릿에서도 일관성 있게 증가하거나 감소하는 패턴에 “0”을 할당하게 된다. 이와 반대로 두 개의 1차 방향성 변수가 서로 반대 부호일 때는 “1”을 할당한다. 유사한 방식으로 그림 2(b)~2(d)는 각각 α = 45°, α = 90°, α = 135° 에 대한 그림을 나타내고 있다.

그림 2.방향에 따른 LDP 템플릿 구성; (a)α = 0, (b)α = 45°, (c)α = 90°, (d) α = 135° Fig. 2. Directional LDP template; (a)α = 0, (b)α = 45°, (c)α = 90°, (d) α = 135°

그림 3은 입력 영상에 대한 2차 LDP 변환 과정을 나타나 있다. 먼저 Z = Z0이고, α = 0° 방향일 때 2차 LDP를 계산한다. 그림 2(a)의 4-점 템플릿에서 ref1(■)과 ref2(●) 를 각각 Z0에 맞추어 위치시킨다. 우선 Z0에 맞춰 ref1(■)을 정렬하는 템플릿 (a-1)을 적용한다. 이때, 템플릿의 미분 결과가 동시에 증가함으로써, 이 결과는 ‘0’이 된다. 동일한 방법으로, (a-2), (a-3), (a-4)에 대해 각 템플릿을 적용하면, 결과는 각각 ‘1’, ‘0’, ‘1’이 된다. 이번에는 Z0에 맞춰 ref2(●)를 정렬하여 위의 과정을 반복하면 8비트 의 마지막 4비트에 대해 각 ‘0’, ‘1’, ‘0’, ‘0’가 계산된다. 최종적으로 0° 방향에 대한 특징으로 ‘01010100’ 을 얻을 수 있다. 같은 방법으로 45°, 90°, 135°의 다른 세 방향에서 각 8비트를 계산하면 최종적으로 32비트의 LDP2 (Z0)을 구할 수 있다.

그림 3.2차 LDP를 얻는 예 Fig. 3. Example of a secondary LDP

그림 4에서는 입력 영상에 대해 0°, 45°. 90°, 135°의 네 방향에 대한 2차 LDP를 적용한 결과를 보여주고 있다.

그림 4.방향에 따른 2차 LDP 결과. (a) 그레이 스케일 얼굴 영상; (b)α = 0°, (c)α = 45°, (d) α = 90°, (e) α = 135° Fig. 4. Result of Directional LDP; (a) gray image, (b)α = 0°, (c)α = 45°, (d) α = 90°, (e) α = 135°

3. CDP 특징점의 히스토그램

얼굴 인식의 마지막 과정으로, 데이터베이스에 있는 각 영상에 대한 공간적 히스토그램을 그린다. 우선, 영상을 몇 개의 직사각형 블록으로 나눈다. 다음으로 각각의 블록에 대하여 0°, 45°, 90°, 135°의 네 방향에 상응하는 2차 LDP의 히스토그램을 생성한다. 이 히스토그램을 바탕으로, 히스토그램 카이-제곱 거리(Chi-square histogram distance) 기법[13]을 이용하여 입력 영상과 데이터베이스 사이의 정합을 통해 인식 여부를 계산할 수 있다.

 

Ⅲ. DCT 기반의 조명 보상

1. 로그 변환

일반적으로, 밝기 영상 f(x,y)는 다음과 같이 반사율 r(x,y)와 휘도 e(x,y)의 곱으로 나타낼 수 있다.

반사율은 얼굴 특징점의 고유한 특성이기 때문에, 조명 변화를 보상하는 동안에 이 특성을 유지해야 한다. 식 (9)에 대하여 로그를 취하면,

를 얻을 수 있다. 식(10)로부터, 만약 입사 조명 e(x,y)와 영상내에서 균일한 목표 조명을 e′ 라고 한다면, 수식은 다음과 같이 표현할 수 있다.

여기에서,

이고, f′(x,y)는 보상된 조명에서의 영상의 밝기값이다. 식(11)에서, 입력 영상으로부터 DCT 계수를 이용하여 보상항 ε(x,y)를 계산할 수 있다.

2. 이산 코사인 변환

영상을 주파수 영역으로 변환하기 위한 방법으로 다음 수식 (12)의 이산 코사인 변환이 사용된다.

이때, 역변환은 다음 수식 (13)과 같이 정의된다.

여기에서 α(u)와 α(v)는 아래와 같다.

3. C안한 조명 보상 방법

얼굴 영상에서 그림자 영역을 제외하면 반사된 조명은 표면의 입사각과 반사율에 의존하여 서서히 변화하게 된다. 이때 조명의 성분은 주로 저주파 공간에 위치한다. 따라서 얼굴 인식의 성능을 개선하기 위하여 저주파 성분의 조절을 통한 조명을 보상이 필요하다.

여기에서

가 된다. 조명의 변화가 주파수 공간상에서 낮은 주파수 대역에 존재한다고 가정하기 때문에 항은 조명 보정 항으로써 근사화 표현이 가능하다. 첫 번째 DCT 계수는 한 영상 조명을 전반적으로 결정하는 변수이다. 그러므로 목표로 하는 균일한 조명의 영상은 DC 성분을 결정함으로써 획득할 수 있다.

여기에서, C(0,0) 은 로그 영상의 DC 계수이며, μ는 원본 이미지의 중간 레벨 근처의 값이다. 다시 말하면, 일반적인 얼굴은 μ의 평균 그레이 레벨을 갖는다. 식 (12)로부터, 영상의 DCT 역시 그 영상과 같은 크기의 행렬을 반환한다는 것을 알 수 있다. 그림 5는 저주파 성분을 제거하는 방법을 나타내고 있다. Ddis는 조명을 보상하는 정도를 나타내는 변수이다.

그림 5.DCT 공간에서 저주파 성분 보상 Fig. 5. Compensation of Low frequency components in DCT domain

 

Ⅳ. 실험 결과

실험은 두 가지의 데이터베이스를 이용하여 수행되었다. 실험에 고려된 사항으로 다양한 조명 조건과 약간의 자세 변화에 대해 얼굴 인식의 성능을 분석하였다. 먼저 조명 보정에 따른 특징점 변화를 확인하기 위한 실험을 수행하였다. 그림 6에서 기존 방법과 제안한 방법에 의해 조명을 보상하고 이를 LDP에 적용하여 특징의 변화를 확인하였다. 기존 방법은 밝기 변화에 대해 대비를 조정함으로써 얼굴 영역의 일부가 강조되거나 그림자로 인한 문제가 발생하는 반면에 제안한 방법은 얼굴 영역 전체를 하나의 조명 성분으로 변화시킴으로써 엣지 기반으로 얼굴 특징을 잘 검출 할 수 있게 된다. 다양한 실험을 위해 실험 A는 확장된 Yale B 데이터베이스, 실험 B는 실험실 데이터베이스에 대한 평가를 수행하였다.

그림 6.조명 보상에 따른 LDP 특징 변화 결과 Fig. 6. Result of LDP features according to illumination compensation

1. A장된 Yale B 데이터베이스 실험

확장된 Yale B 데이터베이스는 심한 조명의 변화를 가지는 38개의 대상으로 구성되어 있으며 그림 7과 같다. 각 대상은 9가지의 자세와 64가지의 다른 조명의 변화 아래에서 영상으로 만들어졌다. 다른 조명을 가지는 모든 정면 얼굴 영상은 이미 정렬 및 168×192 픽셀의 사이즈로 구성되어 있다.

그림 7.확장된 Yale B 데이터베이스[12] Fig. 7. Extended Yale B database

표 1.확장된 Yale B 데이터베이스 실험 결과 Table 1. Experimental results of Extended Yale B database

실험을 수행하기 전에 이 영상을 100×100 픽셀의 사이즈로 다시 조정한 후 프로브 셋과 갤러리 셋을 형성하였다. 여기에서 서브젝트(Subjects)은 테스트 셋(Test set)과 훈련 셋(Traning Set)을 포함하는 영상의 멤버의 수이고, 프로브 셋(Probe set)은 테스트 셋(Test set)에 포함된 영상의 수이며, 마지막으로 갤러리 셋(Gallery set)은 훈련 셋(Traning Set)에 포함된 영상의 수이다. 또한 파라미터(Parameters)는 광원 보정을 위한 요소로써 (Ddis, μ) 로 표현되며, 차수(Order)는 얼굴 특징점을 검출하는 지역 서술자 패턴(Local Descriptor Pattern, LDP)의 차수이다. 특히 갤러리 셋의 크기가 커질수록 정확도는 높아지는 것을 확인한 수 있다. 그러나 한편으로는 훈련을 위한 데이터가 많아지는것은 프로그램의 복잡도가 향상되는 것을 의미하기 때문에 사용자에 따라 선택적으로 결정할 수 있다. 실험 결과 DCT 기반의 조명보상을 통한 LDP 알고리즘이 기존 알고리즘에 비해서 더 좋은 결과를 보였다.

2. B험실 데이터베이스 실험

실험실 데이터베이스는 남자 13명, 여자 3명의 총 16명으로 구성되었다. 실험실 멤버의 영상은 다른 조명 조건과 약간의 자세 변화 아래에서 촬영되었다. 그림 8에서 실험에 사용된 영상의 예시를 볼 수 있다. 입력 영상은 먼저 그레이 스케일 영역으로 변환하였고, 100×100 픽셀의 사이즈로 조정한 후 각 25×25 픽셀의 16개의 블록으로 나누었다. 그림 7은 실험실 데이터베이스의 일부분이다.

그림 8.실영상 데이터베이스의 예 Fig. 8. Example of real image database

LDP 특징점의 평가를 수행하는 동안에, 특징점이 16개의 블록으로부터 추출되고 각 블록에 대한 히스토그램을 생성한다. 0°, 45°, 90°, 135°의 네 방향에 대한 히스토그램이 각각 생성되어야 하므로 히스토그램의 개수는 총 16×4=64개가 된다. 실험은 프로브 셋으로 각 멤버 당 10개의 영상을 두어 구성하고 갤러리 셋에 각 멤버들의 다른 개수의 영상을 두어 수행한다. 실험을 통해 얻어진 결과가 표 2에 나타나 있다. LDP 알고리즘만을 적용했을 때 가장 좋은 성과를 보인 결과는 14명의 멤버에 대하여 각각 7개의 이미지를 갤러리 셋으로 두었을 때 나타난 77.86%이다.

표 2.실영상 데이터베이스 실험 결과 Table 2. Experimental results of real image database

다음 실험으로 조명 보상 알고리즘을 고려하여 수행하였다. 먼저 영상을 로그 영역에서 DCT 알고리즘을 적용하여 전처리하였다. 그리고 LDP 특징점을 추출하여 히스토그램을 생성하고 같은 방법으로 실험을 진행하였다. 표 2에서 볼 수 있듯이, 기존 최대 인식률과 동일한 조건의 실험에서 제안한 알고리즘의 결과가 89.29%로 LDP 알고리즘보다 성능이 향상되었다. 특히 표 2에서는 조건이 바뀌었을 때도 최대 인식률이 향상됨을 확인할 수 있다.

 

Ⅴ. 결 론

본 논문에서는 이산 코사인 변환(DCT) 기반의 조명 보상을 통한 얼굴 인식률 향상 방법을 제안하였다. 제안한 DCT 방법을 이용한 조명의 보상을 통해 얼굴인식의 성능개선이 가능하였으며 이는 저주파 영역을 보정하여 조명의 영향을 줄였기 때문이다. 조명이 보상된 영상에서 LDP를 이용하여 방향성에 강인한 특징점을 추출하였으며, 이를 다양한 실험 데이터에 대한 인식을 수행한 결과 제안한 방법의 성능이 최대 95%까지 향상됨을 확인하였다.