효율적인 Quadratic Projection 기반 홍채 인식: Dual QML을 적용한 홍채 인식의 성능 개선 방안

An Efficient Quadratic Projection-Based Iris Recognition: Performance Improvements of Iris Recognition Using Dual QML

Abstract

생체 정보를 이용한 사용자 인증은 차세대 인증 방법으로서 기존의 인증 시스템에서 급진적으로 사용되고 있는 인증 방법이다. 대부분의 생체 인증 시스템은 수집된 생체 정보가 가지는 노이즈로 인한 문제, 데이터의 품질에 대한 문제, 인식률의 한계 등 많은 문제점들을 가지고 있다. 이를 해결하기 위한 방법으로 본 논문에서는 비선형적인 실제 데이터를 정확하게 처리하기 위해 비선형기법인 Dual QML을 사용하고, 또한 정확한 영역을 추출하여 인증의 정확도를 증가시키는 전처리 과정을 추가로 제안하여 정확도 증가뿐만 아니라 성능을 향상시키는 방법을 제안하고자 한다. 앞서 발표된 Dual QML은 생체 정보로 얼굴, 장문, 귀를 사용하였다. 본 논문은 앞선 Dual QML 실험에 사용하지 않은 홍채를 생체 정보로 사용하여 홍채 인식을 위한 방법으로도 Dual QML이 우수하다는 것을 보이고자 한다. 마지막으로 실험을 통해 이에 대한 실증을 보이고자 한다.

Biometric user authentications, day after day, propagate more to human life instead of traditional systems which use passwords and ID cards. However, most of these systems have many problems for given biometric information such noisy data, low-quality data, a limitation of recognition rate, and so on. To deal with these problems, I used Dual QML which is non-linear classification for classifying correctly the real-world data and then proposed preprocessing method for increasing recognition rate and performance by segmenting a specific region on an image. The previous published Dual QML used face, palmprint, ear for the experiment. In this paper, I used iris for experiment and then proved excellence of Dual QML at iris recognition. Finally I demonstrated these results (e.g. increasing recognition rate and performance, suitability for iris recognition) through experiments.

I. 서론

생체 인증은 대부분 성능 측면을 고려하여 선형기법을 사용하고 있다. 하지만 실제로 사용되는 생체 정보는 비선형적인 정보이기 때문에, 선형기법을 사용하는 데에는 정확도에 있어 한계가 있다. 생체 인증이 사용되는 주요 환경을 고려했을 때, 강한 인증을 요구하는 환경이 대부분이기에 정확한 정보를 수집하지 못해도 정확하게 인증할 수 있는 방법 연구가 중요하다.

따라서 본 논문에서는 [1]에서 제안한 비선형기법인 Dual QML 방법을 이용하여 홍채 인식을 수행하는 과정을 보이며, Dual QML을 수행하기 전에 전처리 과정으로 홍채를 추출하는 과정을 사용한다. 이는 인증에 사용하고자 하는 부분을 이미지에서 추려내어 인증의 정확도와 성능을 높이기 위함이다.

본 논문의 구성은 다음과 같다. 2장에서는 홍채 인식을 수행하는 데에 사용될 Dual QML을 소개하며, Dual QML에 대한 이해를 돕기 위해 QML을 먼저 설명한다. 3장에서는 본 논문에서 제안하는 방법을 설명하고, 추가적으로 사용한 전처리 과정에 대해서 서술한다. 4장에서는 실험을 통한 제안하는 방법의 효율성을 보이며, 마지막 5장에서 결론을 맺고 해당 연구가 가지는 기대효과에 대해 언급한다.

II. QML과 Dual QML

2.1 QML(Quadratic Matrix Learning)

Quadratic Matrix Learning은 Quadratic Matrix를 이용하여 데이터들을 정사영 시키는 방법으로, 각 클래스들을 잘 분리시키는 최적의 Quadratic Matrix들을 찾는 것을 최종 목표로 한다. Quadratic Matrix Learning을 위해 다음과 같이 몇 가지를 정의한다.

\(S=\left\{x_{i}\right\}{ }_{i=1}^{n} \in R^{m}\) : m차원의 열벡터로 구성된 이미지들의 집합

I_c : 클래스 c에 속하는 이미지들의 집합

E_c : 클래스 c에 속하지 않는 이미지들의 집합

P_c : 클래스 c에 대해 구한 Quadratic Matrix

QML의 기본 식은 아래와 같이 구성된다[1].

\(\min _{P_{c}} \sum_{x_{i} \in E_{c}} x_{i}^{T} P_{c} x_{i} \text { s.t. } x_{i}^{T} P_{c} x_{i} \geq 1, \forall x_{i} \in I_{c}\)       (1)

(단, P_c는 positive semi-definite이다.)

하지만 실제로 생체 인식에 사용하기 위해 수집된 생체 데이터에는 노이즈가 존재하기 때문에, 위 QML의 기본 식을 그대로 생체 인식에 사용하는 것은 생체 데이터에 존재하는 많은 노이즈를 그대로 적용하는 것이기 때문에 적절한 방법이 아니다. 이러한 문제를 줄이기 위해 일반화한 QML은 아래와 같다[1].

 \(\min _{P_{c}} \frac{1}{2}\left\|P_{c}\right\|_{F}^{2}+\lambda \sum_{x_{i} \in E_{c}} x_{i}^{T} P_{c} x_{i}\\ \text { subject to } x_{i}^{T} P_{c} x_{i} \geq 1, \forall x_{i} \in I_{c}\)       (2)

(단, \(\left\|P_{c}\right\|_{F}=\sqrt{\sum_{i, j=1}^{m} p_{i, j}^{2}}\)는 Frobenius norm 이며 P_c = [p_i,j ]_m×m와 λ는 상수이다.)

2.2 Dual QML

Dual QML은 2016년 ‘Pattern Recognition’에서 소개된 방법으로, 앞서 설명한 QML에 Convex 최적화 문제를 적용하여 기존의 QML에 비해 높은 정확도를 갖는 분류 기법이다. Convex 최적화 문제는 주로 기계학습 문제를 다룰 때 최적해를 구하기 위하여 사용되며, 최적해를 구하는 동안 문제가 극소 문제(Local minima)에 빠지지 않도록 하는 것이 Convex 최적화 문제 적용의 목적이다. Dual QML은 일반화한 QML에 다양한 Convex 최적화 방법 중 현재 가장 각광받는 Lagrange Duality 이론을 적용한 방법이다.

아래의 식은 2.1절에서 소개한 일반화한 QML에 대한 Lagrangian으로, Primal 문제에서 object function의 최종 목적인 P_c의 최적해를 구하기 위한 식이다. 이 문제를 위한 하나의 Dual 방식으로 u와 K (u: coefficient 역할, K: positive semi-definite matrix)를 아래와 같이 사용하였다[1].

\(\begin{aligned} &L\left(P_{c}, u, K\right)=\frac{1}{2}\left\|P_{c}\right\|_{F}^{2}+\lambda \operatorname{tr}\left(P_{c} \cdot O_{c}\right) \\ &-\sum_{x_{i} \in I_{c}} u_{i} t r\left(P_{c} \cdot I_{i}\right)+\sum_{i} u_{i}-\operatorname{tr}\left(P_{c} \cdot K\right) \end{aligned}\)       (3)

(단, \(\forall x_{i} \in I_{c}, \quad I_{i}=x_{i} x_{i}^{T}, \quad O_{c}=\sum_{x_{i} \in E_{c}} x_{i} x_{i}^{T}, \operatorname{tr}\left(P_{c} \cdot I_{i}\right)=x_{i}^{T} P_{c} x_{i}, \quad \operatorname{tr}\left(P_{c} \cdot O_{c}\right)=\sum_{x_{i} \in E_{c}} x_{i}^{T} P_{c} x_{i}\))

Dual QML은 최적해를 구하는 것을 목적으로 하는 문제로, 위 Lagrangian의 최소값을 구하는 문제로 귀결된다. 이 문제를 구하기 위해 P_c를 변수로 하여 일차 미분한 값이 0이기를 기대한다. 이와 같이 일차 미분한 값이 0이 될 때 구해지는 최적의 해들은 아래와 같은 관계를 갖게 된다[1].

\(P_{c}^{*}=K^{*}-\lambda O_{c}+\sum_{x_{i} \in I_{c}} u_{i}^{*} I_{i}\)       (4)

이를 앞서 정의한 Lagrangian에 대입하여 아래와 같이 Dual 함수g(u, K)를 정리할 수 있다[1].

\(g(u, K)=\inf _{P_{c}} L\left(P_{c}, u, K\right)\)       (5)

\(\begin{aligned} =& i n f_{P_{c}} \frac{1}{2}\left\|P_{c}\right\|_{F}^{2}+\lambda \operatorname{tr}\left(P_{c} \cdot O_{c}\right) \\ &-\sum_{x_{i} \in I_{c}} u_{i} \operatorname{tr}\left(P_{c} \cdot I_{i}+\sum_{i} u_{i}-\operatorname{tr}\left(P_{c} \cdot K\right)\right. \end{aligned}\)       (6)

\(\begin{aligned} =& i n f_{P_{c}} \frac{1}{2}\left\|P_{c}\right\|_{F}^{2} \\ &-\operatorname{tr}\left(P_{c} \cdot\left(K-\lambda O_{c}+\sum_{x_{i} \in I_{c}} u_{i} I_{i}\right)\right)+\sum_{i} u_{i} \end{aligned}\)       (7)

\(\begin{aligned} =& \frac{1}{2}\left\|K-\lambda O_{c}+\sum_{x_{i} \in I_{c}} u_{i} I_{i}\right\|_{F}^{2} \\ &-\left\|K-\lambda O_{c}+\sum_{x_{i} \in I_{c}} u_{i} I_{i}\right\|_{F}^{2}+\sum_{i} u_{i} \end{aligned}\)       (8)

\(=-\frac{1}{2}\left\|K-\lambda O_{c}+\sum_{x_{i} \in I_{c}} u_{i} I_{i}\right\|_{F}^{2}+\sum_{i} u_{i}\)       (9)

(단, K는 positive semi-definite matrix이고, u≥ 0는 계수이다.)

따라서 Lagrange Dual은 아래의 식과 같은 결과를 도출한다[1].

\(\max _{K, u}-\frac{1}{2}\left\|K-\lambda O_{c}+\sum_{x_{i} \in I_{c}} u_{i} I_{i}\right\|_{F}^{2}+\sum_{i} u_{i}\)       (10)

앞서 구하고자 하는 Quadratic Matrix P_c가 0이길 기대하기 때문에, 먼저 u를 고정시켰을 때 최적의 K를 구하고 그 후 K를 고정시켜 최적의 u를 구한다. 이러한 과정을 반복하여 구한 최적의 u와 K는 아래와 같은 두 개의 식을 만족한다. (단, (•)₊은 원소가 양수인 부분만 추출한 것을 의미, (•)=(•)₊+(•)_)

\(K^{*}=\left(\lambda O_{c}-\sum_{x_{i} \in I_{c}} u_{i} I_{i}\right)_{+}\)       (11)

\(\max _{u}-\frac{1}{2}\left\|\left(\lambda O_{c}-\sum_{x_{i} \in I_{c}} u_{i} I_{i}\right)_{-}\right\|_{F}^{2}+\sum_{i} u_{i}\)       (12)

(12)은 위로 볼록한 이차식이기 때문에 이 식을 일차 미분하여 0이 되는 u를 찾는다. 이렇게 구한 u를 (11)식에 대입하여 K^*를 구한다. 마지막으로 u와 K^*를 (4)식에 대입하여 최종적으로 구하고자 하는 최적의 P_c를 구한다[1].

III. Dual QML을 이용한 홍채인식

[1]에서 제안하는 Dual QML을 이용한 생체 인식 방법은 실험으로 다른 기법과 비교하여 효율적임을 보이는 데에 얼굴, 손바닥, 귀를 생체 정보로 사용하였다. Dual QML은 Matrix를 이용하여 Projection하는 방법이기 때문에 이미지 전체에 대한 분석이 이루어진다. 하지만 홍채인식의 경우, Segmentation이 얼마나 잘 이루어지는가에 따라 정확도가 많이 달라진다. 따라서 홍채인식에 Dual QML을 적용하고자 할 때는Segmentation 과정이 전처리 과정으로 수행되어야 한다.

본 논문에서는 Dual QML을 적용하기 전 전처리 과정으로 Integro-differential operator를 이용한 Segmentation과 Rubber sheet를 이용한 Normalization을 수행한다. Segmentation은 이미지 전체에 대한 분석이 아닌 홍채 영역에 대한 분석을 수행하기 위함이며, Normalization은 Dual QML을 적용할 때 사용할 홍채 영역의 크기를 동일하게 맞추기 위함이다.

Fig. 1은 Daugman의 홍채 인식 과정을 표현한 것으로, 본 논문에서는 Fig. 1 내에서 Normalization까지를 전처리 과정으로 사용한다. 본 논문에서 제안하는 방법은 Fig. 5와 같다.

Fig. 1. Daugman’s iris recognition

Fig. 5. Proposed method using Dual QML with preprocessing for iris recognition

3.1 Integro-differential operator를 이용한 Segmentation

주어진 이미지 내에서 홍채 영역을 추출하기 위해, 가우시안 블러링으로 노이즈를 제거하는 작업을 선수로 수행한다. 그 후 원형의 홍채 영역을 찾기 위해 Integro-differential operator라고 불리는 아래의 수식을 이용하여 원의 중심과 반지름을 찾는다.

\(\max _{\left(r, x_{0}, y_{0}\right)}\left|\frac{\partial}{\partial r} \oint_{\left(r, x_{0}, y_{0}\right)} \frac{B(x, y)}{2 \pi r} d s\right|\)       (13)

B(x,y)는 가우시안 블러링으로 노이즈를 제거한 이미지이고, 원의 중심이 (x₀,y₀), 반지름이 r인 원주상의 모든 픽셀 값을 2πr로 나누어 정규화 시킨다. 이 값들의 변화율이 가장 클 때의 원의 중심과 반지름을 홍채 영역의 중심과 반지름으로 찾는다[2].

Fig. 2는 주어진 눈 이미지에서 홍채 영역을 추출하는 전체 과정으로 위에서 설명한 내용을 그림으로 표현한 것이다. 주어진 이미지 내에서 홍채 영역을 추출하기 위해 가우시안 블러링을 수행하는 것은 이미지가 뭉개어짐에도 불구하고 뚜렷하게 보이는 경계를 홍채 경계로 찾아내기 위함이다.

Fig. 2. Segmentation using integro-differential operator

3.2 Rubber sheet를 이용한 Normalization

홍채 영역의 표현을 직교좌표계에서 극좌표계로 정규화 시키는 과정으로, Daugman의 Rubber sheet 모델은 아래의 수식과 같다[2].

I(x(r,θ), y(r,θ))→I(r,θ)       (14)

x(r,θ) = (q-r)x_p(θ)+ry_s(θ)       (15)

y(r,θ) = (1-r)y_p(θ)+ry_s(θ)       (16)

(단, (x_p,y_p)는 동공 경계 포인트를 뜻하며,

(x_s,y_s)는 홍채 경계 포인트를 뜻한다.)

Fig. 3과 Fig. 4는 Rubber sheet 모델을 이용하여 Normalization을 수행하는 과정을 보여주며,Fig. 1에서 normalization과정에 해당한다.

Fig. 3. The model of Daugman’s Rubber sheet

Fig. 4. The model of Rubber sheet model expressed in images

Normalization의 결과는 추후 Dual QML을 이용하여 Feature extraction을 하는 데에 입력할 것으로 이미지의 크기를 고정하여 모든 이미지에 대해 동일한 크기를 갖도록 한다.

3.3 Dual QML을 이용한 Feature extraction

앞서 Segmentation과 Normalization을 수행하여 얻은 이미지들(Fig. 4의 우측 이미지와 같은 이미지들)을 입력으로 하여 위의 Table 1과 같이 Dual QML을 수행한다. 모든 이미지에 대한 Feature Matrix를 구한 후에는 DB에 저장하는 것으로 등록과정을 마친다.

Table 1. The Dual QML-based feature extraction algorithm for image classification 

3.4 DB에 저장된 Iris Template과의 Matching

앞서 말한 등록과정에서의 Feature extraction결과로 DB에 저장된 Iris Feature Template들과 테스트 이미지에서 추출한 Iris Feature Template을 비교하기 위해 Nearest Neighbor Classifier를 사용한다. Nearest Neighbor Classification은 분류하고자 하는 클래스의 종류에 대해서는 알고 있지만 샘플들 각각에 대한 확률밀도함수를 알지 못하는 상태에서 주로 사용한다. 따라서 굳이 각 샘플에 대한 확률 인수 parameter들을 구하지 않고 샘플들의 값으로만 가장 가까운 거리를 측정하여 분류하는 방법이다. 가까운 거리를 측정하는 방법에는 Euclidean distance, Absolute difference, Frobenius norm 등 다양한 방법들이 있다. Dual QML에서의 거리 측정 방법은 Euclidean distance를 사용하였다.

Table 2. The Dual QML-based matching algorithm for image classification

본 논문은 Nearest Neighbor Classifier를 통해 저장된 이미지들 중 테스트 이미지와 가장 근사한 Class를 해당 Class로 분류하는 것으로 Iris Template Matching과정을 수행한다.

IV. 실험 및 결과

4.1 실험 환경

본 실험 환경은 아래의 표와 같으며, 실험에 사용한 데이터 Set인 CASIA V3는 공개된 데이터로 홍채 이미지만을 포함하고 있다.

Table 3. Experiment environment and test data set

4.2 실험 결과

Dual QML의 핵심은 QML을 얼마나 잘 풀어내느냐에 있다. [1]은 Dual QML과 그 외에 다양한 Matrix 기반 Feature extraction 방법들의 성능을 정확도와 속도 측면에서 비교하였다. 비교에 사용된 데이터베이스는 생체 정보에 따라 아래와 같이 사용되었다. (m: Class 별 사용된 이미지의 개수)

∙ Face : AR, PIE, FERET, FRGC

∙ Palmprint : PolyU, CASIA

∙ Ear : IIT Delhi

Dual QML과 함께 비교된 알고리즘은 APCA[3], LDA[4], K-LDA[5], ER-KDA[6]가 있다.

위의 Table 4부터 Table 10까지의 결과를 보면 Dual QML이 다른 알고리즘들에 비해 정확도가 우수한 것을 알 수 있다. 하지만 아래의 Table 11에서 보이듯이 Dual QML은 검증시간에 있어 증가된 정확도에 비해 효율적이지만, 등록시간이 매우 비효율적이다.

Table 4. Comparison with other algorithms’ average error rate(%) using AR dataset

Table 5. Comparison with other algorithms’ average error rate(%) using PIE dataset

Table 6. Comparison with other algorithms’ average error rate(%) using FERET dataset

Table 7. Comparison with other algorithms’ average error rate(%) using FRGC dataset

Table 8. Comparison with other algorithms’ average error rate(%) using PolyU dataset

Table 9. Comparison with other algorithms’ average error rate(%) using CASIA dataset

Table 10. Comparison with other algorithms’ average error rate(%) using IIT Delhi dataset

Table 11. Comparison with other algorithms’ operating time for enrollment and test using AR dataset

또한 Dual QML은 각 Class 별로 분류를 제일 정확하게 해주는 Matrix를 각기 사용하기 때문에, 비효율적인 등록시간 뿐만 아니라 메모리 측면에서도 최적화를 수행할 필요가 있다. 따라서 본 논문에서는 Segmentation과 Normalization을 전처리 과정으로 사용하였다. 이 전처리 과정을 통하여 얻을 수 있는 효과는 아래와 같다.

∙ 눈 이미지를 그대로 사용하는 것이 아닌 분류에 사용될 홍채 영역만을 추려내기 때문에 보다 정확한 분류가 가능하다.

∙ 눈 이미지 전체를 사용하는 것이 아닌 일부 영역을 사용하기 때문에 보다 적은 메모리 요구량을 기대할 수 있다.

Table 12는 CASIA 데이터 Set을 사용하여 전처리 과정을 수행하는 데에 소요된 평균 시간이다.

Table 12. Preprocessing time for an image

또한 전처리 과정을 통해 줄어든 메모리 요구량은 아래의 Table 13을 통해 알 수 있다.

Table 13. Memory requirement for an image

결론적으로 전처리 과정을 위해 소요되는 시간은 약 5초임에 비해, 메모리 요구량은 1/13배로 줄어드는 것을 확인할 수 있다.

V. 결론

본 논문에서는 기존에 제안된 Dual QML 방법을 홍채 인식 방법에 적용한 논문으로, 홍채 인식 정확도를 증가시키면서 데이터 처리량과 속도를 줄일 수 있는 방법을 제안하였다. 또한 본 논문은 기존에 제안된 비선형기법을 사용하여 더 높은 정확도를 갖는 생체 인식 방법을 소개하고, 특히 홍채 인식에 있어 이러한 문제를 완화시킬 수 있는 방법으로 Daugman의 홍채 인식 과정 일부를 전처리 과정으로 사용하였다.

홍채 인식은 다른 생체 인식 방법에 비해 정확도가 높은 인식이지만 아직까지 처리하는 데에 있어서 오버헤드가 크다. 따라서 홍채 인식의 장점인 높은 정확도를 저해하지 않으면서도 속도나 메모리 측면에서 최적화하는 방법이 필요하다. 본 논문에서 제안하는 방법은 이러한 문제를 완화시킬 수 있는 방법으로, 향후 홍채 인식이 사용되는 주요 환경에서 효과적으로 사용될 수 있다.

* 본 논문은 2017년도 한국정보보호학회 하계학술대회에 발표한 우수논문을 개선 및 확장한 것임

* 본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 † SW중심대학지원사업의 연구결과로 수행되었음 (2015-0-00910)