Fingerprint Liveness Detection and Visualization Using Convolutional Neural Networks Feature

Convolutional Neural Networks 특징을 이용한 지문 이미지의 위조여부 판별 및 시각화

Abstract

With the growing use of fingerprint authentication systems in recent years, the fake fingerprint detection is becoming more and more important. This paper mainly proposes a method for fake fingerprint detection based on CNN, it will visualize the distinctive part of detected fingerprint which provides a deeper insight in CNN model. After the preprocessing part using fingerprint segmentation, the pretrained CNN model is used for detecting the liveness detection. Not only a liveness detection but also feature analysis about the live fingerprint and fake fingerprint are provided after classifying which materials are used for making the fake fingerprint. Our system is evaluated on three databases in LivDet2013, which compromise almost 6500 live fingerprint images and 6000 fake fingerprint images in total. The proposed method achieves 3.1% ACE value about the liveness detection and achieves 79.58% accuracy on LiveDet2013.

최근 지문 인식을 통한 사용자 인증 기술이 상용화 되면서 위조 지문 이미지 판별이 더욱 중요해졌다. 본 논문에서는 CNN 특징을 이용한 위조 지문 이미지 판별 방법을 제안하였으며, CNN 모델이 실제 지문의 어느 부분에 반응하여 위조지문을 분류하는지 시각화 방법을 통해 분석하였다. 제안하는 방법은 지문영역과 배경영역을 분리하는 전처리 작업 후 CNN 모델을 이용하여 지문의 위조여부를 분류한다. 지문을 단순히 생체지문과 위조지문으로 분류하는 것이 아니라 위조지문을 구성하는 물질별로 분류하여 생체지문과 위조지문들에 대한 특징분석을 제공한다. 실험에 사용한 데이터베이스로는 생체 지문 이미지 6500여 장과 위조 지문 이미지 6000여 장으로 구성되어 있는 LivDet2013을 사용하였으며 위조여부에 대한 ACE 값으로 3.1%, 구성 물질 분류 정확도는 평균 79.58%를 보여 높은 수준의 분류성능을 갖고 있음을 확인하였다.

I. 서론

생체인식 기술은 살아 있는 사람의 생리적 또는 행동에 대한 특징을 인식하는 방법이다[1]. 일반적으로 지문, 목소리, 홍채, 망막, 손, 얼굴, 친필 등 다양한 종류의 생체인식 특성들이 생체인식 시스템에 폭 넓게 사용되고 있다. 그 중 지문 인식 방법은 정확도, 인식 속도, 견고성 세 가지 요소들 모두 균형이 잘 맞는 대중적인 생체인식 방법이다. 또한 FinTech와 같은 모바일 결제 시스템이 발전함에 따라 지문을 이용한 인증 시스템이 각광 받고 있다. 하지만 지문 인증 시스템은 젤라틴, 라텍스, 실리콘, 우드글루와 같이 일상적인 물질을 이용하여 다른 사람의 지문을 손쉽게 위조 할 수 있다는 취약점이 존재한다. 따라서 지문 이미지에 대한 위조여부를 판단할 수 있는 기술은 지문 인증 시스템에서 매우 중요한 기술이다[2].

II. 관련 연구

위조 지문 이미지의 위조여부를 판별하는 방법으로는 크게 하드웨어 기반인 방법과 소프트웨어 기반인 방법이 있다. 먼저 하드웨어 기반의 방법은 혈압[3], 피부 변형[4], 채취[5]와 같은 특정한 특징들을 추출할 수 있는 추가적인 센서를 반드시 필요로 하므로 효율성이 떨어진다. 소프트웨어 기반 방법으로는 위조 여부를 판별하기 위해 지문영역으로부터 특징들을 추출한다. 따라서 전반적으로 소프트웨어 기반 방법이 하드웨어 기반 방법보다 저렴하고 유연하다.

소프트웨어 기반 방법에서 특징을 이용하는 방법으로 Jain 등[6]은 융선(ridge)의 밀도 및 크기, 연속성과 같은 세부적인 특징들을 이용하여 위조 여부를 판별하였다. 반대로 세부적인 지문의 특징을 이용하는 것이 아닌 이미지로부터 일반적인 특징을 추출하는 방법들이 존재한다. 그러한 방법 중 하나로 지문 이미지의 밝기 값, 대조 값, 주파수 영역에서의 위상 값을 이용한 방법이 있다[7]. 또한 이미지의 texture 정보를 추출 할 때 사용하는 Weber Local Descriptor를 지문 이미지에 적용하기도 하였다[8]. 다른 방법으로는 LBP(Local Binary Patterns)를 사용한 방법과 변형된 LBP를 사용한 방법을 이용하여 성공적으로 위조 여부를 판별하기도 하였다[9-11].

위에서 설명한 방법들은 연구자들의 관찰과 실험에 의해 설계된 특징들을 사용한 방법이다. 이와 달리 CNN(Convolutional Neuron Network)과 같이 학습을 통해 데이터로부터 추출해 낸 특징을 사용하는 방법이 존재한다[12]. CNN의 개념은 인간의 신경망으로부터 가져왔으며 빅데이터 분석, 얼굴인식, 이미지 분류와 같은 폭 넓은 분야에서 현재 사용되고 있다. CNN은 2012년 Alex Krizhevsky가 1000개의 카테고리와 100만개의 이미지로 구성된 데이터베이스로부터 물체를 분류하는 ILSVRC 2012 (Imagenet Large Scale Visual Recognition Challeng 2012)라는 국제이미지인식기술대회에서 눈에 띄게 향상된 성능을 보이며 알려지기 시작했다[13][14].

Nogueira 등[15]은 지문 이미지의 위조여부 판별을 위해 처음으로 CNN을 사용하였다. 하지만 특징을 추출하는 과정과 위조여부를 판별하는 과정이 분리되어 있어 모든 시스템이 동시에 작동할 수가 없다. 비슷하게 Wang 등[16]은 CNN 특징을 기반으로 한 투표 전략(voting strategy)을 사용하여 좋은 성능을 보였다. 하지만 이 방법은 다른 방법들과 비교하였을 때 속도가 느리다는 단점이 있다.

가장 최근에 CNN을 이용하여 위조여부 판별을 연구한 Nogueira 등[17]은 위조지문 판별 대회인 LivDet2015에서 우승 할 정도로 훌륭한 성능을 보였다. 이러한 결과는 본 논문의 결과와 비교해 보았을 때 조금 더 좋은 성능을 보이지만 본 논문에서의 시각화 과정 같이 CNN 모델이 지문 이미지의 어떠한 영역을 보고 위조여부를 판단하였는지에 대한 확인 과정이 없어 CNN 모델이 정말로 입력 이미지에서 배경영역이 아닌 지문영역을 통해 위조여부를 판단하였는지에 대해 알 수 없다. 또한 GAP(Global Average Pooling) 방법을 사용한 본 논문에 비해 속도가 느리다는 단점이 있다.

흥미롭게도 Zhou 등[19]은 CNN을 통해 추출된 특징 맵(feature map)을 이용하여 물체의 분류뿐만 아니라 위치를 판별하는 방법을 제안하였다. 본 논문에서는 이 방법을 활용하여 CNN에서 학습된 모델이 지문의 어떤 영역에 반응하여 위조지문 여부를 판단하는지 시각화하고 이를 분석한다. 본 논문의 의의는 다음과 같다.

첫째, 지문 영상을 여러 개의 패치(patch)로 나눠 위조 여부를 판별하는 방식이 아닌 지문 배경과 분리된 지문영상 전체를 활용하여 높은 정확도로 위조여부를 판별하였다.

둘째, 단순히 생체 지문과 위조지문으로 분류하는 것이 아닌 다양한 종류의 위조지문 구성 물질까지 분류하여 각 지문인식 센서 별 어떠한 구성 물질로 이루어진 위조 지문에 취약한 모습을 보이는지 확인하였다 .

셋째, 블랙박스(black box)와 같이 내부를 볼 수 없었던 CNN 모델을 CAM(Class Activation Map)[18]을 이용하여 시각화하였다. 이를 통하여 생체 지문 이미지와 위조 지문 이미지를 판별하는데 중요도가 높은 지문영역에 대해 확인하였으며 그 영역에 대한 차이를 분석하였다.

III. 제안하는 방법

3.1 지문영역 분리

Fig. 1.를 보면 센서의 경계면 부분엔 특정 패턴이 존재하고 있음을 확인할 수 있다. 지문데이터 베이스의 경우 취득 시 한 번에 다수의 지문을 취득하기 때문에 이 특정 패턴이 획득된 시간에 의존적임을 확인할 수 있었다. 예를 들면, 에코플렉스 위조지문의 경우 이 패턴이 우측 상단에만 존재하고, 라텍스로 만든 경우 우측 하단에만 존재한다. 실제로 실험에 사용된 지문 데이터베이스의 경우 이러한 특성을 보임을 확인할 수 있었다. 이러한 지문 영상들을 전처리 과정 없이 바로 CNN 모델을 이용하여 분류하면 Fig. 1. 과 같이 지문영역(foreground)을 보고 판단하는 것이 아닌 배경영역(background)에 집중하여 판단하는 것을 확인하였다. 이를 통해 CNN 모델을 통한 위조 여부 판별 방법을 사용할 시 지문 영역과 배경영역을 분리하는 과정은 꼭 필요한 과정임을 확인할 수 있었다.

Fig. 1. Fingerprint images with similar background

지문영역을 배경영역과 구분하는 방법으로 균질성 (coherence)을 이용한 분리 방법[18]을 사용하였다. 실험에 의하면 융선(ridge)과 골(valley)의 변화로 인하여 지문영역에서 x방향과 y방향 경사도(gradient) 값의 변화가 매우 크다는 것을 알 수 있다. 그러나 배경영역은 대체적으로 변화가 없이 비슷하므로 x방향과 y방향 경사도 값의 변화도 거의 없다.

수식 (1)에서 G_x는 x방향의 경사도를 나타내며 G_y는 y방향의 경사도를, G_xy는 G_x와 G_y를 곱한 값과 같다.

\(\operatorname{cov}=\sum_{w}\left[\begin{array}{ll} G_{x}^{2} & G_{x y} \\ G_{x y} & G_{y}^{2} \end{array}\right]=\left[\begin{array}{lc} a & c \\ c & b \end{array}\right]\)       (1)

\(\lambda_{\max }=\left[(a+b)+\sqrt{(a-b)^{2}+4 c^{2}}\right] / 2\)       (2)

\(\lambda_{\min }=\left[(a+b)-\sqrt{(a-b)^{2}+4 c^{2}}\right] / 2\)       (3)

\(c o h=\frac{\lambda_{\max }-\lambda_{\min }}{\lambda_{\max }+\lambda_{\min }}\)       (4)

\(\omega= \begin{cases}\left.w_{1} \text { (Foreground }\right) & \text { if } \text { coh }>T \\ \left.w_{2} \text { (Background }\right) & \text { if } \operatorname{coh} \leq T\end{cases}\)       (5)

λ_max는 최대 고유값(eigenvale)으로 수식 (2)와 같은 수식을 통해 계산되어진다. λ_max은 최저 고유값으로 수식 (3)과 같은 수식을 통해 계산되어진다. 균질성은 앞서 구한 λ_max와 λ_min을 이용하여 수식 (4)와 같은 수식을 통해 얻을 수 있다. 만약 계산된 영역이 지문영역이라면 G_x값과 G_y값의 차이는 크며 최대 고유값은 최소 고유값 보다 상당히 큰 값을 가진다. 이 때 균질성 값은 1에 매우 가까운 값이 나오게 된다. 이와 반대로 만약 계산된 영역이 배경영역 일 때, 최대 고유값과 최소 고유값은 거의 비슷한 값이 나오며 따라서 균질성은 0에 가까운 값이 나오게 된다. 최종적으로 수식 (5)와 같이 특정 문턱값(threshold value) T값을 선택한 뒤, 특정 영역으로부터 얻은 균질성 값을 T값 기준으로 지문영역과 배경영역으로 나눌 수 있다. 지문영역과 배경영역에 대한 분리 결과는 Fig. 2.와 같으며 성공적으로 지문 영역과 배경영역이 분리됨을 확인 할 수 있다.

Fig. 2. Fingerprint image Segmented results using coherence

3.2 Convolutional neural network 모델

Bolei Zhou 등[18]은 본 논문에서 사용한 모델과 같이 완전 연결 계층을 제거하고 GAP(Global Average Pooling) 방법을 사용한 모델을 사용하였으며 ILSVRC 데이터베이스처럼 동물과 사람, 다양한 물체들을 포함하고 있는 데이터베이스에 대해 종류별로 분류하는 것을 시도하였다. 본 논문에서는 이 모델을 생체지문과 위조지문을 분류하는데 적용하였다.

지문영역 추출 과정과 같은 전처리 과정을 거친 지문 이미지들은 Fig. 3.과 같은 CNN 모델을 통해 학습된다. 본 논문에서 학습에 사용한 CNN 모델은 13 개의 컨볼루션 계층(convolution layer)과 4개의 풀링 계층(pooling layer)으로 구성되어 있다. 활성함수(activation function)로는 ReLu를 사용하였으며 풀링 방법으로는 맥스 풀링(max pooling)을, 풀링 사이즈(pooling size)는 2x2를 사용하였다. 또한 기존에 존재하는 대표적인 CNN 모델인 AlexNet이나 VGGnet, GoogLeNet과 같은 모델은 완전 연결 계층(fully connected layer)을 포함하고 있는데, 본 논문에서 사용한 모델은 이러한 완전 연결 계층을 제거한 뒤 GAP 방법을 추가하였다. 최종적으로 지문 이미지를 종류별로 분류하기 위해 GAP 방법을 이용한 풀링 후 하나의 완전 연결 계층을 추가한 뒤, 분류기로 소프트맥스(softmax)를 사용하여 분류하였다.

Fig. 3. CNN model structure

3.3 시각화

Fig. 4.와 같이 마지막 컨볼루션 계층으로부터 생성 된 각 피처맵(feature map)들은 GAP 과정을 거친 뒤 하나의 뉴런(neuron)이 되어 완전 연결 계층에서 학습되어진다. 이러한 학습 과정을 통해 하나의 클래스(class)로 분류되게 되는데 이 때 학습한 가중치(weight) 값을 이용하여 CAM(Class Activation Map)을 얻을 수 있다[18]. CAM은 CNN 모델이 이미지를 분류 시 이미지의 어떠한 부분을 중점적으로 보는지를 나타내며 예측 클래스가 달라지면 CAM도 다르게 나타나게 된다.

Fig. 4. Visualization process

본 논문에서는 지문 이미지로부터 CAM을 추출해 내어 생체지문과 위조지문을 분류 할 때 지문 이미지에서 어떠한 부분을 중점적으로 보는지에 대해 확인하였다.

IV. 실험

4.1 실험환경

실험은 CNN 모델 구현 용이성과 학습속도를 고려하여 구글에서 개발한 머신러닝을 위한 오픈소스 소프트웨어 라이브러리인 텐서플로우(tensorflow)를 사용하였다. 학습 과정에서 사용한 그래픽카드로는 NVIDIA Titan X를 사용하였으며 실험에 사용한 지문 이미지 데이터베이스로는 Table 1. 과 같이 LivDet2013 데이터베이스를 사용하였다. LivDet2013 데이터베이스는 생체 지문 이미지와 위조 지문 이미지로 구성되어 있으며 Biometrika, Crossmatch, Italdata, Swipe 센서를 이용하여 취득한 지문 이미지들로 구성되어있다. 스와이프 (swipe) 타입 지문 인식 센서인 Swipe 센서를 이용하여 취득한 지문 이미지들을 제외한 Biometrika, Crossmatch, Italdata 센서들로부 터 취득한 지문 이미지들을 실험에 사용하였다.

Table 1. LiveDet 2013 database

4.2 실험방법

LivDet2013 데이터베이스의 지문 이미지들 중 training 이미지를 활용하여 Biometrika, Crossmatch, Italdata 센서 별로 CNN 모델을 학습시킨 뒤, LivDet2013 데이터베이스의 지문 이미지들 중 학습에 사용한 training 이미지를 제외한 testing 이미지만을 사용하여 위조 여부 판별 실험을 진행하였다. 실험은 학습시킨 CNN 모델에 지문 이미지를 입력으로 넣어 주게 되면 라이브(live) 또는 에코플렉스(ecoflex), 젤라틴(gelatin), 라텍스(latex) 등과 같이 입력 이미지에 대한 결과 값으로 클래스(class)명이 출력된다. 라이브 클래스는 생체 지문 이미지이며, 라이브 클래스를 제외한 모든 다른 클래스는 위조 지문 이미지이다. 이렇게 지문 이미지에 대한 판별 과정이 끝난 후 판별 과정 시 사용 된 가중치 값을 이용하여 CAM을 얻을 수 있으며 이를 분석하여 CNN 모델이 지문 이미지의 어떠한 영역으로부터 결론을 도출하였는지 확인 할 수 있다. 또한 생체 지문 이미지와 위조 지문 이미지의 전반적인 특성에 대해 확인 할 수 있다.

4.3 실험 결과

4.3.1 위조 여부 판별 결과

지문 영상 이미지의 위조 여부 판별에 대한 실험 결과는 Table 2.와 같다. 실험결과 FPR(False Positive Rate) 값은 Biometrika 1.8%, Crossmatch 9.6%, Italdata 4.6% 로 측정되었 다. FNR(False Negative Rate) 값은 Biometrika 0.8%, Crossmatch 2%, Italdata 0.4% 로 측정되었다. 따라서 평균적인 FPR 값은 5.3%, FNR 값은 1% 로 측정되었다. 이를 이용하여 ACE(Average Classification Error) 값을 구하면 3.1%라는 값을 얻을 수 있다. ACE에 대한 정의는 다음과 같다.

\(A C E=\frac{(F P R+F N R)}{2}\)       (6)

Table 2. Confusion matrix of the live/fake classification

4.3.2 위조지문 구성 물질 분류 결과

단순히 생체지문 이미지와 위조지문 이미지를 분류하는 것을 넘어 위조지문을 구성하고 있는 물질까지 고려하여 분류한 결과도 위조 여부 판별 결과 실험을 통해 알 수 있는데 그 결과를 오차행렬(confusion matrix)로 표현하면 Table 3., Table 4., Table 5. 와 같다. 각 표의 첫 행은 기준 클래스를 나타내며 첫 열은 예측 클래스를 나타낸다.

Table 3. Confusion matrix of the biometrika database

Table 4. Confusion matrix of the italdata database

Table 5. Confusion matrix of the crossmatch database

실험에 사용 된 지문 이미지 데이터베이스를 이루고 있는 위조 지문 이미지들은 서로 다른 물질들로 구성되어 있다. Biometrika 데이터베이스의 위조 지문 이미지들의 구성 물질은 에코플렉스(ecoflex), 젤라틴(gelatin), 라텍스(latex), 모다실(modasil), 우드글루(woodglue) 이며 Crossmatch 데이터베이스의 위조 지문 이미지들의 구성 물질은 바디더블(bodydouble), 라텍스, 플레이도(playdoh), 우드글루이다. 마지막으로 Italdata 위조 지문 이미지들의 구성 물질은 에코플렉스, 젤라틴, 라텍스, 모다실, 우드글루이다.

Biometrika 데이터베이스에서 생체 지문 이미지 포함 위조 지문 이미지의 구성 물질까지 분류하는데 성공한 정확도는 76.05%이며 Crossmatch 데이터베이스는 83.69%, Italdata 데이터베이스는 78.99% 로 평균적으로 79.58% 정확도를 보인다. 이러한 실험 결과로부터 CNN 특징을 이용하여 생체지문 이미지와 위조지문 이미지를 높은 정확도로 구분할 수 있을 뿐만 아니라 위조지문 이미지의 구성물질을 분류 할 수 있는 가능성을 확인 할 수 있다. 또한 Biometrika 센서는 젤라틴, Crossmatch 센서는 바디더블, Italdata 센서는 우드글루와 같이 각 센서 별로 어떠한 구성 물질로 이루어진 위조 지문 이미지에 취약점을 보이는지에 대한 정보도 알 수 있다.

4.3.3 시각화 결과

학습 시킨 CNN 모델의 가중치 값을 이용하여 지문 이미지를 클래스 별로 분류하는데 사용한 CAM을 표현해 보면 Fig. 5. 와 Fig. 6. 과 같다. 이를 통하여 CNN 모델이 지문 이미지를 분류 시 어떠한 영역에 대해 중점적으로 반응하여 위조여부를 판단했는지 육안으로 확인이 가능하다.

Fig. 5. Examples of the CAMs of live fingerprint image 

Fig. 6. Examples of the CAMs of fake fingerprint image

기존 연구에서는 CNN 모델이 실제 지문 이미지의 어느 영역에 반응하여 위조여부를 판단하는지 알 수 없었으며 일반적으로 지문 이미지 전체 영역에 반응하여 판단하지 않을까라는 막연한 추론만 존재하였다. 하지만 본 논문의 시각화 결과를 통해 CNN 모델이 지문 이미지 전체에 반응하여 위조여부를 판단하는 것이 아닌, 지문 이미지의 일부 영역에 대해 중점적으로 반응하여 위조여부를 판별한다는 것을 알 수 있다. 또한 생체 지문 이미지로부터 얻은 CAM 이미지 결과는 전반적으로 넓은 영역에서 생체 지문 이미지의 특성을 보이는데 반면, 위조 지문 이미지로부터 얻은 결과는 비교적 적은 특정한 영역으로부터 CNN 모델이 강하게 반응하여 위조 지문 이미지라 판단함을 확인 할 수 있다.

V. 결론

본 논문에서는 CNN(Convolutional Neuron Network) 특징을 이용하여 지문 이미지의 위조여부를 판별하였으며 판별 근거에 대한 결과를 시각화하였다. CNN 특징을 이용하여 지문 이미지에 대한 위조여부를 판별하기 위한 전처리 과정으로 지문 이미지에서 지문 부분과 배경 부분에 대한 분리의 필요성을 실험을 통해 확인하였다.

지문 이미지 영역과 배경 이미지 영역 분리에 대한 전처리 작업 후 CNN 모델을 학습시켜 이를 통해 위조여부 판별을 시도하였으며 생체 지문 이미지와 위조 지문 이미지로 분류하는 것뿐만 아니라 위조지문 이미지를 구성하고 있는 구성 물질 별 분류 가능성도 확인하였다. 이를 통해 지문 인식 센서 별 취약한 위조 지문 구성 물질에 대해 파악이 가능함으로 이러한 부분에 대한 취약점을 개선하면 지문 인식 센서의 보안성이 한층 높아질 것이다.

위조여부 판별근거를 CAM(Class Activation Map)을 이용한 시각화 결과 이미지로부터 베일에 쌓여있던 CNN 모델의 생체 지문 이미지와 위조 지문 이미지를 판단하는 기준에 대해 확인 할 수 있었다. 특히 생체 지문 이미지와 위조 지문 이미지를 분류하는데 있어 중요도가 높은 지문 이미지 영역에 대하여 비교분석한다면 생체 지문 이미지와 위조 지문 이미지에 대한 고유한 특성을 파악할 수 있을 것이라 예상된다.

* 이 논문은 2016년도 정부(미래창조과학부)의 재원으로 정 보통신기술진흥센터의 지원을 받아 수행된 연구임. (no.R0190-15-2007, 스마트 디바이스용 박막 타입 지 문센서 모듈 및 프라이버시 보호 응용 SW 기술개발)