Data Mixing Augmentation Method for Improving Fake Fingerprint Detection Rate

위조지문 판별률 향상을 위한 학습데이터 혼합 증강 방법

Abstract

Recently, user authentication through biometric traits such as fingerprint and iris raise more and more attention especially in mobile commerce and fin-tech fields. In particular, commercialized authentication methods using fingerprint recognition are widely utilized mainly because customers are more adopted and used to fingerprint recognition applications. In the meantime, the security issues caused by fingerprint falsification bring lots of attention. In this paper, we propose a new method to improve the performance of fake fingerprint detection using CNN(Convolutional Neural Network). It is common practice to increase the amount of learning data by using affine transformation or horizontal reflection to improve the detection rate in CNN characteristics that are influenced by learning data. However, in this paper we propose an effective data augmentation method based on the database difficulty level. The experimental results confirm the validity of proposed method.

최근 모바일 및 핀테크(fin-tech) 분야의 최신 트렌드로 지문인식, 홍채인식과 같은 생체인식을 통한 사용자 본인인증이 주목 받고 있다. 특히 지문인식을 이용한 인증 방식은 전통적인 생체인식 방식으로써 사용자들이 사용하는데 발생하는 거부감이 다른 생체인식에 비해 현저히 낮아 현재 가장 보편적으로 이용되는 방식이다. 이와 동시에 지문을 이용한 인증 시 보안에 대한 중요성이 부각되어 지문의 위조 여부 판별의 중요성 또한 증가하고 있다. 본 논문에서는 CNN(Convolutional Neural Networks) 특징을 이용한 위조 여부 판별 방법에 있어 판별률을 향상시키기 위한 새로운 방법을 제시한다. 학습데이터에 영향을 많이 받는 CNN 특성 상 기존에는 판별률을 향상시키기 위해 아핀 변환(affine transformation) 또는 수평 반전(horizontal reflection)을 사용하여 학습데이터의 양을 증가 시키는 것이 일반적인 방법이었으나 본 논문에서는 위조지문 판별 난이도를 기반으로 한 효과적인 학습데이터 증강(data augmentation) 방법을 제시하며 실험을 통해 제안하는 방법의 타당성을 확인하였다.

I. 서론

생체인식 기술은 살아 있는 사람의 생리적 또는 행동에 대한 특징을 인식하는 방법이다[1]. 일반적으로 지문, 목소리, 홍채, 망막, 손, 얼굴, 친필 등 다양한 종류의 생체인식 특성들이 생체인식 시스템에 폭넓게 사용되고 있다. 그 중 지문 인식 방법은 정확도, 인식 속도, 견고성 세 가지 요소 모두 균형이 잘 맞는 가장 대중적인 생체인식 방법이다. 또한, 상대적으로 편의성이 떨어지는 공인인증서와 보안카드를 대신하여 간단히 지문을 이용한 인증 시스템이 모바일 Fin-tech 관련 어플리케이션들에 이용되고 있다.[2] 하지만 이와 같은 지문 인증 시스템은 젤라틴, 라텍스, 실리콘과 같이 주변에서 쉽게 구할 수 있는 물질을 이용하여 다른 사람의 지문을 어렵지 않게 위조할 수 있다는 취약점이 존재하며, 국내에서는 이와 관련한 사건·사고가 지속적으로 발생하고 있다. 따라서 지문 이미지에 대한 위조 여부를 판단할 수 있는 기술은 지문 인증 시스템에서 매우 중요한 기술이라고 할 수 있다[3]. 이에 최근에 지문 이미지의 위조 여부 판별에 독보적인 판별률을 보이고 있는 CNN을 이용한 위조지문 판별 방법에 있어 학습데이터 증강 관점에서 성능 향상을 위해 학습을 원하는 위조지문 데이터베이스보다 상대적으로 판별 난이도가 높은 데이터베이스를 혼합하는 방식인 위조지문 판별 난이도를 기반으로 한 새로운 방안을 제시한다.

본 논문의 구성은 다음과 같다. 2장에서는 위조지문 판별 및 데이터 증강 방법 관련 연구에 대해 설명 하였으며, 3장에서는 본 논문에서 사용한 위조지문 판별 방법에 대한 간략한 소개와 본 논문의 핵심 제안 내용인 위조지문 판별률 향상을 위한 학습데이터 혼합(mixing) 증강 방법에 대하여 설명하였다. 4장에서는 앞서 제안한 방법에 대한 실험환경 및 실험방법, 실험결과를 확인하였다. 마지막으로 5장에서는 결론 및 향후 연구에 대해 기술하며 논문을 마친다. 본 논문의 의의는 다음과 같다.

첫째, 지문 이미지의 위조 여부 판별에 대한 성능 향상을 위해 기존 CNN을 활용한 이미지 데이터 분류에 있어 사용되었던 일반적인 학습데이터 증강 방법을 사용하는 것이 아닌, 위조지문 판별 난이도를 기반으로 한 새로운 방법을 제시하였다.

둘째, 제안하는 학습데이터 증강 방법과 기존의 방법과 비교해보았을 때 제안하는 방법이 더욱 효과적인 방법임을 실험을 통해 증명하였다.

II. 관련 연구

2.1 위조 지문 판별 방법

위조 지문 이미지의 위조 여부를 판별하는 방법으로는 크게 하드웨어 기반인 방법과 소프트웨어 기반인 방법이 있다. 먼저 하드웨어 기반의 방법은 혈압[4], 피부 변형[5], 채취[6]와 같은 특정한 특징들을 추출할 수 있는 추가적인 센서를 필수적으로 요구하므로 효용성이 떨어진다. 소프트웨어 기반 방법은 위조 여부를 판별하기 위해 추가적인 센서 없이 지문 센서로부터 입력받은 지문 이미지로부터 특징들을 추출한 뒤 이를 이용하여 위조 여부를 판별한다. 따라서 전반적으로 소프트웨어 기반 방법이 하드웨어 기반 방법보다 비교적으로 저렴하고 유연하다.

소프트웨어 기반 방법에서 특징을 이용하는 방법으로 Jain 등[7]은 융선(ridge)의 밀도 및 크기, 연속성과 같은 세부적인 특징들을 이용하여 위조 여부를 판별하였다. 반대로 세부적인 지문의 특징을 이용하는 것이 아닌 이미지로부터 일반적인 특징을 추출하는 방법들이 존재한다. 그러한 방법 중 하나로 지문 이미지의 밝기 값, 대조 값, 주파수 영역에서의 위상 값을 이용한 방법이 있다[8]. 또한, 이미지의 texture 정보를 추출 할 때 사용하는 Weber Local Descriptor를 지문 이미지에 적용하기도 하였다[9]. 다른 방법으로는 LBP(Local Binary Patterns)를 사용한 방법과 변형된 LBP를 사용한 방법을 이용하여 성공적으로 위조 여부를 판별하기도 하였다[10][11][12].

위에서 설명한 방법들은 연구자들의 관찰과 실험에 의해 설계된 특징들을 사용한 방법이다. 이와 달리 CNN(Convolutional Neural Network)과 같이 학습을 통해 데이터로부터 추출한 특징을 사용하는 방법이 존재하며, 이러한 방법은 현재 지문 이미지의 위조 여부 판별에 있어 가장 높은 판별률을 보이고 있다.

Nogueira 등[13]은 지문 이미지의 위조 여부 판별을 위해 처음으로 CNN을 사용하여 위조 지문 이미지 판별에 성공하였다. 비슷하게 Wang 등[14]은 CNN 특징을 기반으로 한 투표 전략(voting strategy)을 사용하여 위조 지문 이미지 판별 성능을 향상시켰다. Nogueira 등[15]은 VGGnet을 사용하여 최근에 개최 된 위조지문 판별 대회인 LivDet2015에서 훌륭한 성능을 보였다. 최근에 CNN을 사용한 위조지문 판별 관련 연구로는 Chang 등[16]이 CNN 및 LBP, LPQ 특성을 활용하여 스마트폰 지문 센서로부터 취득한 지문 이미지에 대해 위조 여부 판별에 성공한 연구가 있으며, Park 등[17]이 작은 사이즈의 지문 패치를 활용하여 매우 높은 판별률로 위조 여부를 판별하였다.

2.2 학습데이터 증강 방법

학습데이터 증강(data augmentation)이란 알고리즘 성능에 있어 학습데이터 크기에 영향을 많이 받는 CNN 특성상 원본 학습데이터의 크기를 인위적으로 늘리는 방법이다. 학습데이터 증강 방법을 사용한 후 분류기(classifier)를 학습시키면 과적합(overfitting) 문제를 해결해주며 분류기를 보다 보편적이고 중요한 특징들에 대해 학습하도록 만들어 견고하고 성능 변동의 폭이 작은 분류기를 학습 결과로써 얻을 수 있다. 이러한 학습데이터 증강 방법은 CNN을 활용한 분류(classification)에 있어 성능 향상을 위해 여러 연구에서 사용되었다[15][18] [20][21][22].

Nogueira 등[14]은 학습데이터 증강 방법으로 원본 이미지데이터의 각 모서리와 중앙을 기준으로 80% 영역만큼을 잘라낸 뒤 수평 반전까지 주어 원본 데이터 크기보다 학습 데이터 크기를 다섯 배까지 늘려 학습에 사용하였다. Krizhevsky 등[18]은 ImageNet 이미지 데이터[19]들에 대한 분류 성능을 향상시키기 위해 수평 반전(horizontal reflection) 및 RGB 채널(channel) 값들에 변화를 주며 학습데이터를 증강했다. Ciregan 등[20]은 다양한 종류의 이미지 데이터 분류에 있어 처음으로 사람과 비교할만한 결과를 얻기 위한 방법 중 하나로 이미지 데이터들의 무작위 이동(random translation), 크기 변환, 회전(rotation) 등과 같은 증강 방법을 사용하여 학습데이터의 크기를 증가시켰다. Ciresan 등[21]과 Simard 등[22]는 분류기의 성능을 향상시키기 위한 학습데이터 증강 방법으로 아핀 변환(affine transformation)과 왜곡 (deformation)을 활용하였다.

본 논문에서는 CNN을 활용한 위조 지문 이미지 판별에 관한 성능을 향상시키기 위해 기존에 주로 사용된 학습데이터 증강 방법보다 효율적인 새로운 방법을 제시한다. 이어 실험을 통해 제안하는 방법의 타당성을 확인하고 결과를 분석한다.

III. 제안하는 방법

3.1 CNN을 활용한 위조 여부 판별

본 논문에서 위조지문 이미지의 위조 여부 판별을 위해 사용한 CNN 모델은 Fig. 1.과 같이 VGG 네트워크 구조를 기본으로 하여 학습 속도 및 시각화 결과를 고려한 변형 모델을 사용하였다[23][24].

Fig. 1. Architecture of CNN

학습데이터 증강 방법에 대한 다양한 종류의 실험을 효율적으로 진행하기 위해서는 학습 속도가 중요하므로 학습 속도를 향상시키기 위해 우선 완전 연결 계층(fully connected layer)을 모두 제거하였으며 GAP(Global Average Pooling)를 사용하였다.

모델 학습은 기본적인 지문 이미지에 대한 전처리 과정인 지문영역 추출과정을 거친 지문 이미지들을 입력 받아 진행 된다. Fig. 2.와 같이 모델 학습을 마친 뒤, 학습에 사용하지 않은 실제 지문 이미지와 위조 지문 이미지를 활용한 테스트 과정으로부터 위조 여부 판별이 성공적으로 됨을 확인 할 수 있다.

Fig. 2. Liveness detection using CNN

3.2 취득 센서에 따른 학습데이터 혼합 증강 방법

3.2.1 상이한 센서의 데이터 혼합

LivDet 데이터베이스는 위조지문 관련 공인데이터베이스로써 취득 센서에 따라 구분되어 있으며, 각 센서 별 dpi 및 지문 이미지의 크기, 위조지문 구성 물질이 다르다. 이를 이용하여 여러 종류의 위조지문 데이터베이스를 혼합한 새로운 학습데이터베이스를 구성한 뒤 CNN 모델을 학습시켜 위조지문 데이터베이스 혼합에 따른 위조지문 판별률의 변화추이를 분석하였다.

3.2.2 센서 특성 별 데이터 혼합

각 연도별 LivDet 데이터베이스의 구성을 살펴보면 지문 센서의 제조사가 같아 취득된 지문 이미지의 특성이 비슷한 데이터베이스들이 존재한다. 이를 활용하여 동일한 센서 제조사의 위조지문 데이터베이스를 혼합하여 학습데이터베이스를 구성한 뒤 CNN 모델을 학습시켜 위조지문 판별률과의 상관관계를 분석하였다.

3.3 판별 난이도에 따른 학습데이터 혼합 증강 방법

3.3.1 판별 난이도 기준 데이터 분류

본 논문에서 실험에 사용한 데이터베이스는 LivDet 2011, LivDet 2013, LivDet 2015이 다.[25][26][27]. 각 데이터베이스를 구성하고 있는 하위 위조지문 데이터베이스들의 state-of-theart ACE(Average Classification Error) 값을 Table 1.과 같은 기준으로 Table 2.와 같이 난이도 별로 분류하였다.

Table 1. Level of database difficulty

Table 2. LivDet databases with difficulty level

3.3.2 판별 난이도에 따른 데이터 혼합

위조지문 데이터베이스들을 혼합하여 새로운 학습 데이터베이스를 구성 시 위조 여부 판별 난이도를 고려한다. CNN 모델의 구성 파라미터들을 위조지문 판별에 더욱 엄격하게 학습시키기 위해 위조 여부 판별 난이도가 낮은 위조지문 데이터베이스를 기준으로 삼아 상대적으로 난이도가 높은 위조지문 데이터베이스를 혼합시키며 학습데이터를 증강한 뒤 CNN 모델을 학습시킨다. 학습 후 테스트 과정을 통해 데이터 증강에 따른 판별률 변화를 확인하였다. 보편적인 이론 설립을 위해 반대로 위조 여부 판별 난이도가 높은 위조지문 데이터베이스를 기준으로 상대적으로 난이도가 낮은 위조지문 데이터베이스를 혼합시켜가며 데이터베이스 혼합에 따른 판별률 변화를 확인하였다.

IV. 실험

4.1 실험 환경

실험은 CNN 모델 구현 용이성과 학습속도를 고려하여 구글에서 개발한 머신러닝을 위한 오픈소스 소프트웨어 라이브러리인 텐서플로우(tensorflow) 를 사용하였으며 학습과 테스트 과정 모두에 그래픽 카드를 사용하였다. 학습 과정에서 사용한 그래픽카드로는 NVIDIA GTX 1080을 사용하였다. 실험에 사용한 데이터베이스 LivDet 2011, LivDet2013, LivDet 2015는 세부적으로 Table 2.와 같이 각기 다른 센서로부터 취득된 데이터베이스로 구성 되어 있으며 Biometrika, Crossmatch, Italdata 각 센서별 데이터들의 특성은 Table 3., Table 4., Table 5.와 같다.

Table 3. Property of Biometrika data

Table 4. Property of Crossmatch data

Table 5. Property of Italdata data

4.2 실험 방법

3.1에서 언급한 CNN을 활용한 위조 여부 판별 알고리즘을 학습시키는데 3.2와 3.3에서 제안하는 학습데이터 혼합 증강 방법을 사용하였으며 학습 후 테스트 과정을 통해 지문의 위조 여부 판별률을 확인 하였다. 또한 기존에 보편적으로 사용되었던 학습데이터 증강 방법과의 비교를 위해 기존 방법을 활용하여 데이터를 증강 시킨 비교용 학습데이터를 구성하였다. 이를 사용하여 CNN 모델을 학습시킨 성능과 제안하는 방법의 성능을 비교·분석하였다.

4.3 실험 결과

4.3.1 상이한 센서의 위조지문 데이터 혼합 실험 결과

서로 상이한 센서로부터 취득된 지문 이미지들로 구성된 위조지문 데이터베이스들을 혼합한 뒤 학습시켜 얻은 성능에 대한 결과는 Table 6, Table 7, Table 8 와 같다. 실험 결과 서로 다른 두 가지 센서로부터 취득된 지문 이미지로 구성된 데이터베이스를 혼합하여 학습시킨 다음 다시 각 센서 별 테스트 데이터베이스를 활용하여 위조 여부 판별 성능 평가를 할 경우 하나의 모델은 성능이 좋아지는 반면 나머지 하나는 성능이 오히려 떨어진다는 결과를 확인 하였다.

Table 6. Experimental results of Biomerika & Crossmatch data mixing

Table 7. Experimental results of Biometrika & Italdata data mixing

Table 8. Experimental results of Italdata & Crossmatch data mixing

4.3.2 센서 특성 별 데이터 혼합 실험 결과

LivDet 데이터베이스의 구성을 보면 연도별로 센서 제조사가 같아 구성하고 있는 이미지의 특성이 비슷한 데이터베이스들이 존재한다. 따라서 센서 특성에 따른 데이터 혼합 실험 결과를 비교하기 위해 Biometrika, Crossmatch, Italdat 센서로부터 취득한 이미지들로 구성 된 데이터베이스들을 선택하여 실험한 결과는 Table 9, Table 10, Table 11과 같다. Table 9 Biometrika 데이터 혼합 실험 결과를 보면 데이터베이스 혼합 후 LivDet 2011에 대한 성능은 감소하였으나, LivDet 2013에 대한 성능은 향상 된 것을 확인하였다. 이와 비슷한 결과를 Table 10 Crossmatch 및 Table 11. Italdata 데이터 혼합 실험 결과로부터 확인하였는데 이는 상이한 센서의 위조지문 데이터 혼합 실험 결과와도 비슷한 맥락으로 데이터베이스 혼합 증강 방법을 적용 시 두 모델의 성능 변화는 반대의 성향을 보인다는 것을 확인하였다.

Table 9. Experimental results of Biometrika data mixing

Table 10. Experimental results of Crossmatch data mixing

Table 11. Experimental results of Italdata data mixing

4.3.3 판별 난이도에 따른 데이터 혼합 실험 결과

앞서 실험한 결과들로부터 위조지문 데이터들을 혼합 시 위조지문 판별에 관한 성능이 변화되는 것을 확인하였다. 또한, 혼합 시 성능 변화에 영향을 주는 요인이 위조지문 데이터의 판별 난이도라 여겨져 판별 난이도에 따른 데이터 혼합 실험을 진행하였다.

실험은 앞서 분류한 Table 2.를 기준으로 판별 난이도가 상대적으로 매우 낮은 데이터베이스 및 높은 데이터베이스를 기준 데이터베이스로 선택한 뒤, 난이도가 낮은 데이터베이스에는 점점 난이도가 높은 데이터베이스를 혼합하는 방향으로 학습 데이터를 구성하였으며 CNN 모델 학습 후 판별률 변화를 확인 하였다. 반대로 난이도가 높은 데이터베이스에는 상대적으로 난이도가 낮은 데이터베이스를 혼합하는 방향으로 실험을 진행하였다. 실험 결과 Table 12.와 같이 판별 난이도가 낮은 위조지문 데이터베이스에 점차 난이도가 높은 위조지문 데이터베이스를 혼합하며 CNN 모델을 학습시키는 경우 위조 여부를 판별 하는 성능이 향상되는 것을 확인하였으며, Table 13.과 같이 판별 난이도가 높은 위조지문 데이터베이스에 추가적으로 판별 난이도가 낮은 위조지문 데이터베이스를 혼합 할 시 성능이 감소하는 것을 확인하였다.

Table 12. Experimental results of data mixing: adding difficult DB to an easy DB

Table 13. Experimental results of data mixing: adding easy DB to a difficult DB

4.3.4 기존 방법과의 성능 비교 실험 결과

기존에 CNN을 활용한 분류에 있어 CNN 모델의 성능을 향상시키기 위해 주로 사용한 방법인 아핀 변환 및 수평 반전을 이용하여 학습데이터를 증강 시켰다. 이렇게 증강된 학습데이터를 활용하여 학습을 시켜 얻은 판별률에 관한 성능과 본 논문에서 제안하는 방법을 적용하여 얻은 성능을 비교한 결과는 Table 14, Table 15, Table 16.과 같다.

Table 14. Comparison between existing method(affine transformation & horizontal reflection) and data mixing method based on level 1 DB

Table 15. Comparison between existing method and data mixing method based on level 2 DB

Table 16. Comparison between existing method and data mixing method based on level 5 DB

성능 비교 실험은 학습에 사용한 학습데이터 크기를 기준으로 삼아 비교하였으며, 비교 결과 본 논문 에서 새롭게 제안하는 데이터 혼합 방법이 기존 증강 방법에 비해 더욱 효과적인 방법임을 확인하였다.

V. 결론

본 논문에서는 CNN 특징을 활용하여 지문 이미 지의 위조 여부를 판별하는 알고리즘의 성능을 향상시키기 위한 방법으로 데이터 혼합 증강 방법이라는 기존의 데이터 증강 방법과 다른 개념의 새로운 방법을 제시하였으며, 실험을 통해 제안하는 방법의 타당성을 확인하였다.

실험을 통해 도출한 제안하는 방법 관련 핵심 사항은 위조지문 검출 관련 학습데이터 구성 시 단순하게 데이터의 양을 늘리는 것은 CNN 모델 성능에 향상에 도움이 되지 않으며 오히려 성능 향상에 악영향을 준다는 것이다. 또한 데이터 혼합을 통한 성능 향상을 위해서는 지문 센서의 dpi, 이미지 크기, 위조지문 물질 종류 등과 상관없이 위조 여부 판별을 희망하는 위조지문 데이터베이스보다 상대적으로 판별 난이도가 높은 데이터베이스를 혼합시켜야 한다는 것을 실험을 통해 증명하였다. 이는 판별 난이도가 높은 데이터들을 학습데이터 구성에 추가할 시 생체 지문과 위조 지문을 분류하는 CNN 모델을 보다 엄격하게 만들어주기 때문으로 생각된다. 추가적으로 본 논문에서 제안하는 방법은 기존에 주로 사용되었던 증강 방법에 비해 같은 크기의 학습데이터를 사용 했음에도 불구하고 보다 향상된 성능을 얻을 수 있음을 실험을 통해 확인하였다.

향후 위조지문 판별률 향상을 위한 학습데이터 구성을 위해 상대적으로 판별 난이도가 높은 위조지문 데이터베이스들만을 모아놓은 하나의 위조지문 데이터베이스 풀(pool)을 구성 할 계획이다. 이러한 풀에 학습을 원하는 데이터베이스만을 추가한 뒤 학습을 시키는 형태로 하여 위조지문 판별에 관한 CNN 모델을 효과적으로 학습시킬 수 있도록 할 시, 학습에 필요한 원본 데이터의 크기가 현저히 줄어들어 생체정보라는 지문의 특성상 데이터를 수집하기 힘들다는 현 문제점을 해결 할 수 있을 것이라 예상된다.

* 이 논문은 2016년도 정부(미래창조과학부)의 재원으로 정보 통신기술진흥센터의 지원을 받아 수행된 연구임. (no.R0190-15-2007, 스마트 디바이스용 박막 타입 지문센서 모듈 및 프라이버시 보호 응용 SW 기술개발)