측면형 지정맥 인식기 설계 및 구현

Design and Implementation of Side-Type Finger Vein Recognizer

Abstract

정보화 시대에 접어들면서 개개인의 신원을 정확하게 인식하여 인증하는 것은 정보 보호를 위해 매우 중요하기 때문에 신체를 활용한 생체인식의 활용이 점차 증가하고 있다. 그중 지정맥 인증 기술은 위조 및 복조하기 어려워 보안성과 정밀도가 높고 사용자 수용성이 용이하여 사회적 많은 관심을 받고 있다. 그러나 신원확인을 위한 알고리즘이나 주변의 빛의 환경에 따라 정확도가 떨어질 수 있다. 본 논문에서는 지정맥 측정 장치 중 활용성이 좋은 측면형 지정맥 인식기를 직접 설계하고 제작하여 높은 정확도와 인식률을 위해 DenseNet-201의 딥러닝 모델을 활용하여 인증하였으며 사용하는 적외선 광원과 주변 가시광선의 영향에 따른 지정맥 인증 기술의 성능을 시뮬레이션을 통해 분석하였다. 시뮬레이션은 전북대의 MMCBNU_6000과 직접 촬영한 지정맥 영상을 사용하고 EER을 이용하여 성능을 비교 분석한다.

As the information age enters, the use of biometrics using the body is gradually increasing because it is very important to accurately recognize and authenticate each individual's identity for information protection. Among them, finger vein authentication technology is receiving a lot of attention because it is difficult to forge and demodulate, so it has high security, high precision, and easy user acceptance. However, the accuracy may be degraded depending on the algorithm for identification or the surrounding light environment. In this paper, we designed and manufactured a side-type finger vein recognizer that is highly versatile among finger vein measuring devices, and authenticated using the deep learning model of DenseNet-201 for high accuracy and recognition rate. The performance of finger vein authentication technology according to the influence of the infrared light source used and the surrounding visible light was analyzed through simulation. The simulations used data from MMCBNU_6000 of Jeonbuk National University and finger vein images taken directly were used, and the performance were compared and analyzed using the EER.

Ⅰ. 서론

생체인식 기술은 개인의 고유한 특성인 신체적, 행동적 특징을 추출하여 개인을 식별하거나 인증하는 기술로 최근 정보통신 기술의 발전으로 취약한 개인정보 보안이사회적으로 이슈가 됨에 따라 높은 보안성을 갖추고 있는 생체인식이 주목을 받고 있다. 생체인식 기술은 신체적, 행동적 특징으로 나뉘며 신체적 특징은 얼굴, 홍채, 지정맥, 지문인식과 같이 신체를 이용한 방법이며 행동적 특징은 음성, 걸음걸이, 서명 인식과 같이 행동을 이용한 방법이다. 최근에는 정확도를 높이기 위해 행동적 특징과 신체적 특징을 복합하여 활용하고 있다^[1].

그중 지정맥 인식은 손가락 정맥 고유의 패턴을 읽어 개인을 식별하는 기술로 근적외선 파장의 빛이 손가락을 비출 때, 혈관 내 헤모글로빈에 흡수되어 혈관이 검게 나타나게 되는데 이를 구분할 수 있는 알고리즘을 활용하여 본인인증에 활용하는 기술이다. 지정맥은 배아 단계에서 결정되어 평생 동일하게 유지되며 동일 정맥 구조를 가지게 될 확률은 1억 분의 1 이하로 현저히 적다. 눈으로 볼 수 없고 흔적이 남지 않는 체내 정보(혈관)를 이용하기 때문에 위조, 변조 및 복제가 매우 어렵고 보편성이 높은 지문 인식과 사용방법이 매우 유사하여 조작이 간단하고 거부감이 적다^[2]. 최근에는 딥러닝 기술이 생체인식에 접목되는 다양한 연구가 진행되고 있다. 딥러닝기술이란, 기계가 자동으로 대규모 데이터에서 중요한 패턴 및 규칙을 학습하고, 이를 토대로 의사결정이나 분류, 예측 등을 수행하는 기술로 높은 수준의 인식 정확도를 제공한다^[3]. 따라서, 본 논문에서는 일반적으로 쉽게 측정할 수 있는 지정맥 인식을 주제로 삼고 딥러닝 알고리즘을 활용하여 개인의 지정맥의 특성을 식별하고 높은 정확도와 인식률을 실현하고자 한다. 또한, 빛의 변화에 따른 환경조건을 구성하여 적외선 LED의 개수와 배치에 따른 인증의 성능 비교 결과와 지정맥 인식기의 실내 가시광선 변화에 따른 지정맥 인증 성능 비교 결과를 제시한다.

이하 본 논문의 구성은 다음과 같다. Ⅱ장에서는 지정맥 인식기의 설계 및 구현에 대해 설명하고 Ⅲ장은 딥러닝 모델의 알고리즘을 기술하였다. Ⅳ장에서는 촬영 환경에 따라 측정하는 방법을 설명하고 Ⅴ장에서는 시뮬레이션을 통해 도출된 결과에 대해 분석하고 Ⅵ에서 결론을 맺는다.

Ⅱ. 측면형 지정맥 촬영 장치 설계 및 구현

지정맥 인식기는 근적외선의 빛을 발생시켰을 때 정맥의 적혈구가 흡수하는 특성을 이용하여 손가락의 혈관이 정맥의 음영이 나타나는 영상을 적외선 촬영이 가능한 카메라로 촬영하여 획득한다.

지정맥 인식 중 근적외선을 투과시키는 방법은 손가락 위에서 아래로 적외선을 투과시키는 투과형, 아래에서 적외선을 반사시키는 하단 반사형, 옆면에서 반사시키는측면형이 있다^[4].

본 논문에서는 표 1에서 광원이 구조물에 삽입되어 소형화가 가능하다는 장점이 있는 측면형 방법을 선택하였고 그림 1와 같이 하드웨어를 배치하여 지정맥 영상을 획득한다^[5].

표 1. 지정맥 인증 방식 종류

Table 1. Type of finger vein authentication method

그림 1. 측면헝 구조물 지정맥 촬영 방법

Fig. 1. Method of taking a finger vein image

지정맥 촬영을 위한 설계 및 구현 시 구성한 장비는 표 2와 같다. 영상 촬영을 위한 카메라, 적외선을 출력하기 위한 850nm 적외선 LED, 카메라와 LED를 제어하는 Raspberry Pi 그리고 3D 프린팅을 사용하여 ABS 소재로 제작된 지정맥 촬영 구조물로 구성된다. 지정맥 인식기는 적외선 LED의 개수에 따른 성능을 비교하기 위해 4개씩 좌우에서 방사하는 공간을 만들어 적외선을 투영하도록 설계되어 총 8개의 LED를 배치할 수 있다. 지정맥 인식기의 LED 방사 구멍 크기는 1.275 mm, 카메라와 손가락 사이의 거리는 48mm이며 적외선 LED는 소비 전력 150mW를 사용하였다. Raspberry Pi의 CPU는 BCM2835이고 512MB의 메모리를 가진다. 획득한 지정맥 영상은 촬영 후 딥러닝을 수행하는 PC로 전송하여 학습 데이터로 사용하여 딥러닝 알고리즘을 수행하였다^[6].

표 2. 지정맥 인식기의 하드웨어 구조

Table 2. Hardware architecture of finger vein recognizer

지정맥 촬영 구조물의 설계는 그림 2과 같다. (a) 처럼좌우에 적외선 LED를 배치하고 가운데는 카메라와 수직이 되도록 손가락을 넣는 부분으로, 너비의 크기는 14.4mm로 설계하였다. 지정맥 인식기의 앞면과 뒷면은 (b)와 같이 구성되어 있으며 뒷면에는 적외선 LED를 할당된 공간 크기에 삽입할 수 있도록 만들었고 앞면에는 적외선이 손가락으로 투영할 수 있도록 작은 틈이 구성되어 있다. 또한, 아랫부분에는 적외선 LED와 Raspberry Pi의 연결선을 쉽고 깔끔하게 고정시키기 위해 가로, 세로 크기 5mm인 빈 공간을 설계하였다.

그림 2. 지정맥 인식기 설계

Fig. 2. Design of a finger vein recognizer

지정맥 인식기는 그림 3과 같이 3D 프린팅을 이용하여 제작되었으며 그림 1처럼 양쪽에 적외선 LED를 배치했다. 지정맥 인식기 하단에는 Raspberry Pi를 두어 중심에 손가락을 올려서 지정맥 이미지를 획득한다.

그림 3. 지정맥 인식기

Fig. 3. Finger vein recognizer

Ⅲ. 지정맥 인증을 위한 CNN model

CNN(Convolutional Neural Networks)은 합성 곱 연산을 사용하는 ANN(Artificial Neural Network, 인공 신경망)의 한 종류로, 합성곱(Convolution)을 사용하면 3차원 데이터의 공간적 정보를 유지한 채 다음 layer 로 보낼 수 있다.

\(x_{l}=H_{l}\left(x_{l-1}\right)+x_{l-1}\)       (1)

식 (1)의 경우 CNN의 ResNet의 방식으로, 이전의 정보를 합하는 Identity function을 사용한다. 즉, 입력 x 를 출력에 더하는 연산을 통해 진행하는 Residual을 더하는 방식으로 역전파를 통해 학습할 때 은닉층을 많이 거칠수록 전달되는 오차가 크게 줄어 학습되지 않는 Vanishing Gradient 문제를 피할 수 있게 도와준다^[7].

\(x_{l}=H_{l}\left(\left[x_{0}, x_{1}, \ldots, x_{l-1}\right]\right)\)      (2)

식 (2)의 경우 DenseNet의 방식으로, 모든 Layer가 모든 후속 Layer로 연결되는 Direct connection을 가져서 결과적으로 l번째 Layer는 모든 이전 Layer의 특징 맵인 \(x_{0,} x_{1, \ldots} x_{l-1}\)을 입력으로 받는다. 여기서 \(\left[\begin{array}{lll} x_{0}, & x_{1}, \ldots, & x_{l-1} \end{array}\right]\)은 0, ..., l-1번째 Layer에서 생성된 특징 맵들의 연결을 나타내며 \(H_{l}\)함수는 Batch Normalization – ReLU – 1×1 Convolution으로 구성되어 있다. Batch Normalization은 입력 계층의 정규화를 통해 인공 신경망을 재중심화 및 재확대하여 더 빠르고 안정적으로 만드는 방법이고 ReLU(Rectified Linear Unit)는 입력값이 0보다 작으면 0으로 출력, 0보다 크면 입력값 그대로 출력하는 유닛이다. Convolution 정의는 두 개의 함수 f와 g가 있을 때 다음과 같다.

\((f * g)(t)=\int_{-\infty}^{I N F} f(\tau) g(t-\tau) d \tau\)       (3)

식(3)처럼 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음 구간에 대해 적분하여 새로운 함수를 구한다. 더 나아가 CNN에서 주를 이루는 Convolution Layer는 입력 데이터 크기, 커널의 크기, 패딩, Stride와 상관관계를 갖는다^[8]. 입력 데이터 주변을 특정 값으로 채워 늘리는 패딩과 필터가 이동할 간격을 조절하는 Stride를 적용하였을 때 출력되는 크기는 다음과 같이 정의된다.

\((O H, O W)=\left(\frac{H+2 P-F H}{S}+1, \frac{W+2 P-F W}{S}+1\right)\)        (4)

식(4)에서 (H,W)는 입력 크기를 나타내고 (FH,HW)는 필터 크기이며 (OH,OW)는 출력 크기를 나타낸다. 그리고 P는 패딩, S는 Stride를 나타낸다.

DenseNet은 레이아웃에서 특징 맵이 연속하여 병합되는 연결 방식을 갖는 것이 이전 모델들과 큰 차이점이다. DenseNet의 구조는 신경망의 깊이가 깊어질수록 입력 데이터에 대한 정보가 사라지는 문제를 방지하기 위해 특징 맵을 계속 쌓아간다. 이는 출력값과 실제 예측하고자 하는 값을 비교하여 가중치를 변경하는 작업인 Error Backpropagation의 효율을 극대화하여 학습을 쉽게 해준다. 또한, 신경망의 깊이 대비 적은 합성곱 필터를 사용하여 특징 맵에 대한 불필요한 학습이 없기 때문에, 이전 CNN 모델보다 파라미터 수가 적어 학습에 소모되는 시간을 단축할 수 있으며 파라미터가 많을 때의 문제점도 보완할 수 있다는 장점이 있다.

본 논문에서는 지정맥 인식과 딥러닝 알고리즘의 융합을 위해 그림 4와 같은 DenseNet 모델 중 DenseNet-201 을 사용하여 학습하고 결과를 분석한다.

그림 4. DenseNet 레이어 모델

Fig. 4. DenseNet layer model

Ⅳ. 지정맥 촬영환경 및 방법

본 장에서는 손가락에 전달되는 적외선의 세기와 방향에 따라 성능을 비교 분석하고 주변 환경의 가시광선 세기에 따라 성능을 비교 분석하기 위해 조건에 따라 환경을 구축하였다.

적외선 빛의 방향 및 양에 따른 실험은 그림 5와 같이 적외선 LED를 다르게 배치하여 진행된다. (a)는 양쪽에 모두 LED를 배치하되 앞부분에 여유 공간을 남기고 LED를 배치한 환경이며 (b)는 오른쪽에만 여유 공간을 두지 않고 적외선 LED를 끝까지 밀어 넣은 환경이다. 적외선 LED의 세기는 거리가 멀어질수록 약해지는 특성을 이용하여 성능을 비교하기 위해 (c)는 (b)와 달리 오른쪽에만 여유 공간을 두고 LED를 배치한 환경이며 (d)는 손가락에 입사되는 적외선이 평행뿐만 아니라 뚫린 공간에서 약하게 위에서 아래로 수직으로 입사될 경우의 성능을 비교하기 위해 지정맥 인식기의 왼쪽 위에 LED를 하나 올려놓은 환경이다.

그림 5. 적외선 빛의 변화에 따른 촬영환경

Fig. 5. photographing environment according to changes in infrared light

주변 환경 변화에 따른 실험은 다음 그림 6과 같이 지정맥 인식기는 총 8개의 실내 LED 조명 가운데 위치에 놓고 실내 LED 조명을 순차적으로 점등하여 지정맥 인식기에 도달하는 가시광선 세기의 따른 실험 환경을 구성하였다.

그림 6. 가시광선 세기에 따른 촬영환경

Fig. 6. photographing environment according to the intensity of visible light

표 3에서 실험 환경 1은 적외선 빛의 방향 및 양에 따른 실험을 말하며 실험 환경 2는 주변 환경 변화에 따른 실험을 말한다.

표 3. 실험 환경의 구성

Table 3. Configuration of the experiment environment

Ⅴ. 지정맥 인증 시뮬레이션 결과

지정맥 인증 시뮬레이션에 사용된 지정맥 이미지는 MMCBNU_6000^[9]의 데이터베이스를 사용한다. MMCBNU_6000은 전북대학교 멀티미디어 연구소에서 제작한 데이터베이스로, 100명의 사용자의 왼손과 오른손의 검지, 중지, 약지 손가락을 각각 10번씩 촬영하여 총 6, 000개의 손가락 이미지로 구성되어 있으며 640X480 해상도의 8비트 회색 이미지이다. 제작된 지정맥 인식기로 3명의 오른쪽 검지의 지정맥 이미지를 각 10개씩 획득하여 총 6, 030개의 데이터를 토대로 학습을 진행하였다.

Raspberry Pi에서 적외선 LED와 카메라 모듈을 제어하여 촬영하게 되면 다음 그림 7의 지정맥 이미지를 획득하게 된다.

그림 7. 획득한 지정맥 이미지

Fig. 7. Acquired finger vein image

각 환경에 따라 촬영된 지정맥 이미지들은 학습 데이터로 사용되고 결과로서 EER(Equal Error Rate)을 추출하여 결과를 비교 분석한다. EER은 타인 수락률을 의미하는 FAR(Fasle Access Rate)과 본인 거부율을 나타내는 FRR(False Rejection Rate)이 같아지는 순간의 평균 에러율을 의미한다^[10].

\(F A R=\frac{F P}{(F P+T N)}, F R R=\frac{F N}{(F N+T P)}\)        (5)

정답이 Positive이며 모델의 예측이 Negative일 경우 False Positive(FP), 정답과 모델의 예측 모두 Positive일 경우 True Positive(TP), 실제 False인 정답을 False라고 예측하는 경우 True Negative(TN), 실제 True인 정답을 False라고 예측하는 경우를 False Negative(FN)라고 할 때, FAR과 FRR은 다음 식(5)과 같이 정의된다.

1. 적외선 빛의 방향 및 양에 따른 실험 결과

앞서 말했듯이 지정맥 인식기는 총 8개의 적외선 LED 를 사용할 수 있다. 적외선 LED를 지정맥 인식기 안에서 다르게 배치하여 손가락에 전달되는 적외선의 세기와 방향에 따라 성능이 어떻게 나오는지 비교하여 성능을 분석하였다.

가. 적외선 빛의 변화에 따른 환경조건 1

그림 5의 (a)의 환경조건으로, 그림 8과 같이 지정맥인식기의 환경을 구성하여 양쪽의 8개의 적외선 LED로부터 근적외선이 손가락에 투영된다.

그림 8. 환경조건 1

Fig. 8. Environmental condition 1

그림 9는 적외선 빛의 변화 따른 환경조건 1번의 결과로 EER은 약 0.02%이다.

그림 9. 환경조건 1의 EER 성능

Fig. 9. EER performance of Environmental condition 1

나. 적외선 빛의 변화에 따른 환경조건 2

그림 5의 (b)의 환경조건으로, 그림 10과 같이 지정맥인식기의 환경을 구성하였다.

그림 10. 환경조건 2

Fig. 10. Environmental condition 2

그림 11은 적외선 빛의 변화 따른 환경조건 2번의 결과로 EER은 약 0.058%이다.

그림 11. 환경조건 2의 EER 성능

Fig. 11. EER performance of Environmental condition 2

다. 적외선 빛의 변화에 따른 환경조건 3

그림 5의 (c)의 환경조건으로, 그림 12와 같이 지정맥인식기의 환경을 구성하였다.

그림 12. 환경조건 3

Fig. 12. Environmental condition 3

그림 13은 적외선 빛의 변화 따른 환경조건 3번의 결과로 EER은 약 0.0002%이다.

그림 13. 환경조건 3의 EER 성능

Fig. 13. EER performance of Environmental condition 3 -165-

라. 적외선 빛의 변화에 따른 환경조건 4

그림 5의 (d)의 환경조건으로, 그림 14와 같이 지정맥인식기의 환경을 구성하였다.

그림 14. 환경조건 4

Fig. 14. Environmental condition 4

그림 15은 적외선 빛의 변화 따른 환경조건 4번의 결과로 EER은 약 0.01%이다.

그림 15. 환경조건 4의 EER 성능

Fig. 15. EER performance of Environmental condition 4

표 4에서 확인할 수 있듯이 DenseNet-201 모델로 학습하여 나온 데이터에서 EER를 추출한 결과, 오른쪽에만 적외선 LED를 배치하고 여유 공간을 둔 환경조건 3번의 EER이 약 0.0002 %로 가장 낮았다. 적외선 LED 가 가까울수록 손가락에 전달되는 적외선의 세기가 강해져 영상이 더욱 밝게 촬영된다. 그로 인해, 혈류가 선명하게 보이지 않아 EER이 더욱 높게 측정된다.

표 4. 빛의 변화 따른 성능(EER) 비교

Table 4. Comparison of performance (EER) according to the change of light

2. 주변 환경 변화에 따른 실험 결과

제작된 지정맥 인식기의 주변 환경이 성능에 어떤 영향을 미치는지 실험하기 위해 실내환경에서 LED 조명을 순차적으로 다르게 점등하여 가시광선에 의한 성능을 분석하였다. 적외선 LED 배치는 실험 환경 1에서 EER이가장 낮은 오른쪽에만 여유 공간을 두고 배치한 환경 조건 3번으로 테스트를 실행하였다.

가. 주변 환경에 따른 환경조건 1

실험 환경의 첫 번째 조건으로, 그림 16과 같이 실내의 모든 LED 등을 점등한 환경에서 지정맥 인식기로 촬영하였다.

그림 16. 주변 환경 1 (LED등 모두 점등)

Fig. 16. Surrounding environment 1 (all LED lights light up)

그림 17은 주변 환경에 따른 환경조건 1의 결과로, EER은 약 0.03%이다.

그림 17. 주변 환경 1의 EER 성능

Fig. 17. EER performance of Surrounding environment 1

나. 주변 환경에 따른 환경조건 2

실험 환경의 두 번째 조건으로 그림 18과 같이 실내의 한쪽만 점등하여 테스트하였다.

그림 18. 주변 환경 2 (한쪽만 점등)

Fig. 18. Surrounding environment 2 (light only one side)

주변 환경에 따른 환경조건 2의 결과는 그림 19과 같이 나타났으며 EER은 약 0.07%로 실내의 모든 LED 조명을 점등한 첫 번째 환경조건보다 약 0.04% 높게 나타냈다.

그림 19. 주변 환경 2의 EER 성능

Fig. 19. EER performance of Surrounding environment 2

다. 주변 환경에 따른 환경조건 3

실험 환경의 마지막 조건으로, 그림 20과 같이 실내의 모든 LED 조명을 소등한 상태에서 테스트하였다.

그림 20. 주변 환경 3 (모두 소등)

Fig. 20. Surrounding environment 3 (All lights out)

그림 21은 주변 환경에 따른 환경조건 3의 결과로, EER은 약 0.01%이다.

그림 21. 주변 환경 3의 EER 성능

Fig. 21. EER performance of Surrounding environment 3

표 5의 주변 환경에 따른 성능 그래프를 분석해 보면 주변 환경 즉, 가시광선이 가장 적은 모두 소등한 환경 조건 3번에서 EER이 0.001198%로 가장 작게 나왔다. 지정맥 인증기 특성상 실내에 설치되는 경우가 많으므로인증기에 도달하는 실내조명의 가시광선 세기에 따라 성능이 다르게 나타날 수 있으며 입사되는 가시광선이 적을수록 사용자를 정확히 인식하는 성능이 향상되는 것을 확인 가능하다.

표 5. 주변 환경에 따른 성능(EER) 비교

Table 5. Comparison of performance (EER) according to the surrounding environment

Ⅵ. 결론

생체인식 중 지정맥 인식은 높은 정확도, 편리성 그리고 높은 보안성으로 주목을 받고 있으며 최근에는 딥러닝을 활용한 생체인식 연구가 진행되고 있다. 본 논문에서는 지정맥 인식에 딥러닝을 활용하여 적외선, 가시광선과 같은 인식 성능에 직접적인 영향을 확인하기 위해 직접 환경을 구성하여 촬영 및 시뮬레이션 분석을 하였다. 시뮬레이션은 직접 설계 및 구현한 지정맥 인식기를 통해 얻은 지정맥 이미지와 함께 MMCBNU_6000 데이터베이스를 이용하였고 DenseNet-201의 딥러닝 알고리즘을 적용하여 수행하였다. 그 결과, 적외선 빛의 따른 환경 조건 3번에서 EER이 약 0.0002%로 가장 낮게 나타났으며 크게 환경조건 2번의 경우와 EER 성능 0.05% 정도 차이가 났다. 또한, 두 번째 실험에서 모든 실내 등을 소등하였을 때 EER이 0.01%로 가장 낮았고 한쪽만 점등하였을 때와 약 0.06% 성능 차이가 났다. 즉, 가시광선의 영향이 적을수록 정확도가 높아지지만 적외선의 경우 일정량 이상 또는 이하의 빛이 발생하면 EER 성능이 낮아지는 것을 확인할 수 있었다. 지정맥 인증에 최적화된 CNN을 적용해 더욱 정밀도 높은 정보를 제공할 수 있는 기술 고도화 연구를 계속할 예정이며 본 연구가 다양한 분야에서 응용될 수 있기를 기대한다.