Development of Template Compensation Algorithm for Interoperable Fingerprint Recognition using Taylor Series

테일러시리즈를 이용한 이기종 지문 센서 호환 템플릿 보정 알고리즘 개발

Abstract

Fingerprint sensor interoperability refers to the ability of a system to compensate for the variability introduced in the finger data of individual due to the deployment of different sensors. The purpose of this paper is the development of a compensation algorithm by which the interoperability of fingerprint recognition can be improved among various different fingerprint sensors. In this paper we show that a simple transformation derived to form a Taylor series expansion can be used in conjunction with a set of corresponding minutia points to improve the correspondence of finer fingerprint details within a fingerprint image. This is demonstrated by an applying the transformation to a database of fingerprint images and examining the minutiae match scores with and without the transformation. The EER of the proposed method was improved by average 60.94% better than before compensation.

이기종 지문센서 상호호환은 다른 센서 사용에 따른 각각의 지문 데이터의 변이성을 보상하기 위한 시스템의 능력을 말한다. 본 연구는 다양한 이기종 지문입력 센서의 호환을 위한 지문 특징점 보정 알고리즘 개발을 목적으로 한다. 제안한 보정 알고리즘은 테일러시리즈(Taylor Series) 전개식을 이용하여 서로 다른 센서로부터 획득된 이미지 간의 대응되는 특징점 사이의 변환식을 구하고, 이를 적용하여 이기종 센서간의 오차를 줄이는 방법이다. 도출한 테일러시리즈 변환 파라미터로 지문 특징점 템플릿을 변환하여 보정 전과 후의 결과를 실험하였다. 제안한 보정 알고리즘을 이용한 결과 보정 전보다 보정 후의 EER 에러가 전체적으로 60%이상 개선됨을 확인할 수 있다.

Ⅰ. 서론

바이오인식에서 사용되는 신체적 특성은 얼굴, 손 모양, 홍채, 망막, 손등정맥, 지문, 장문 등이 있고, 행동적 특성으로는 음성, 서명, 자판 사용 특성 등이 있다[1]. 초기 바이오인식 기술은 패스워드 대용의 많은 어플리케이션이 개발되었으나, 최근에는 국가 보안(homeland security) 관점에서 많은 관심의 대상이 되고 있다. 그 예로 2001년 9/11 테러사건 이후 미국의 US-VISIT이나 EU 국가들의 VIS-2 프로그램, 국제민간항공기구 ICAO의 전자여권, 국제노동자기구 ILO의 전자 선원수첩 등에 바이오인식을 이용하여 관리하고 있으며, 앞으로 그 활용 영역은 더욱 커질 것이다.

바이오인식 중에서 지문인식은 편의성 및 소형화의 장점을 가지고 있어 바이오인식 시장의 높은 점유율을 차지하고 있다. 그러나 현재 상용화 되어 있는 지문입력 센서는 영상획득 방식에 따라 광학식, 반도체식, CCD 센서, Thermal 센서, TFT 센서, 접촉 발광식 등으로 그 종류가 다양하며 동일한 방식으로 센싱한다하더라도 제조사마다 센서의 특성은 조금씩 다르고[2, 3], 인식 알고리즘의 경우 지문 특징점 기반이 대부분이지만 ridge- ount 방스][4], correlation 방식[5] 등과 같이 다양한 방식으로 기술을 개발하고 있기 때문에 이기종 지문입력 센서 간 호환성이 결여되고 있다.

이기종 지문입력 센서의 호환이 가능하기 위해서는 기본 호환성과 성능 호환성을 모두 만족해야 한다[6]. 기본 호환성은 다른 업체의 비교 시스템에 의해 처리될 수 있는 표준 데이터 포맷의 생성 능력과 이를 처리할 수 있는 비교 시스템의 인터페이스 능력을 말하며, 성능 호환성은 이기종 센서간의 인식 성능이 동종 센서 간의 인식 성능에 달성할 수 있는 알고리즘의 능력을 말한다. 따라서 인터페이스, 데이터 포맷, 알고리즘 호환이 모두 만족했을 때 다른 시스템과의 충분한 호환성을 가져갈 수 있다.

위와 같은 이기종 지문입력 센서 간 호환성을 테스트하기 위해서 국제노동자 기구 ILO에서는 해양 선원의 출입국 관리를 위한 이기종 지문입력 센서간의 호환성 평가를 실시하였고[7, 8], NIST에서는 MINEX04 (Minutiae Interoperability Exchange Test 2004)라는 호환성 평가를 위한 대회를 주체하였다[9]. 또한 ISO/IEC JTC₁/ C₃₇ 에서는 지문인식 상호호환을 위한 표준 데이터 포맷을 정의하고[10-13], 바이오인식 상호호환 평가를 위한 표준화를 진행하고 있다[6]. 그러나 ILO 해양 선원 출입국관리 호환성 평가는 인터페이스와 데이터 포맷을 준용하는 제품들 간의 호환성 평가로서, 단순히 제품들 간의 호환성 평가 결과만을 제시하였으며, MINEX04 평가는 지문 특징점 정보만 포함한 포맷과 특징점 외에 Ridge Count, Core, Delta 등의 부가적인 특징 정보를 포함 한 포맷에 대한 상호호환 인식 성능 평가 결과만을 제시하는데 그쳤다.

이후 이기종 지문입력 센서 간 인식 성능을 향상시키기 위해 Thin-Plate Spline 방법을 적용하여 왜곡을 모델링[14]하는 연구가 개발되었으나, 이는 기본 호환성을 고려하지 않고 인식 성능을 향상시키기 위한 방법이었으며, 또 다른 연구로는 SIF(Standard Interchange Format) 기반 해상도 보정과 제어라인을 이용한 보정 방법이 제안[15]되었으나, 제어라인을 이용한 보정 알고리즘은 지문 이미지가 대체적으로 수직, 수평 해상도의 비율이 대부분 1이기 때문에 보정 알고리즘의 인식성능에는 효과적이지 못하다.

본 연구에서는 이기종 지문 입력기에 의해 다양한 형태의 왜곡과 해상도로 획득된 지문 영상의 인식 성능을 높이기 위하여 해상도나 왜곡 정보의 분석 없이도 이기종 센서 간의 매칭 되는 보정 알고리즘을 제안한다. 제안하는 보정 알고리즘은 지문 특징점 추출 알고리즘에 의해 추출된 특징점 정보만을 이용하여 이기종 센서 간에 변환 파라미터 (transform parameter)를 구하여 모델링하고, 이를 이용하여 이기종 입력 센서 간 매칭 하는 방법으로 테일러시리즈(Taylor Series)를 이용하여 이기종 센서간의 오차를 줄이는 변환 방법이다. 이 방법은 템플릿 변환 방법과 영상 변환 방법으로 구분되는데, 본 논문에서는 특징점 템플릿 변환 방법에 초점을 둔다.

본 논문의 구성을 살펴보면 다음과 같다. 2장은 이기종 지문 센서 호환을 위한 지문 특징점 데이터 포맷에 대해 분석하고, 3장은 제안된 이기종간 지문 인증을 위한 보정 알고리즘을 설명한다. 그리고 4장에서는 보정알고리즘을 적용한 이기종 센서 간 호환성 평가를 분석한다.

Ⅱ.지문 특징점 데이터(Finger Minutiae Data) 국제 표준 포맷

바이오 데이터의 국제표준화를 위한 단체는 ISO/IEC JTC₁/SC₃₇(이하 “SC₃₇”)이다. SC₃₇에서는 바이오인식 기술에 대한 용어의 정의에서부터 사회적 요소에 이르기까지의 모든 표준화 영역을 다루고 있다. 이 중에서도 이기종 지문인식과 가장 관계가 깊은 그룹은 WG (Working Gorup) 3로 생체인식 데이터 포맷을 담당한다. 본 연구에서는 다양한 바이오인식 데이터 포맷 중에서 ISO/IEC JTC₁/SC₃₇ IS 19794-2μ0]의 지문 특징점 기반의 표준을 정의한다. 지문 특징점 데이터 포맷은 [표 1]과 같이 헤더와 특징점 데이터 필드, 그리고 확장 데이터 필드가 사용되고 있다. 영상의 크기 및 DPI 정보를 입력할 때 DPI는 cm당 픽셀수를 입력한다. Number of Finger View는 표준 템플릿을 구성하는데 사용된 모든 손가락의 수로 0~255 값을 가지며, 0 인 경우 하나의 손가락을 사용했음을 의미한다. 전자에 대한 설명은 특징점 레코드 헤더(Minutiae Record Header)이며, 이것에 연속하여 각각의 손가락에 대한 정보인 Single Finger Record Header가 정의된다. Finger Position, View Number, Impression Type, Finger Quality, Number of Minutiae가 그것이다. 각각의 손가락에 대한 헤더가 완성되면 추출된 특징점이 6 바이트의 데이터 정보로 구성되어 특징점의 개수만큼 더해지게 되는데 특징점의 위치를 위해 X, y 각각 2 바이트 씩, 방향은 1 바이트 그리고 특징점의 Quality를 위해 1 바이트가 해당 되며 특징점의 타입은 특징점의 X 위치를 위해 할당된 2 바이트 중 상위 2 비트를 사용하여 타입을 정의한다. 그리고 Extended Data에는 임의의 추가 필드로서 Ridge Count Data, Core and Delta Data 등의 정보를 추가로 포함 할 수 있는 헤더가 마련되어 있다.

(표 1) 지문 특징점 데이터 포맷[8]

본 연구에서는 이기종 센서간의 호환을 위해 [표 1] 의 지문 특징점 데이터 포맷을 이용하였으며, 이를 본연구에서는 이기종 상호호환 표준 포맷 (Standard Interchange Format), 즉 SIF라고 칭한다.

Ⅲ.보정 알고리즘 (Compensation Algorithm)

지문인식은 다른 바이오인식과 달리 바이오 정보를 취득하기 위해 센서의 입력면과 닿아야 한다는 것이다. 이는 손가락의 신축성(elasticity), 압력(pressure), 뒤틀림(distortion), 지문의 상태(disposition), 획득 시 움직임(motion) 등에 기인하여 여러가지 다양한 변형 (deformation)을 유발한다. 최근 들어 지문 획득 시 발생하는 지문 영상의 왜곡에 관한 연구가 활발히 진행되고 있다.

매칭에 있어서 동일 특징점 쌍을 찾은 다음 Thin- Plate Spline 방법을 적용하여 왜곡을 모델링하는 방법 [14, 16], FEM(Finite Element Method)을 이용하여 Linear Equation의 해를 찾음으로써 Elastic Deformation 의 Energy 분포의 통계치를 통하여 지문 영상에 발생하는 왜곡을 추정할 수 있다[17]. PSF(Point Spread Function)과의 Convolution을 통하여 두 지문 영상의 공통 영역에 대한 평균(Mean Local Stretch)과 영상의 차이 (Discrepancy) 등을 이용하여 Linear Model을 정의하는 방법[18], Affine Transfimm을 이용하는 방법은 초창기 왜곡 모델링을 위하여 도입된 방법이긴 했으나 Linear Model만 가능하여 정확성이 다소 떨어지는 단점이 있다. Rigid and Non-Rigid Transformation Techniquee 지문 영상의 중심 주위로 중심이 같은 세 개의 다른 영역을 선정하여 Non-Uniform Distortion을 모델링하고 Rigid와 Non-Rigid Transformation®] 조합을 이용하여 왜곡을 모델링 한匸丑19]. Covariance Matrix 를 이용하는 빙법[20]은 Linear Transformation에 민감하고 Non-Linear를 고려하지 않으며 연산 시간이 많이 걸리는 단점이 있다. 이를 보완하기 위하여 Bending Energy를 이용하는 방법[21]등이 연구되어 왔다.

본 장에서는 이기종 지문 입력기에 의해 다양한 형태의 왜곡과 해상도로 획득된 지문 영상의 인식 성능을 높이기 위하여, 해상도나 왜곡 정보의 분석 없이도 이기종 센서 간의 매칭 되는 보정 알고리즘을 제안한다. 본연구의 실험 절차는 [그림 과 같이 동일 손가락 지문 영상을 각 지문 센서로부터 획득하고, SIF용 지문 특징점 주줄 알고리즘(minutiae extraction algorithm)에 의해 추출된 템플릿을 정합(matching)한다. 이때 정합시인증(verification)을 위한 템플릿은 해당 센서 간 테일러 시리즈 기반 변환 파라미터를 이용하여 템플릿을 변환하고, 변환된 템플릿은 등록(enrollment) 템플릿과 정합한다.

(그림 1) 테일러시리즈 기반 보정 알고리즘 개념도

3.1. 테일러시리즈 기반 변환 알고리즘

이기종 지문 인식 시스템에서 임의의 센서를 통하여 등록된 템플릿을 ^Template)라하고, 새로 입력하는 임의의 다른 센서로부터의 입력 템플릿을 /(Input)라고정의한다. 이때 Z에 등록된 특징점의 좌표를 (%。)라 하고, /에서 추출한 특징점의 좌표를 S®)라고 정의하였을 때, 본 연구에서 개발한 테일러시리즈 보정 알고리즘은 /의 특징점이 7의 동일한 특징점으로 변환하는 변환파라미터를 구하는 과정이라 할 수 있다. 이때 7에 등록된 특징점의 개수가 p개, /에서 추출한 특징점의 개수가 q라고 할 때, 등록된 템플릿 특징점 집합 咚와 추출한 템플릿 특징점 집합 场사이에 대응되는 동일 특징점 쌍의 특징점의 개수를 s이라고 정의한다. 이를 수식으로 간략히 표현하면 식 (3-1)과 같으며, 본 보정알고리즘은 식 (3-2)와 같이 변환 함수 f와 g를 구하면 된다.

#(3-1)

#(3-2)

테일러 시리즈의 정의를 살펴보면 식 (3-3)과 같으며, 이를 변환 좌표 에 대하여 다시 정리하면 식 (3-4), (3-5)와 같이 표현할 수 있다. 이를 다시 간단한 다항식 형태로 표현하면 식 (3-6)과 같으며, 이를 행렬식을 이용하여 표현하면 식 (3-7)과 같다.

#(3-3)

#(3-4)

#(3-5)

#(3-6)

#(3-7)

식 (3-7)의 결과를 등록 템플릿과 입력 영상으로부터 추출된 템플릿과의 변환 파라미터로 표현하면 식 (3-8)과같다. 이때 W는 u와 V로 표현되는 벡터이며, G는 2x2 단위행렬과 테일러시리즈 계수 행렬과의 Kronecker Product 연산의 결과이다. 따라서 W와 Gt 알려진 파라미터가 되며 보정을 위해 구해야 하는 변환 파라미터는 z가 되는데 이는 역행렬을 이용하여 구할 수 있다.

#(3-8)

변환 파라미터 Z를 구하기 위해 역행렬을 이용하여 구하게 되는데 2차의 테일러시리즈를 이용할 경우 여섯 개의 특징점만 있으면 역행렬을 이용하여 원하는 변환파라미터를 구할 수 있다. 이때는 시스템 측면에서 봤을 때 Exactly Determined System이 되기 때문에 식 (3-9) 와 같이 역행렬을 구하면 되는데, 실제 문제에서는 동일 특징점 쌍이 여섯 개 이상이 존재하게 됨으로 Over Determined System0] 된다. 따라서 이 경우에는 식 (3-10)을 무어 펜로즈 역행렬(Moore-Penrose Inverse Matrix) 수식을 이용하여 변환 파라미터 z를 구할 수 있다.

#(3-9)

#(3-10)

3.2. 테일러시리즈 변환 파리미터를 이용한 템플릿 보정 방법

본 절에서는 앞서 설명한 테일러시리즈 기반 변환 알고리즘을 이용하여 변환 파라미터를 구하여 템플릿 보정하는 방법에 대해서 설명한다. 먼저 이기종 지문 입력 센서 간의 왜곡(distortion)을 구하기 위해 [그림 2]와 같이 한 샘플로부터 여러 쌍의 대응 특징점 (Minutiae correspondence point)을 구하고, 테일러시리즈 기반 변환 알고리즘을 이용하여 변환 파라미터를 구할 수 있다. 이때, 한 쌍의 샘플로부터 구한 파라미터를 다른 모든 샘플에 적용하는 것은 큰 보정 에러를 감수해야 하는 결과를 가져온다. 따라서 여러 샘플의 대응 특징점 변환파라미터를 구함으로써 센서의 전반적 특성을 반영하면서 에러가 적은 변환 파라미터를 구할 수 있다. 따라서 본 연구에서는 [그림 3]과 같이 여러 샘플의 대응 특징점 변환 파라미터를 구하여 이들의 평균치를 사용함으로써 보다 신뢰성 있는 평균 테일러시리즈 변환 파라미터 (Average Taylor Series Transformation Parameter) 를 구하였다. 평균 테일러시리즈 변환 파라미터는 지문 이미지 및 특징점 모두에 적용할 수 있으나, 본 연구에서는 특징점 템플릿 변환에 초점을 두어 템플릿 변환만 실험한다.

[그림 2] 이기종 지문 영상 사아의 대응 지문 특징점

[그림 3] 평균 테일러시리즈 파라미터 계수 계산

Ⅳ.이기종 지문입력 센서간 호환성 평가 실험

이기종 센서의 호환을 위한 보정 알고리즘 평가를 위하여 다양한 지문입력 센서로부터 지문 이미지 데이터베이스를 구축하였다. 본 절에서는 실험에 사용한 데이터베이스를 소개하고, 개발한 보정 알고리즘의 호환성 평가 결과에 대해 고찰한다.

4.1.성능 평가용 데이터베이스

본 연구에서는 이기종간의 지문인식 알고리즘을 개발하기 위하여 국내·외 지문인식 업체 6개의 센서 (Digent,FPC, Secutronix, Testech, UPEK Unioncommunity)를 이용하여 양손의 엄지, 검지, 중지 6지에 대하여 5회씩 다섯 번 방문하여 총 25회의 지문 영상을 100명으로부터 수집하였다. 다음의 [표 2]는 본 연구에서 구축한 지문 데이터베이스 사양에 대한 요약으로, 다양한 센서 타입(sensor type)과 이미지 사이즈(image size), 해상도(resolution)로 수집되었다.

[표 2] 이기종 지문인식 성능 평가용 데이터베이스 사양

4.2.실험 방법 및 결과

본 연구의 보정 실험 절차는 [그림 4]와 같이 각 센서로 부터 출력된 지문 이미지로부터 특징점 추출 알고리즘을 이용하여 SIF를 획득하고, 매칭 알고리즘을 이용해 정합 결과를 평가한다. 매칭 실험은 총 3개로 분류되어 실험되는데, 매칭 1은 SIF 보정 전(before compensation)의 매칭 실험이고, 매칭 2, 3은 보정 후(after compensation) 의 실험으로 테일러시리즈 차수에 따른 보정 파라미터를 적용하여 보정된 템플릿 매칭 실험이다. 따라서 본 연구에서는 보정 전과 보정 후의 성능 변화를 평가하는데 주안점을 두었으며, 테일러시리즈 차수(order)에 따른 1차, 2차 정합 결과를 확인하였다. 다음 [표 3]은 보정 알고리즘 호환성 성능 평가 항목인 EER(Equal Error Rate)의 결과이며, 이기종 지문 센서 간 보정 전, 보정 후의 결과를 나타내었다.

[그림 4] 템플릿 보정 실험 절차

[표 3] 보정 알고리즘의 호환성 성능 평가 (EER)

실험 결과를 분석하면 템플릿 보정 전 매칭 결과는 평균 12.97%, 테 일러시리즈 변환 보정 후 매칭 결과는 1차 보정일 경우 평균 8.28%, 2차의 경우 4.95%로 에러가 감소함을 알 수 있다. 특히 Sensor 2, 3, 4의 경우 이미지 사이즈, 해상도 및 타입이 다른 센서에 비해 크게 차이가 나는데, 이 경우 보정 전 보다 보정 후의 결과가 다른 센서 매칭 결과보다 더 많은 에러가 감소됨을 확인 할 수 있었다. 그리고 테 일러시리즈 1차 변환 결과에서 등록 센서 3과 테스트 센서 1의 경우 보정 후(13.22%)가 보정 전(5.33%)보다 오히려 나쁘게 나온 결과를 볼 수 있는데, 이는 보정 계수인 평균 테일러시리즈 변환 보정 파라미터가 잘못 계산되어 에러를 증가시켰음을 예상한다. 이는 2차 결과에서 보정 전(5.33%)보다 보정 후(3.27%)로 에러가 감소한 결과를 보고 예측할 수 있다.

Ⅴ. 결론

본 연구에서는 이기종 지문 입력기에 의해 다양한 형태의 왜곡과 해상도로 획득된 지문 영상의 인식 성능을 높이기 위하여 테일러시리즈 기반 변환 파라미터를 구하여, 이를 지문 특징점 템플릿 보정에 적용함으로서 이기종 센서간의 오차를 줄이는 실험을 하였다. 테일러 시리즈 기반 변환 보정 알고리즘은 해상도나 왜곡 정보의 분석 없이도 이기종 센서간의 매칭이 되는 보정 기술로서, 테일러시리즈 차수에 따라서 선형(linear, 1차) 및 비선형(non-linear, 2차) 보정 변환이 가능하다. 선형 보정은 구현이 간단하지만 매칭 결과(8.28%)가 좋지 않으며, 비선형 보정은 구현이 1차에 비해 복잡하지만 매칭결과<4.95%)로 비교적 좋은 결과를 보인다.

이에 본 연구에서는 국제 표준 지문 템플릿 포맷을 준용함으로서 기본 호환성을 만족하는 동시에, 제안한 변환 방법을 이용하여 성능 호환성도 만족할 수 있었다. 그러나 제안한 변환 방법을 이용하여 보정 전 보다 큰 오차를 줄 일 수 있었으나, 아직까지 동종 간 매칭의 결과<0.89%)보다 이기종간의 매칭 결과(4.95%)가 많은 에러를 갖고 있음을 알 수 있다. 또한 앞서 실험 결과에서 분석한 것과 같이 보다 정확하고 신뢰 할 수 있는 평균 테일러시리즈 변환 보정 파라미터를 도출 할 수 있어야만 현재의 결과보다 더 향상된 결과를 기대할 수 있을 것이다. 따라서 향후 연구로 정확한 파라미터 도출에 관한 연구가 필요하다.

본 연구를 통해 이기종 지문 인식 시스템 통합 시 요구되어지는 비용을 최소화하고 최종 사용자의 편의성을 도모할 수 있으며, 나아가 국가 간 바이오 정보 공유 및 출입국 관리 시스템에 적용하기에도 유용할 것이다.

* 본 연구는 중소기업청 지원의 연구결과로 수행하였습니다.