Person Recognition using Ocular Image based on BRISK

BRISK 기반의 눈 영상을 이용한 사람 인식

Abstract

Ocular region recently emerged as a new biometric trait for overcoming the limitations of iris recognition performance at the situation that cannot expect high user cooperation, because the acquisition of an ocular image does not require high user cooperation and close capture unlike an iris image. This study proposes a new method for ocular image recognition based on BRISK (binary robust invariant scalable keypoints). It uses the distance ratio of the two nearest neighbors to improve the accuracy of the detection of corresponding keypoint pairs, and it also uses geometric constraint for eliminating incorrect keypoint pairs. Experiments for evaluating the validity the proposed method were performed on MMU public database. The person recognition rate on left and right ocular image datasets showed 91.1% and 90.6% respectively. The performance represents about 5% higher accuracy than the SIFT-based method which has been widely used in a biometric field.

1. 서 론

개인의 신체적(physiological) 특징이나 행위적(behavioral) 특징을 이용하여 개인을 식별하는 생체인식(biometrics)에 대한 연구가 활발하게 이루어지고 있다. 지문과 얼굴은 오래전부터 사람을 식별하는 생체정보로 사용되어 왔으며, 장문(palmprint), 정맥(vein), 귀(ear), 홍채(iris) 등의 신체적 특징은 물론 걸음걸이(gait), 입술의 움직임(lip motion) 등의 다양한 생체정보로 연구 영역이 확대되고 있다[1].

홍채는 지문과 함께 유일성(uniqueness)이 매우 우수한 것으로 알려져 있다. 홍채를 인식하기 위해서는 눈 영상에서 홍채를 분할하는 전처리 과정이 필수적이다[2,3]. 그런데 눈꺼풀에 의해 홍채의 일부가 가려지면 정보의 손실은 물론 홍채 분할의 성능이 저하된다. 또한 조명 반사에 의해 홍채 영역에 결함(artifact)이 생기거나 속눈썹에 의해 홍채 정보에 왜곡이 발생하면 인식의 정확도가 떨어지게 된다[4]. 본 연구는 사람을 식별할 수 있는 생체정보로 눈 영역(ocular region)은 이용한다. 눈 영역은 눈(eye)과 눈꺼풀(eyelid), 그리고 인근의 피부를 포함한 영역으로 눈 주변 영역(periocular region)이라고도 하며, 눈썹(eyebrow)까지 포함하기도 한다[5,6]. 눈 영역은 홍채를 포함한 넓은 영역을 이용하기 때문에 홍채에 나타나는 국부적인 결함이나 왜곡에 보다 강인한 특성을 갖는다[7]. 또한 근접 촬영을 하는 홍채와는 달리 얼굴 영상에서 해당 영역을 추출하여 인식하므로 자연스러운 생체정보 획득이 가능한 이점이 있다.

눈 영역에 나타나는 텍스처의 특징을 기술하기 위하여 기존의 여러 연구들은 LBP(local bninary pattern)를 이용하였다. LBP는 텍스처 분류를 위하여 Ojala 외[8]가 제안한 패턴 기술 방법으로, 텍스처 분류뿐만 아니라 얼굴이나 장문 인식 등에도 널리 이용되어 왔다. Miller 외[9]는 LBP 히스토그램을 눈 영역 인식에 적용하여 그 효과성을 확인하였으며, Mahalingam 외[10]는 LBP의 텍스처 기술 방법을 확장한 H-3P-LBP (hierarchical 3-patch LBP)를 제안하였다. H-3P-LBP는 포인트 기반의 LBP를 패치(patch) 기반으로 확장한 3-P-LBP를 다중 스케일로 확장한 것으로 눈 영역 인식에 적용하였을 때 LBP에 비하여 인식률이 크게 향상된 결과를 나타내었다. 또한 LBP 기반의 텍스처 특징과 함께 컬러 히스토그램을 이용하거나[11], Walsh 매스크나 Gabor 필터로 입력 영상을 변환한 후 LBP를 적용하여 인식 성능을 개선하였다[12].

Pauca 외[13]는 Lowe[14]가 제안한 SIFT(scale invariant feature transform) 알고리즘을 눈 영역 인식에 적용하였다. 이 방식은 크기 및 회전 변형에 강인한 SIFT 키포인트를 중심으로 정의되는 패치의 국부 특성을 비교하므로, 관심 영역에 대한 정렬(alignment) 없이 정합이 가능한 장점이 있다. SIFT 특징에 부가적으로 GOH(gradient orientation histogram)와 LBP 정보를 결합한 Park 외[5]의 연구에서는 관심 영역의 정렬을 위해 홍채의 중심(iris center)을 이용하였다. 그런데 홍채는 시선에 따라 위치가 변하기 때문에 이러한 점을 개선하기 위하여 Ross 외[15]는 눈의 중심(eye center)을 이용하는 정렬 방식을 제시하였다. GOH, LBP, SIFT 등 여러 특징을 적용하여 눈 영역에 대한 인식 성능을 비교한 연구들에 따르면 SIFT가 GOH나 LBP에 비해 높은 인식률을 나타내었고, LBP와 SIFT를 결합하여 성능이 더욱 개선됨을 보고하였다[5,16].

키포인트 기반의 눈 영역 인식 방식은 홍채나 눈의 중심을 검출하는 과정에서 발생하는 오류를 원천적으로 해소할 수 있고, 크기 및 회전 변형에도 강인한 특징 추출이 가능하다. 이러한 장점에 착안하여 본 연구에서는 BRISK(binary robust invariant scalable keypoints)[17]를 이용하여 눈 영역을 인식하는 방법을 제안한다. BRISK는 회전 및 크기에 불변하는 키포인트 추출이 가능하며, 추출된 키포인트의 반복성이 우수한 것으로 알려져 있다. 그러나 아직까지 생체인식 분야에 적용되지 않았다. 본 논문의 구성은 다음과 같다. 2장에서는 BRISK를 이용한 키포인트 검출의 기본 원리와 특징 기술자에 대하여 설명하고, 3장에서는 BRISK를 눈 영역 인식에 적용할 때 필요한 키포인트 대응 쌍 검출 및 정합 방법에 대하여 기술한다. 그리고 4장에서는 공개된 데이터베이스를 이용한 실험 결과를 제시하고, 이에 대한 분석을 통하여 제안된 방법의 타당성을 제시한다. 마지막으로 5장에서 결론과 향후 과제를 제시한다.

 

2. BRISK의 이론적 배경

2.1 BRISK 키포인트 추출

BRISK 키포인트는 스케일 공간에서 추출된다[17]. 스케일 공간의 피라미드 층은 n개의 옥타브 ci와 n개의 인트라옥타브 di로 구성되며, 보통 n=4 이다. 옥타브는 원 영상 c0를 계속적으로 절반 샘플링(half-sampling)하여 얻는다. 각 인트라옥타브 di는 옥타브 ci와 ci+1 사이에 위치하는데, 첫 번째 인트라 옥타브 d0는 원 영상 c0를 1.5로 다운샘플링하여 얻고, 나머지는 d0를 계속적으로 절반 샘플링하여 얻는다.

각 옥타브와 인트라옥타브에서 잠재적인 특징 영역을 탐색하기 위하여 FAST 9-16 검출기[18]를 이용한다. FAST 9-16 검출기는 중심 화소의 명도 값 Ip와 원주 상의 16개 주변 화소의 명도 값 Ip→x을 비교하여 주변 화소가 9개 이상 연속해서 d이거나 b인 영역을 선택하게 된다. 식 (1)에서 x∈1..16이고, t는 주변 화소가 중심 화소에 비하여 충분히 어둡거나 밝은지를 판단하기 위한 임계값이다.

잠재적인 특징 영역에 속하는 화소들은 스케일 공간에서 비최대화 억제(non-maximum supression)가 이루어진다. 비최대화 억제는 두 단계로 이루어지는데, 첫 단계는 동일 층에서 8-이웃과 비교하여 FAST 점수가 최대가 아니면 억제된다. FAST 점수는 FAST 9-16에 의해 코너점이 유지되는 최대 임계값으로 정의된다. 두 번째 단계는 이웃한 상하위 층의 화소들과 비교하여 최대가 아니면 억제된다.

비최대화 억제에 의해 최대 점수를 갖는 화소가 검출되면 이 화소를 중심으로 연속된 3개 층에 3×3 패치로 정교화 된 점수를 구하고, 이를 이용하여 스케일 공간 축으로 1차원 포물선을 구하여 보간에 의한 최대 점수와 스케일을 결정한다. 이를 통해 마지막으로 보간에 의한 최대 점수를 나타내는 키포인트의 위치를 부화소(sub-pixel)와 연속 스케일 공간에서 재보간하여 산출한다.

2.2 BRISK 특징 기술자

BRISK 특징 기술자는 키포인트를 중심으로 Fig. 1에 제시된 패턴에 따라 주변 화소와의 명도 값 비교에 의해 상대적으로 밝고 어두움을 나타내는 이진 값을 나열한 512비트의 이진 스트링으로 이루어진다. 화소간의 명도 값 비교는 계단 효과(aliasing effect)나 잡영에 의한 영향을 줄이기 위하여 포인트 pi의 명도 값을 이용하는 대신에 pi 를 둘러싼 원의 크기에 비례하는 분산 σi으로 가우시안 스무딩한 명도 값 I (pi, σi ) 를 이용한다.

Fig. 1.The BRISK sampling pattern with N=60 points (scale s =1).

포인트가 N 개 이면, 총 N (N - 1)/2 개의 포인트 쌍 (pi, pj ) 이 존재한다. 그런데 모든 포인트 쌍이 BRISK 특징을 기술하는 이진 스트링으로 사용되는 것은 아니다. 두 포인트 간의 거리가 δmax보다 작은 근거리 포인트 쌍들의 집합 S 와 두 포인트 간의 거리가 δmin보다 큰 원거리 포인트 쌍들의 집합 L 로 나눌 수 있는데, 식 (2)와 같이 이진 스트링은 근거리 포인트 쌍들 간의 비교만으로 이루어진다. 식 (2)에서 α 는 방향 정규화를 위한 회전각을 의미한다. 임계값은 δmax, δmin은 각각 9.75s , 13.67s 로 s 는 키포인트의 스케일을 나타낸다.

방향 정규화는 회전에 무관한 특징을 추출하기 위한 것으로, 회전각 α는 키포인트를 중심으로 정의된 패치의 주방향(characteristic direction)을 나타낸다. 주방향은 식 (3)에 제시된 바와 같이 원거리 포인트 쌍에 대한 그레이디언트 g(pi, pj ) 의 평균값으로 얻는다.

 

3. 눈 영상에의 적용

눈 영상을 이용하여 사람을 인식하는 전체적인 과정은 Fig. 2와 같다. 인식을 위해서는 먼저 인식 대상이 되는 사람들의 눈 영상으로부터 생체정보를 추출하여 데이터베이스를 구축해야 한다. 눈 영상으로부터 BRISK 키포인트를 추출하고, 키포인트를 중심으로 BRISK 특징 기술자에 의해 얻어진 특징벡터를 데이터베이스에 저장한다. 이후 인식 대상이 되는 눈 영상이 입력되면 동일한 처리 과정을 거쳐 특징벡터를 추출하고 이것을 생체정보 데이터베이스에 구축된 특징벡터들과 비교하여 인식을 수행하게 된다.

Fig. 2.Overall process of ocular recognition.

3.1 키포인트 추출

FAST 9-16 검출기는 식 (1)에 제시된 바와 같이 중심 화소와 주변 화소간의 명도 값의 차이가 충분히 큰지를 판단하기 위하여 임계값 t를 이용한다. Fig. 3은 눈 영상에 적용하여 추출한 BRISK 키포인트를 나타낸 것으로, 임계값 t가 커지면 검출되는 키포인트의 개수가 적어짐을 알 수 있다. t가 40보다 큰 경우에 검출된 키포인트는 주로 눈꺼풀(eyelid)에 나타나 있으나, t가 20인 경우에는 홍채 영역의 키포인트도 검출이 가능하므로 본 연구에서는 t = 20으로 설정하여 BRISK 키포인트를 추출한다.

Fig. 3Extracted keypoints with three different thresholds.

3.2 대응되는 키포인트 검출

BRISK 특징 기술자는 512비트의 이진 스트링으로 특징벡터를 구성한다. 일반적으로 질의영상 Iq 와 참조영상 Ir에서 추출한 키포인트의 개수와 위치는 동일하지 않기 때문에 특징벡터를 비교하기 위해서는 우선 질의영상에서 추출한 키포인트 Kq에 대응되는 참조영상의 키포인트 Kr를 찾아야 한다. BRISK 를 제안한 Leutenegger 외[17]의 연구에서는 두 특징벡터 간의 거리가 임계값보다 작으면 두 키포인트쌍이 대응되는 것으로 판단하였다. 이 방식은 처리속도는 빠르나 눈 영상 인식에 적용하였을 때 성능이 좋지 않게 나타나, 본 연구에서는 특징벡터 간의 거리가 가장 가까운 두 최근접 거리의 비율을 이용하는 방식을 적용하였다[19]. 키포인트 Kq와 Kr로부터 생성된 두 특징벡터 Vq와 Vr간의 거리는 식 (4)에 제시된 해밍거리(Hamming distance)를 이용한다. 해밍거리는 특징벡터를 구성하는 비트 스트링을 XOR 연산을 통해 빠르게 계산할 수 있다.

특징벡터 간의 해밍거리를 이용하여 질의영상의 키포인트 Kq와 특징거리가 가장 가까운 두 키포인트 를 찾은 후, 식 (5)에 제시된 바와 같이 두 최근접 특징거리의 비율 r이 임계값 tr보다 작으면 해당 키포인트를 대응되는 키포인트로 판단한다. r은 0과 1사이의 값을 갖게 되는데, r이 0에 가까울수록 키포인트 Kq 가 참조영상의 여러 키포인트들 중 두드러지게 와 유사도가 높음을 나타낸다. 반대로 r이 1에 가깝다는 것은 두 키포인트에 의미 있는 차이가 없음을 의미한다.

3.3 눈 영상 정합

두 눈 영상이 동일인이 것이라면 대응되는 키포인트의 개수가 많이 나타나고, 그렇지 않다면 키포인트는 상대적으로 적게 나타난다. 따라서 두 영상간의 유사도 점수는 대응되는 키포인트의 개수로 나타낼 수 있다. Fig. 4의 (a)는 동일인의 눈 영상을 비교한 결과이고, Fig. 4의 (b)는 타인의 눈 영상을 비교한 결과이다.

Fig. 4Corresponding keypoint pairs.

대응되는 키포인트들 중 일부는 키포인트의 대응이 잘못 이루어진 거짓 대응 쌍이 존재한다. Fig. 5는 회전 변형이 발생한 동일인의 눈 영상을 비교한 결과로, Fig. 5-(a)에 거짓 대응 쌍을 쉽게 알아볼 수 있도록 거짓 대응 쌍 두 개를 골라 화살표로 표시하였다. 눈의 위치나 회전 변형이 발생하더라도 대응되는 키포인트의 위치는 원래 위치에서 크게 벗어나지 않기 때문에, 대응되는 키포인트의 공간적 위치 정보를 이용하면 이러한 거짓 대응 쌍을 제거할 수 있다. 즉 대응되는 키포인트는 가까운 거리에 위치할 것이므로 대응되는 두 키포인트 간의 거리에 제약을 두어 거짓 대응 쌍을 제거한다.

Fig. 5.Corresponding keypoint pairs detected by three different geometric constraints.

Fig. 5-(a)는 키포인트 대응 쌍에 대한 거리 제한을 두지 않은 상태이고, (b)는 거리 제약에 의해 거짓 대응 쌍 (Kq1, Kr1 ), (Kq2, Kr2 )이 제거된 것을 보여주고 있다. (c)는 거리 제약이 너무 강하여 상당수의 참대응 쌍까지 제거되는 역효과가 나타난 상태이다. 이와 같이 거리 제약을 너무 강하게 하면 거짓 대응쌍뿐만 아니라 참 대응 쌍까지 제거되며, 거리 제약이 없거나 너무 약하면 거짓 대응쌍이 다수 나타나게 된다. 실제 구현에서는 대응 쌍 검출을 수행한 후 거리 제약에 의하여 멀리 벗어나 있는 대응 쌍을 제거하는 대신에, 일정 거리 이내에 존재하는 키포인트만을 비교하여 대응되는 키포인트를 검출함으로써 특징벡터를 비교하는데 소요되는 시간을 줄이도록 하였다.

 

4. 실험 결과 및 분석

4.1 실험 데이터

눈 영상 인식에 대한 제안된 방법의 타당성을 검증하기 위하여 연구 목적으로 공개된 MMU 데이터 베이스[20]를 이용하였다. 이 데이터베이스는 아시아, 중동, 아프리카, 유럽인 45명의 좌우 눈 영상 5개씩 총 450개로 구성되어 있으며, 영상의 해상도는 320×240이다. Fig. 6은 왼쪽 눈 영상을 예시한 것으로, 눈이 영상의 중앙에 위치해 있지 않을 뿐만 아니라 회전 변형이 나타나 있음을 알 수 있다.

Fig. 6.Sample ocular images from MMU database.

4.2 인식 성능 측정

제안된 방법의 인식 성능을 측정하기 위하여 MMU 데이터베이스에서 첫 번째 영상을 참조 영상으로 선택하고, 나머지 영상들을 질의 영상으로 설정하여 눈 영상에 대한 인식 실험을 수행하였다. 개인식별은 질의 영상과 동일인의 것으로 추정되는 참조영상을 찾아내는 것으로, 질의 영상을 전체 참조 영상과 비교하여 상위 N 개의 후보에 올바른 인식 결과가 포함되는 비율인 rank-N으로 인식 성능을 측정하였다.

키포인트 쌍을 검출하기 위해서는 식 (5)의 임계값 tr을 적절하게 설정하여야 한다. tr은 0과 1사이의 값을 갖는데, tr이 작아질수록 키포인트 쌍을 검출하기 위한 정합 조건이 엄격해짐을 의미한다. 즉 tr 을 작게 설정하면 거짓 대응 쌍을 줄일 수 있지만 참대응 쌍까지 제거될 가능성도 함께 증가한다. 실험을 통하여 적절한 임계값을 탐색한 결과 tr이 0.7이나 0.8일 때 키포인트 대응 쌍 검출이 효과적으로 이루어졌다. Table 1은 공간적인 거리 제약을 가하지 않고 키포인트 대응 쌍의 개수를 산출하여 인식 성능을 측정한 것이다.

Table 1.Ocular recognition results based on BRISK

Fig. 7은 대응되는 키포인트 쌍을 검출할 때 공간적인 거리 제약을 달리 설정하여 얻은 누적정합특성(CMC, Cumulative Matching Characteristic) 그래프이다. 거리 제약을 전혀 가하지 않은 경우와 거리 제약을 눈 영상 높이의 1/4, 1/3, 1/2로 변화시켜 가면서 실험한 결과 1/2로 설정한 경우가 전반적으로 우수한 성능을 보였으며, 1순위 인식률이 91.1%로 나타났다. 오른쪽 눈 영상도 유사한 특성을 보였으며, 1순위 인식률은 90.6%였다.

Fig. 7.CMC curves with different geometric constraints.

영상의 해상도가 인식 성능에 어떤 영항을 미치는지 알아보기 위하여 눈 영상의 해상도를 75%, 50%, 25%로 줄여가면서 실험을 수행하였다. Fig. 8에 제시된 바와 같이 영상의 해상도를 낮추면 인식률 저하가 발생하는데, 해상도를 75%로 낮추거나 50%로 낮추거나 인식 성능의 차이는 크지 않았다. 그러나 해상도를 원 영상의 1/4 크기 즉, 25%로 낮추었을 때 인식률은 급격히 저하되는 것으로 나타났다.

Fig. 8.CMC curves with different image resolutions.

4.3 인식 성능 비교

눈 영상 인식에 대한 성능은 사용된 특징 추출 및 정합 방법뿐만 아니라 실험에 사용된 데이터베이스, 참조 영상과 질의 영상의 선택 등 다양한 요소에 의하여 결정된다. 따라서 정확하게 인식 성능을 비교하기 위해서는 동일한 실험 조건을 갖추어야 한다. 그러나 공개된 데이터베이스라 하더라고 자료 획득이 용이하지 않고, 아직까지 눈 영상 인식을 위한 데이터베이스가 독립적으로 존재하는 것이 아니라 얼굴이나 홍채 인식을 위해 제작된 영상에서 눈 영역을 추출하여 사용하고 있기 때문에 직접적인 비교 결과를 얻기가 더욱 어려운 실정이다. Table 2는 눈 영상인식에 대한 기존 연구결과들을 정리한 것으로, 눈영상을 이용하여 사람을 인식할 수 있는 성능이 어느 정도에 도달해 있는지를 가늠할 수 있다. 그리고 사용된 특징추출 방법에 따른 상대적인 성능 비교가 가능하다.

Table 2.Overview of the relevant ocular recognition methods

Table 2에서 L(left), R(right), B(both)는 각각 왼쪽 눈 영상, 오른 쪽 눈 영상, 양쪽 눈이 모두 포함된 영상에 대한 실험결과를 의미한다. 그리고 ‘L or R’은 왼쪽 눈과 오른 쪽 눈을 구분하지 않고 전체를 통합하여 인식한 결과를 나타내고, ‘Same’은 왼쪽 눈, 오른 쪽 눈을 두 그룹으로 구분하여 인식한 결과를 의미한다. Park 외[5]의 실험 결과를 보면 SIFT가 GOH나 LBP 보다 우수한 것으로 나타나 있다. 본 연구에서는 제안된 눈 영상 인식 방법을 SIFT 방식과 비교하기 위하여 OpenCV 라이브러리를 이용하여 구현하였다. 대응되는 키포인트 쌍을 검출하기 위한 임계값(tr = 0.7)과 거리 제약(영상 높이의 1/2)을 동일하게 설정하여 눈 영상에 대한 인식 실험을 수행하였다. Table 3은 1순위, 3순위, 5순위까지의 누적 인식률을 정리한 것으로, BRISK 방식이 SIFT 방식에 비하여 1순위 인식률이 약 5% 포인트 정도 높게 나타나 BRISK를 이용한 눈 영상 인식 방법이 효과적임을 확인할 수 있었다.

Table 3.Comparison of ocular recognition results

 

5. 결 론

눈 영상을 이용하여 사람을 식별하는 연구는 다른 생체정보에 비하여 비교적 최근에 연구가 시작되었다. 눈 영역은 얼굴에서 사람을 구별할 수 있는 주요 정보가 많이 내포되어 있고, 근접 촬영을 하는 홍채와는 달리 얼굴 영상에서 해당 영역을 추출하여 인식하므로 자연스러운 생체정보 획득이 가능한 이점이 있다. SIFT로 대표되는 키포인트 기반의 생체인식 방법은 회전 및 크기 변형 등에 강인한 특성이 있기 때문에 장문 인식, 손가락 관절문 인식 등에 이미 널리 이용되어 왔으며, 눈 영상에도 적용되어 그 효과성이 확인되었다.

본 연구에서는 눈 영상 인식에 적용할 수 있는 새로운 특징으로 BRISK를 도입하였다. BRISK는 회전 및 크기에 불변하는 키포인트를 효과적으로 추출하는 것으로 알려져 있으나 아직까지 생체인식 분야에 적용된 사례는 찾을 수 없었다. 눈 영상 인식에 BRISK를 적용하여 MMU 데이터베이스로 실험한 결과 왼쪽 눈은 91.1%, 오른쪽 눈은 90.6%의 인식률을 보여 제안된 방법이 타당함을 확인할 수 있었다. BRISK는 FAST 9-16 검출기의 임계값에 민감하게 반응하는 것으로 나타났으며, 임계값을 낮추면 검출되는 키포인트 개수가 빠르게 증가하고 대체로 인식률은 향상되는 것으로 나타났다. 키포인트 개수가 증가하면 처리속도가 둔화되는 문제가 발생한다. 향후 연구에서는 BRISK를 다른 생체정보 인식에 적용하여 범용성을 확인할 필요가 있으며, SIFT, SURF, KLT 등 다양한 키포인트 검출 방법을 BRISK 기술자와 결합하는 방식도 검토할 필요가 있다.