Individual Identification Using Ear Region Based on SIFT

SIFT 기반의 귀 영역을 이용한 개인 식별

Abstract

In recent years, ear has emerged as a new biometric trait, because it has advantage of higher user acceptance than fingerprint and can be captured at remote distance in an indoor or outdoor environment. This paper proposes an individual identification method using ear region based on SIFT(shift invariant feature transform). Unlike most of the previous studies using rectangle shape for extracting a region of interest(ROI), this study sets an ROI as a flexible expanded region including ear. It also presents an effective extraction and matching method for SIFT keypoints. Experiments for evaluating the performance of the proposed method were performed on IITD public database. It showed correct identification rate of 98.89%, and it showed 98.44% with a deformed dataset of 20% occlusion. These results show that the proposed method is effective in ear recognition and robust to occlusion.

1. 서 론

각 사람의 고유한 신체적 특징을 이용하여 개인을 식별하는 방식은 기존의 비밀번호나 ID 카드에 비하여 분실의 염려가 없고, 높은 보안성과 편리성을 제공하기 때문에 생체인식 시스템에 대한 관심이 고조되고 있다[1]. 지문과 홍채는 생체인식 초기 연구에서부터 다루어져온 생체정보로 개인을 정확하게 식별할 수 있는 유일성(uniqueness)과 시간에 따라 변하지 않는 높은 안정성(stability)을 제공한다[2]. 그러나 지문은 범죄수사에 널리 사용되어 왔기 때문에 사용자에게 심리적인 거부감을 주며 지문을 접촉식으로 획득해야 하는 단점이 있다. 홍채는 물리적 접촉이 없이 어느 정도 떨어진 거리에서 홍채 영상을 획득할 수 있는 장점이 있으나 홍채 인식의 정확도를 높이기 위해서는 실내에서 근적외선(near-infrared)으로 영상을 획득해야 하는 제한점이 있다[3]. 귀(ear) 영상은 실내외 환경에서 비접촉식으로 획득할 수 있고 사용자로부터 거부감이 비교적 적은 장점이 있다. 따라서 귀 영역에 나타나는 생체정보를 부가적으로 활용할 경우 기존의 생체정보가 갖는 단점을 보완할 수 있고, 개인에 대한 식별력을 높일 수 있다.

귀 영역의 생체정보를 이용하여 개인을 식별하려는 연구는 최근 십여 년간에 활발하게 이루어져 왔다[4]. 귀의 외형에 대한 인체 측정학적 수치를 통해 개인 식별의 가능성이 제시되었기 때문에 귀의 형태적 정보를 이용하여 귀를 인식하려는 연구는 매우 자연스러운 접근이라 할 수 있다. 그러나 영상에서 귀 영역을 정확하게 추출하고 여기에서 귀의 형태를 기술하는데 필요한 참조점을 안정적으로 추출하는 것은 도전적인 문제이다. 귀의 중심에서 귀의 주요 윤곽선까지의 거리를 자동으로 측정하는 방법들[5,6]과 보로노이(Voronoi) 다이어그램을 통해 위상학적 관계를 기술하는 방법[7]이 제안되었으나 정량적 실험결과가 뒷받침되지 않아 실제 적용 가능성은 낮은 상태이다.

주성분 분석(PCA)을 이용한 Chang 외[8]의 연구를 살펴보면 영상을 획득한 날짜, 조명의 밝기, 자세(pose)에 변화가 있는 데이터로 실험을 수행한 결과 인식 성능은 날짜와 조명 변화보다는 자세 변형에 매우 민감한 것으로 나타났다. 약간의 자세 변형에도 불구하고 인식률이 매우 낮게 나타났는데, 이것은 부공간(subspace) 방법을 적용할 때 귀 영역의 정확한 배치(alignment)가 중요함을 나타낸다. Zhang 외[9] 이 연구에 따르면 독립요소 분석(ICA) 방식이 PCA 방식에 비해 귀 인식에 보다 효과적이었고, 화소의 명도 값을 이용하는 기존의 전통적인 부공간 방식에 비해 정방형 윈도우내의 명도 값으로부터 추출한 특징 벡터를 이용한 방식이 보다 우수한 성능을 나타내었다[10]. 특히 자세 변형이 나타나는 데이터세트에서 개선 효과가 상대적으로 높게 나타났는데, 이것은 귀 영역의 부정확한 배치에 의한 변형이 윈도우에 의하여 어느 정도 흡수된 것을 나타낸다. 그러나 부공간 기반의 방식은 국소적인 변형에 취약한 단점을 여전히 갖고 있다.

국소 영역의 텍스처 기반 방식은 영상의 국소적인 변형이나 밝기 변화에 강인하다. 국소이진패턴(LBP, local binary pattern), 국소 방향(local orientation), SIFT(scale invariant feature transform) 특징은 국소영역의 텍스처 정보를 효과적으로 기술하는 것으로 알려져 있다. Ibrashim 외[11]는 LBP 히스토그램을 이용하여 귀 영역의 텍스처 정보를 기술하였으며, Guo & Xu[12]는 국소 영역의 중심화소와 이웃화소간의 연결성과 유사성을 강조한 LSBP(local similarity binary pattern)를 제안하였다. 회전 변형에 취약한 LBP의 단점을 보완하기 위하여 하르(Haar) 웨이블릿 변환 후 ULBP(Uniform LBP)를 적용한 연구[13]도 제안되었으나, 회전 변형을 흡수하는 데는 한계를 나타내고 있다. 귀 영역에 나타나는 국소 방향(orientation) 정보와 위상(phase) 정보를 이용하는 Kumar & Wu[14]의 연구도 회전 변형에 취약함을 나타내었다. SIFT 특징은 회전 및 크기 변형에 강인한 특성을 갖고 있다. Bustad & Nixon[15]은 귀 영상으로부터 추출한 SIFT 특징점을 기반으로 호모그래피(homography) 변환을 통해 두 영상을 정규화한 후 화소간의 명도 값 차이의 자승합으로 영상의 유사도를 계산하였고, Kisku 외[16]는 컬러 영상을 유사한 컬러 군집들로 분할한 후 각 세그먼트 영상에서 SIFT 특징점을 추출하고 정합하는 방법을 제안하였다.

머리의 움직임에 따라 귀 영상에 회전 변형이 발생하고 머리카락이나 귀걸이 등에 의하여 귀 영역의 일부가 가려지기 때문에 귀 영역을 이용하여 개인을 식별하기 위해서는 이러한 변형에 강인한 관심영역(ROI, Region of Interest) 추출 및 특징 기술 방법이 요구된다. 국소영역 텍스처 기술 방법 중 SIFT 특징은 이러한 변형에 강인한 특성을 내포하고 있으나, 아직까지 귀 영역을 인식하는데 SIFT 특징을 적용한 연구가 충분히 이루어지지 않은 상태이다. 본 논문에서는 SIFT 특징점을 기반으로 귀 영상을 효과적으로 인식할 수 있는 방법을 제안한다. 본 논문의 구성은 다음과 같다. 2장에서는 SIFT 특징에 대한 이론적 배경을 살펴보고, 3장에서는 귀 영상의 회전이나 가려짐(occlusion)에 강인한 ROI 추출 방법과 SIFT 특징점을 효과적으로 추출하고 정합하는 방법을 기술한다. 4장에서는 제안된 방법을 구현하여 공개 데이터베이스를 이용한 실험결과를 제시하고 분석한다. 그리고 5장에서는 결론 및 향후 연구과제에 대하여 기술한다.

 

2. SIFT의 이론적 배경

2.1 SIFT 특징점 추출

SIFT 알고리즘은 스케일 공간에서 특징점을 추출한다[17]. 영상의 스케일 공간은 식 (1)과 같이 가변 스케일 가우시안(Gaussian) 함수 G(x,y,σ)와 입력영상 I(x,y)간의 회선으로 정의된다.

스케일 공간에서 안정적인 특징점을 추출하기 위하여 입력 영상을 가우시안의 차(DoG)와 회선시킨 영상을 이용하는데, 이것은 식 (2)에 나타난 바와 같이 이웃한 스케일 공간의 차로 계산된다.

스케일 공간 D(x,y,σ)에서의 극대점(maxima)와 극소점(minima)의 탐색은 동일한 스케일 공간에서 이웃한 8개의 점과 이웃한 두 스케일 공간에 나타나는 이웃한 18개의 점, 총 26개의 이웃화소들과 비교를 통해 이루어진다. 이렇게 추출된 극점들은 보다 정확한 극점의 위치를 추정하기 위하여 테일러(Taylor) 확장을 통해 극점들을 정수 도메인에서 실수 도메인으로 변환한다. 낮은 대비를 갖는 극점과 에지 주변의 주 곡률(principal curvature)이 임계값 이상이 되는 불안정한 극점을 제거하여 특징점을 확정한다.

2.2 SIFT 기술자

회전에 무관한 특징을 생성하기 위하여 특징점을 중심으로 16 × 16 크기의 국소영역 내에 나타나는 화소들의 명도 값 분포로부터 특징점의 방향을 설정한다. 국소영역 내의 화소들의 그레이디언트 크기m(x,y)와 방향 θ(x,y)은 식 (3)과 (4)로 계산한다. 각 화소의 방향에 따라 360도를 10도 단위로 나눈 36개의 빈(bin)에 누적하여 방향 히스토그램을 생성한다. 이때 그레이디언트 크기와 가우시안 가중치를 갖는 윈도우를 적용함으로써, 중심점에 가깝고 그레이디언트 크기가 큰 화소가 더 높은 비중을 갖게 된다.

방향 히스토그램에서 최대 빈도를 갖는 방향을 해당 국소영역 특징점의 주방향으로 설정한다. 이때 최대 빈도의 80%이상이 되는 방향이 존재할 경우에는 이것도 주방향으로 설정한다. 따라서 하나의 국소영역에 여러 개의 주방향이 검출될 수 있다. 특징점을 중심으로 국소영역내의 각 화소의 방향을 특징점의 주방향에 따라 회전시키면, 화소의 방향은 회전에 무관한 특징을 갖게 된다. 16 × 16 크기의 국소영역을 4 × 4 크기의 서브 윈도우로 분할한 후 각 윈도우내 화소의 방향에 따라 다시 8방향의 히스토그램에 해당 화소의 그레이디언트 크기를 누적시켜 8차원의 특징벡터를 생성한다. 특징점을 중심으로 국소영역은 4 × 4 의 서브 윈도우로 분할되므로, 한 개의 SIFT 특징점은 128 = (4 × 4 × 8) 차원의 특징벡터로 기술된다.

 

3. 귀 영상에의 적용

3.1 관심영역 추출

귀를 인식하기 위해서는 입력 영상에서 관심영역(ROI)인 귀 영역을 추출하여야 한다. 귀 영역을 추출하기 위하여 에지 추출[5-7], 형태학 연산[14], 힘 장(force field)[18] 방식 등이 제시되었으나 귀 영역을 안정적으로 추출하는데 한계를 나타내고 있다. 또한 대부분의 연구들이 전체 귀가 드러난 것을 대상으로 하기 때문에 머리카락에 의해 귀의 일부가 가려질 경우에는 적용이 곤란하다. 결국 귀 영역 추출은 선택된 특징이 효과적으로 추출될 수 있도록 특징 기술자에 맞는 처리 방법이 요구된다. 본 연구에서는 ROI를 직사각형 형태로 전제하고 있는 기존 연구의 틀에서 벗어나, 귀의 물리적 영역이나 방향, 크기에 구애받지 않고 귀와 그 주변 영역을 ROI로 선택하는 접근방식을 택하였다. 제안된 방법은 귀의 피부 색깔과 유사한 영역과 그렇지 않은 영역으로 구분하는 것으로, 클래스 내의 분산을 최소화하고 클래스 간의 분산을 최대로 하는 Otsu[19]의 방법을 이용하였다.Fig. 1-(b)는 입력 영상에서 ROI에서 제외된 영역을 매스킹(masking)한 결과이다.

Fig. 1.ROI extraction: (a) input image, (b) ROI image.

3.2 영상 개선

ROI 영상은 귀의 피부색과 유사한 명도 값들로 구성되어 있어 명도 값 대비가 크지 않기 때문에 SIFT 알고리즘을 ROI 영상에 바로 적용할 경우 귀를 식별할 수 있는 충분한 특징점이 추출되지 않는다. 본 연구에서는 이 문제를 해결하기 위하여 히스토그램 평활화를 적용하였다. Fig. 2는 ROI 영상에 SIFT 알고리즘을 적용하여 추출한 특징점을 나타낸 것으로, 평활화에 의한 영상 개선 후에 특징점이 귀 전체 영역에서 고르게 추출되었음을 확인할 수 있다.

Fig. 2.Image enhancement : (a) input image, (b) equalization.

평활화 전에 가버(Gabor) 필터를 적용하면 귀 영역에 나타나는 에지 정보를 강조할 수 있다. Morales 외[20]는 손가락 관절에 나타나는 주름의 방향을 강조하기 위하여 가버 필터를 이용하였으며, 이를 통해 인식 성능을 현저히 개선하였다. 그러나 가버 필터를 귀 영상에 적용한 결과 추출되는 특징점의 개수는 크게 늘어났으나 귀를 식별하는 성능에는 기여하지 못하는 것으로 나타났다. 이것은 손가락 관점문과는 달리 귀 영역은 우세 에지(dominant edge)가 존재하지 않고, 평활화 만으로도 귀 영상에서 SIFT 특징점이 비교적 잘 추출되기 때문으로 판단된다.

3.3 특징점 추출 및 정합

Kisku 외[16]는 귀 영상을 유사한 컬러로 분할한 세그먼트 영역별로 SIFT 특징점을 추출한 후 이들을 병합하였다. 그러나 본 연구에서는 대상 영상이 명도 영상이고, 명도 영상에서 화소의 밝기 값은 조명 변화와 그림자에 민감하기 때문에 탐색 공간을 분할하지 않고 ROI 전체 영역에서 SIFT 특징점을 추출하였다.

동일인으로부터 획득된 두 영상은 특징점이 유사하게 나타날 것이므로, 두 영상 간의 유사도는 대응되는 특징점 쌍의 개수로 산출할 수 있다. 일반적으로 서로 다른 두 영상에서 추출된 특징점들의 위치와 개수는 동일하게 나타나지 않는다. 따라서 두 영상간의 유사도를 비교하기 위해서는 먼저 대응되는 특징점을 찾아야 한다. 대응되는 특징점이란 특징점 주변의 텍스처 정보, 즉 128차원의 특징벡터가 유사한 특징점 쌍을 말한다. 두 특징점 Ki, Kj의 거리는 식 (5)에 제시된 바와 같이 각각의 특징벡터 Vi, Vj의 유클리디안(Euclidean) 거리를 이용하여 계산한다.

본 연구에서는 대응되는 특징점 쌍을 찾기 위하여 어떤 특징점 Ki와 가장 유사한 특징점 K1st간의 거리와 두 번째로 유사한 특징점 K2nd간의 거리의 비율r을 이용하였다[21]. r이 1에 가깝다는 것은 두 특징점의 유사도에 큰 차이가 없는 것을 나타낸다. 반대로 r이 0에 가까울수록 변별력이 큼을 의미하므로 특징점 Ki와 K1st간의 유사도가 높음을 나타낸다. 따라서 식 (6)과 같이 r이 적절히 선택된 임계값 th보다 작을 때 두 특징점이 대응되는 것으로 판정할 수 있다. Fig. 3은 시계방향으로 30도 회전되고 크기가 축소된 영상에 대하여 임계값 th를 0.7로 설정하여 대응되는 특징점을 찾은 결과이다.

Fig. 3.Corresponding keypoints.

 

4. 실험 결과 및 분석

4.1 실험 데이터

제안된 방법의 타당성을 검증하기 위하여 연구 목적으로 공개된 IITD 대학의 귀 영상 데이터베이스[14]를 이용하였다. 이 데이터베이스는 실내 환경에서 소속대학의 학생과 직원 125명으로부터 272×204의 해상도로 획득되었으며, 일인 당 최소 3개, 총 493개의 영상으로 구성되어 있다. 본 연구에서는 실험의 일관성을 유지하기 위해 일인 당 3개의 영상, 총 375개의 영상을 실험 데이터로 사용하였다. Fig. 4는 IITD 데이터베이스 중 일부 영상을 예시한 것으로, 같은 열에 배치된 영상은 동일인으로부터 획득된 영상이다.

Fig. 4.Sample images of IITD ear database.

4.2 영상개선 효과

SIFT 특징을 기반으로 귀 인식을 수행할 때 안정적인 특징점의 추출은 인식 성능을 좌우하는 중요한 요소이다. 입력 영상의 특성에 따라 추출되는 SIFT 특징점이 제대로 추출되지 않거나 불안정하게 추출될 수 있다. 가버 필터링과 평활화를 통한 영상개선이 SIFT 특징점 추출에 미치는 효과를 알아보기 위하여 원 영상과 개선된 영상에 대하여 SIFT 알고리즘을 적용하여 특징점 추출 실험을 수행하였다.Table 1은 각 영상에서 추출된 특징점의 평균 개수를 나타낸 것으로, 가버 필터링을 수행하지 않았을 때 평활화 전과 후를 비교하면 영상개선에 의해 추출된 특징점의 개수가 약 33% 증가하였다. 그리고 가버필터링 후에 평활화를 적용한 경우에는 4배 이상 증가한 것을 알 수 있다.

Table 1.Average number of extracted SIFT keypoints

4.3 인식 성능 측정

본 논문에서 제안하는 SIFT 기반의 귀 영역을 이용한 개인 식별 방법에 대한 인식 성능을 정량적으로 살펴보기 위하여, 각 클래스의 영상을 번갈아 가면서 한 개를 참조영상(gallery image)으로 하고, 나머지는 질의영상(probe image)으로 설정하여 실험을 수행하였다. 질의영상과 참조영상과의 유사도는 대응되는 특징점의 개수로 산출하므로, 식 (6)의 임계값 th를 적절하게 선택하는 것이 중요하다. 만약 임계값 th가 너무 크게 설정되면 영상의 회전 및 조명 변화에 대한 융통성이 결여되어 부정오류(false negative)가 증가하게 되고, 너무 작게 설정되면 대응점 판단기준이 완화되어 긍정오류(false positive)가 증가하게 된다. 본 연구에서는 적절한 임계값을 찾기 위하여 th를 0.5부터 0.9까지 변화시켜 가면서 정인 식률(CIR, Correct Identification Rate)을 측정하여 Table 2의 결과를 얻었다. R1, R2, R3는 클래스 별로 각각 첫 번째, 두 번째, 세 번째 영상을 참조영상으로 설정하고, 나머지 영상을 질의영상으로 설정하여 실험한 결과이다. 세 모델의 평균 결과를 살펴보면 임계값이 0.5에서 0.6으로 변화되었을 때 CIR이 1.4% 정도 증가하였고, 0.6부터 0.8까지는 CIR에 거의 변화가 나타나지 않다가 0.9일 때 급격히 인식 성능이 하락하였다. 본 연구에서는 안정적인 임계값으로 th를 0.7로 설정하였다.

Table 2.Comparison of CIR with different threshold

Table 1에 제시된 바와 같이 영상 개선에 의하여 SIFT 특징점의 개수가 증가하였는데, 이것이 인식성능에 미치는 효과를 알아보기 위하여 ROI 원 영상, 평활화한 영상, 가버 필터링을 적용한 영상에서 추출한 특징점을 기반으로 인식 성능을 측정하였다. Table 3에 제시된 바와 같이 평활화에 의한 CIR은 2.0%～3.3% 정도 향상된 것으로 나타났다. 그러나 가버 필터링을 적용한 영상은 평활화만 수행한 영상에 비하여 CIR에 변화가 없거나 다소 감소한 것으로 나타났다. 이것은 실내에서 촬영된 귀 영상의 경우 평활화만으로도 SIFT 특징점이 효과적으로 추출될 수 있음을 나타내는 것이다.

Table 3.Effect of image enhancement on CIR

Table 4는 귀 인식과 관련된 기존의 연구결과들을 정리한 것이다. 동일한 방법을 적용하더라도 입력 영상의 질에 따라 인식률에 차이가 나타나므로, 서로다른 데이터를 사용한 연구결과를 직접 비교할 수는 없다. 다만 각 연구결과에 대한 대략적인 성능을 상대적으로 가늠해 볼 수 있을 뿐이다. 그러나 공개된 데이터베이스 영상을 활용할 경우 이러한 문제점을 해소할 수 있다. 공개 데이터베이스인 IITD 영상을 이용한 기존 연구들과 비교하였을 때, PCA 특징을 확장한 연구[10]와 국소방향 정보(LOI, local orientation information)를 적용한 연구[14]에 비하여 제안된 방법이 더 우수한 인식 성능을 보였다.

Table 4.Performance comparison by CIR with various methods

IITD 데이터베이스를 포함하여 Table 4에 제시된 데이터베이스 영상들은 귀의 전체 형태가 잘 드러나 있다. 그러나 귀는 머리카락에 의해 일부분이 가려지는 경우가 발생하므로, 귀의 일부가 가려졌을 때에도 어느 정도 인식 성능을 유지해야 실제적인 시스템에 적용할 수 있다. 머리카락에 의해 귀의 상단 부분이 가려지는 경우를 고려하여 Fig. 5와 같이 귀 영상의 상단 20%, 30%, 50%를 매스킹하여 귀의 일부가 가려지는 상황을 모의 실험하였다. 실험 결과 Table 5와 같이, 상단 20%가 가려진 영상은 원래 영상에 비하여 CIR의 변화가 0.4%에 불과하여 귀 영역 상단이 20% 정도 가려져도 인식 성능이 크게 저하되지 않는 것으로 나타났다. 그러나 가려진 영역이 30%, 50%로 늘어날 경우 CIR이 각각 4.0%, 12.9% 하락하는 것으로 나타났다. Bustad & Nixon의 연구[15]에서 가려진 영역이 20%, 30%일 때, CIR의 하락이 각각 4%, 22%인 것에 비하면 제안된 방법이 가려짐에 의한 영상 변형에 강건함을 확인할 수 있다.

Fig. 5.Occluded images: (a) 20% occlusion, (b) 30% occlusion, (c) 50% occlusion.

Table 5.Comparison of CIR according to partial occlusion

Fig. 6은 각 클래스의 첫 번째 영상을 참조영상으로 하고, 나머지 영상들을 질의영상으로 한 R1 모델에 대하여 인식 후보를 하나씩 늘려가면서 누적정합 특성(CMC, cumulative match characteristics)을 제시한 것이다. CMC는 n순위 내에 올바른 인식결과가 얻어지면 정인식된 것으로 판단하는 것으로, 5순위까지 인식 후보를 늘렸을 때 원 영상은 100%, 20%와 30% 가려진 영상은 모두 99.3%, 50% 가려진 영상은 95.3%의 인식 성능을 나타냈다

Fig. 6.Cumulative match characteristics for recognition performance.

 

5. 결 론

귀는 머리의 움직임에 의해 회전 변형이 발생하고, 머리카락에 의해 일부가 가려지기 때문에 이러한 변형에 강인한 ROI 및 특징 추출 방법이 요구된다. 기존 연구들은 직사각형 형태의 ROI를 전제로 하였으나, 본 연구에서는 이러한 형태적 제약을 탈피하여 귀와 그 주변 영역을 ROI로 추출하였다. 히스토그램 평활화에 의한 영상 개선에 의해 추출된 SIFT 특징점의 개수는 약 33% 증가하였으며, 최근접 이웃 특징점과 차순위 특징점과의 비율로 특징점 정합을 수행하였을 때 평활화에 의한 영상 개선으로 CIR은 3% 정도 향상되는 것으로 나타났다. 기존 연구와 비교하였을 때 제안된 방법은 귀 영역을 이용한 개인식별에 효과적임을 확인할 수 있었으며, 귀 영역 상단의 20%가 가려진 경우에도 인식 성능이 크게 저하되지 않는 것으로 나타났다. 이것은 머리카락이나 모자 등에 의하여 귀의 일부 영역이 가려지는 실제적인 상황에서도 제안된 방법이 효과적으로 적용될 수 있음을 의미한다. 그러나 본 연구는 자세의 변화에 따른 귀의 형태 변화는 아직 고려하지 않았으므로, 향후 자세 변화에 따른 SIFT 특징의 적용 가능성을 검토하고 인식 성능을 향상시킬 수 있는 방안에 대하여 연구를 확대할 계획이다.