SIFT Image Feature Extraction based on Deep Learning

딥 러닝 기반의 SIFT 이미지 특징 추출

Abstract

In this paper, we propose a deep neural network which extracts SIFT feature points by determining whether the center pixel of a cropped image is a SIFT feature point. The data set of this network consists of a DIV2K dataset cut into $33{\times}33$ size and uses RGB image unlike SIFT which uses black and white image. The ground truth consists of the RobHess SIFT features extracted by setting the octave (scale) to 0, the sigma to 1.6, and the intervals to 3. Based on the VGG-16, we construct an increasingly deep network of 13 to 23 and 33 convolution layers, and experiment with changing the method of increasing the image scale. The result of using the sigmoid function as the activation function of the output layer is compared with the result using the softmax function. Experimental results show that the proposed network not only has more than 99% extraction accuracy but also has high extraction repeatability for distorted images.

본 논문에서는 일정 크기로 자른 영상의 가운데 픽셀이 SIFT 특징점인지를 판별함으로써 SIFT 특징점을 추출하는 딥 뉴럴 네트워크(Deep Neural Network)를 제안한다. 이 네트워크의 데이터 세트는 DIV2K 데이터 세트를 $33{\times}33$ 크기로 잘라서 구성하고, 흑백 영상으로 판별하는 SIFT와는 달리 RGB 영상을 사용한다. 그라운드 트루스(ground truth)는 옥타브(scale, octave)를 0, 시그마(sigma)는 1.6, 간격(intervals)은 3으로 설정하여 추출한 RobHess SIFT 특징들로 구성한다. VGG-16을 기반으로 컨볼루션 층을 13개에서 23개와 33개로 점점 깊은 네트워크를 구성하고, 영상의 스케일을 증가시키는 방법을 바꿔가며 실험을 수행한다. 출력 층의 활성화 함수로 시그모이드(sigmoid) 함수를 사용한 결과와 소프트맥스(softmax) 함수를 사용한 결과를 비교하여 분석한다. 실험결과 제안한 네트워크가 99% 이상의 추출 정확도를 가질 뿐 아니라 왜곡된 영상에 대해서도 높은 추출 반복성을 가진다는 것을 보인다.

그림 1. SIFT DoG 피라미드 생성 과정 Fig. 1. The process to form a SIFT DoG pyramid

그림 2. SIFT 극점 추출 과정 Fig. 2. SIFT extrema extraction process

그림 3. 옥타브를 0으로 설정하여 추출한 SIFT 특징들 Fig. 3. SIFT features extracted with octave set to 0

그림 4. 밝기 정도를 변화시킨 영상의 예; (a) +25, (b) +50, (c) +75, (d) +100 Fig. 4. Image examples with varying brightness level; (a) +25, (b) +50, (c) +75, (d) +100

그림 5. 흐림 정도를 변화시킨 영상의 예; (a) 원본, (b) 반경 0.5, (c) 반경 1.0, (d) 반경 1.5, (e) 반경 2.0, (f) 반경 2.5 Fig. 5. Example Images with varying blur level; (a) original, (b) radius 0.5, (c) radius 1.0, (d) radius 1.5, (e) radius 2.0, (f) radius 2.5

그림 6. 왜곡된 영상의 특징점 반복성 측정결과; (a) 밝기 변화, (b) 흐림 정도 변화 Fig. 6. Results of the feature point repeatability measure for the distorted images; (a) change in brightness, (b) change in blur

표 1. 제안한 DNN 구성 Table 1. Configurations of the proposed DNNs

표 2. 제안한 DNN의 실험결과 Table 2. Experimental results for the proposed DNN