Design and Implementation of Video Search System robust to Brightness and Rotation Changes Based on Ferns Algorithm

Ferns 알고리즘 기반 밝기 및 회전 변화에 강인한 영상검색 시스템 설계 및 구현

Abstract

Recently, due to the rapid development of multimedia technologies, as image data has been extensive and large-scaled, the problem of increasing the time needed to retrieve the desired image is gradually critical. Image retrieval system that allows users to quickly and accurately search for the desired image information has been researched for a long time. However, in the case of content-based image retrieval representative Color Histogram, Color Coherence Vectors (CCV), Scale Invariant Feature Transform (SIFT) used in sensitive to changes in brightness, rotation, there is a problem that can occur misrecognized division off the power. In this paper, in order to evaluate the video retrieval system proposed, no change in brightness, respectively 0°, 90°, 180°, 270° rotated brightness up based on the case of changing, when the brightness down the results were compared with the performance evaluation of the system is an average of about 2% to provide the difference in performance due to changes in brightness, color histogram is an average of about 12.5%, CCV is an average of about 12.25%, it appeared in the SIFT is an average of about 8.5%, Thus, the proposed system of the variation width of the smallest in average about 2%, was confirmed to be robust to changes in the brightness and rotation than the existing systems.

1. 서 론

최근 멀티미디어 기술의 급속한 발전으로 인해 영상 데이터가 광범위하고 대용량화되면서 사용자는 원하는 영상검색에 소요되는 시간도 증대되는 문제점이 증가되었다. 이에 따라 사용자가 원하는 영상 정보를 정확하고 빠르게 검색할 수 있는 영상검색 시스템이 개발되어지고 있다[1].

영상검색 시스템은 텍스트 기반과 내용 기반으로 구분되며, 텍스트 기반은 모든 영상 데이터에 주석을 붙이고 이를 기반으로 검색을 수행하는 방법으로 모든 데이터에 주석이 필요하고, 기준이 모호하기 때문에 비효율적이다. 내용 기반 영상검색은 영상 자체의 내용을 이용하여 검색하는 방법으로 영상의 특징정보를 추출하여 기준 영상의 특징과 유사도를 비교해 검색하는 방법이다[2,3].

그러나 내용 기반 영상검색에서 대표적으로 사용되는 컬러 히스토그램은 밝기나 회전 변화 등 히스토그램에 민감하고, 이를 보완한 Color Coherence Vectors (CCV)는 사용하는 공간정보가 매우 적어 영상에 변화가 발생하게 되면 구분력이 떨어져 오인식이 발생할 수 있다. 또한 Scale Invariant Feature Transform (SIFT)은 대상의 변화에는 강인하지만, 연산량이 많아 속도가 느리다는 문제점이 있다.

따라서 본 논문에서는 이와 같은 문제점을 개선하기 위해 Ferns 알고리즘을 기반으로 밝기 변화 및 회전 변화에 강인한 영상검색 시스템을 제안한다.

제안하는 시스템을 설계하기 위해 기존 영상검색 시스템의 문제점을 분석하고 영상검색 특징점을 추출하기 위해 Features from Accelerated Segment Test (FAST) 알고리즘 설계 및 이를 통해 검출된 특징점의 밝기 변화에 따른 특징 벡터를 추출하는 형태 기반의 Ferns 알고리즘을 활용하여 밝기 및 회전 변화에 강인한 영상검색 시스템을 설계하였다.

설계한 시스템을 테스트하기 위해 콜롬비아 대학에서 유사연구를 위해 수집한 100개의 이미지에 대한 Image Data Setting인 Coil-100을 사용하였으며, Coil-100에 밝기 및 회전 변화를 적용하여 테스트 및 평가를 진행하였다.

평가를 통해 시스템 별 비교 값을 도출하고, 밝기 변화 없이 회전 변화만 적용된 경우를 기준으로 비교한 결과 제안 시스템이 평균 약 2%, 컬러 히스토그램이 평균 약 12.5%, CCV가 평균 약 12.25%, SIFT가 평균 약 8.5%로 나타났으며, 이를 통해 변화에 따른 검출 성능의 차이가 평균 2%로 가장 적은 제안 시스템이 기존 시스템보다 밝기 및 회전 변화에 강인한 것을 확인하였다.

본 논문은 1장 서론에 이어 2장에서 컬러 히스토그램, CCV, SIFT, Ferns 알고리즘을 조사하고 3장에서 Ferns 기반 영상검색 시스템을 설계하였다. 4장에서는 시스템을 구현 및 평가하여 시스템에 대한 성능 검증을 실시하였다. 마지막 5장에서는 결론을 기술한다.

 

2. 관련연구

2.1 컬러 히스토그램

내용 기반 영상검색 방법 중 색상이나 밝기를 이용한 대표적인 방법은 Swain의 컬러 히스토그램으로 영상의 통계학적 특성을 이용한 3차원 히스토그램을 생성하고 히스토그램 공간상에서 데이터베이스의 영상과 입력 영상 간 매칭을 시도하는 색인화 알고리즘을 활용하는 방법이다[4].

일반적으로 영상을 N 개의 색상으로 양자화 할 경우, 컬러 히스토그램 C 는 벡터 로 구성된다. 이때 Ci 는 영상 내 색상을 가진 화소의 수를 나타내고, 입력 영상이 Q, 데이터베이스 영상이 D일 때 식 (1)과 같이 입력 영상과 데이터베이스 영상의 유사도를 나타낼 수 있다[5].

식 (1)은 입력 영상과 데이터베이스 영상의 유사도를 나타내며, 0에서 1 사이의 값으로 정규화 된 값이며 두 영상의 유사도가 높을 경우 1에 가까운 값을 지니게 된다. 이와 같이 히스토그램만 유사하다면 검색되므로, 영상 내에서 이동이나 회전이 있을 경우에도 검색 결과가 나타난다[6].

그러나 영상 내의 색상 빈도만을 사용하기 때문에 히스토그램은 같으나 영상의 내용은 전혀 다를 경우에도 검색되어 질 수 있다는 문제점이 있고, 영상 내의 밝기나 색상 변화에 민감하다는 문제점을 지니고 있다[7].

2.2 CCV

Color Coherence Vectors (CCV)는 Pass와 Zabig가 만든 방법으로 컬러 히스토그램을 공간적인 응집 여부에 따라 각 컬러 빈을 2개로 분류하여 색인정보에 공간정보를 포함시키는 방법이다[8].

CCV는 컬러 히스토그램과 초기 계산 단계가 유사하며 3 × 3 마스크 내에서 메디안 필터링을 이용하여 잡음을 제거하고 영상을 흐리게 한 뒤, 영상을 N 개의 구별되는 색상을 가지는 색상 공간으로 양자화 한다.

다음으로 동일한 색상을 가지는 화소들을 영상 내에서 주변의 색상이 동일한 응집 화소 그룹으로, 주변의 색상이 다르면 비응집 화소 그룹으로 분류한다.

i 번째 색상의 응집 화소 수를 xi 라 하고 비응집화소의 수를 yi 라고 할 경우, 영상 A 의 응집 화소와 비응집 화소의 집합을 SI, 영상 A′ 의 응집 화소와 비응집 화소의 집합을 SI′ 라고 할 때 영상 A에서 i 의 색상을 가지는 화소의 총 수는 xi + yi 이므로 CCV의 유사도는 식 (2)와 같이 나타낼 수 있다[9].

이와 같이 CCV는 컬러 히스토그램과 유사하게 영상의 이동이나 흐린 영상에서도 안정된 성능을 보이지만, 사용하는 공간 정보가 매우 적기 때문에 영상의 변화가 많을 경우 오인식이 발생할 수 있으며 임계값을 설정해야 한다는 문제점이 있다[10].

2.3 SIFT

형태 기반의 검색방법인 Scale Invariant Feature Transform (SIFT)는 크기나 회전 등에 강인한 특징을 추출하기 위해 제안된 기술로서, 크기 변화에 강인하기 위해 Difference of Gaussian (DoG) 계층 공간 구성 및 이웃한 특성 값을 비교하여 극값을 갖는 관심점을 구한다. 그 다음 관심점을 중심으로 영역 크기를 설정하며, 크기성분과 방향성을 계산하여 영역 특징을 추출한다[11].

SIFT은 Fig. 1과 같이 관심 영역을 4 × 4로 나누고 각 부분 영역마다 8방향에 대한 크기정보를 구하기 때문에 총 128차원의 특징이 추출된다. SIFT 영역 특징은 Fig. 1과 같다[12].

Fig. 1.Area Characteristic in SIFT.

그러나 한 영상에서 추출되는 영역 특징은 관심점마다 추출된 128차원의 영역 특징 나열로 구성되므로 연산량이 많을 뿐만 아니라 추출된 특징의 크기 또한 매우 커 속도가 느리다[13].

2.4 Ferns 알고리즘

Ferns 알고리즘은 Bayes 이론을 변형한 방법으로 특징 함수간의 상관관계를 고려하여 Bayes 이론의 한계를 극복하였으며, 두 픽셀간의 차이를 이용한 특징 함수 구현을 통해 간단하면서도 빠른 연산을 가능하게 하였다. 식 (3)은 특징 검출을 구하는 방식이다.

J(cp, 1), J(cp, 2) i 번째 특징 추출 함수에서 1번 위치와 2번 위치에서의 픽셀 밝기 값을 나타내고, 각 Ferns의 특징 추출 함수에 적용하여 Ferns 값을 추출하여 각 클래스에 따라 확률을 계산하며, 계산된 확률 중 가장 확률이 높은 클래스를 선택하여 특징점을 검출한다[14].

2.5 FAST 알고리즘

Feature from Accelerated Transform (FAST) 알고리즘은 기준 픽셀 i를 중심으로 반지름 3인 원의 위에 있는 빨간색 상자의 픽셀들을 주변 픽셀들로 정하고, 기준 픽셀 상단을 시작으로 16번까지 불러오고 불러온 각각의 픽셀들은 식 (4)를 이용하여 분류한다[15].

아래첨자인 i는 기준 픽셀을 의미하고, i→j는 기준 픽셀에서 떨어진 주변 픽셀을 의미한다. Y는 그 픽셀의 명암 값을 나타내어 사용자가 설정한 임계값인 l을 기준 픽셀에서 l값만큼 뺀 값보다 작은 경우, 기준 픽셀에서 l값만큼 더한 값보다 큰 경우 또는 두 가지 경우에 해당하지 않고 기준 픽셀과 유사한 경우로 분류한다.

비교 결과 더 어둡거나 더 밝은 점이 12개 이상이면 특징 후보로 정의하고, Feature Score (FS) 단계에서는 후보 특징마다 점수를 할당한다. Feature Detection (FD)에서는 한계 값을 임의로 결정하지만 FS 단계에서는 bmin과 bmax가 같아졌을 때의 값이 점수가 된다[16].

 

3. Ferns 알고리즘을 이용한 영상검색 시스템 설계

3.1 시스템 개요

영상검색 시스템의 주요 지표는 영상 검출에 대한 정확성이다. 대표적으로 사용되는 내용 기반 영상검색의 특징은 컬러기반, 형태기반과 같은 방법이 있으나 컬러기반의 영상검색은 밝기 및 색상변화에 취약한 문제점이 있으며, 형태기반의 영상검색은 속도가 느리고 구분력이 떨어져 오인식이 발생하는 문제점이 있다.

이에 본 절에서는 Ferns 알고리즘을 활용하여 밝기 변화와 회전 변화에 강인한 영상검색 시스템을 설계하였다. 본 논문에서 제안하는 Ferns 알고리즘을 이용한 영상검색 시스템 개요도는 Fig. 2와 같다.

Fig. 2.Video Search System Overview.

3.2 시스템 구조

본 논문에서 제안하는 Ferns 알고리즘 기반 영상 검색 시스템은 최종적으로 특징벡터를 추출하고 히스토그램 교차방법을 이용하여 유사도 비교 및 결과 영상을 얻게 된다.

이를 위해 먼저 질의 영상을 입력하기 전에 Ferns 알고리즘을 이용하여 참조 영상의 특징벡터를 추출하고 데이터베이스에 특징벡터를 저장한다.

이후 질의 영상이 입력되면 일차적으로 FAST 알고리즘을 이용하여 강건한 특징점을 검출한다. 다음으로 검출된 특징점 중에서 임의의 두 지점에 Binary Feature를 사용하여 Local Patch에 대한 특징량을 추출한다.

마지막으로 히스토그램 형태의 특징량 중에서 분류를 통해 최종 특징벡터를 추출하고, 히스토그램 교차방법을 이용하여 유사도를 비교하며 최종적으로 결과 영상을 얻게 된다. 제안하는 Ferns 알고리즘 기반 영상검색 시스템의 전체적인 구조는 Fig. 3과 같다.

Fig. 3.Structure Video Search System used Ferns Algorithm.

3.3 요구사항 분석

본 논문에서 제안하는 Ferns 기반 영상검색 시스템을 설계하기 위해서는 요구사항을 우선적으로 분석해야하며, 먼저 회전 변화에 강인한 특성을 얻기 위하여 회전 변환이 적용된 영상을 통해 Ferns 알고리즘을 점진적으로 학습시킨다.

다음으로 강건한 특징을 검출하기 위하여 FAST 알고리즘을 통해 특징점을 검출하고, 검출된 특징점 중 임의의 두 점에 Binary Feature를 적용한다. 마지막으로 히스토그램 교차방법을 적용하여 유사도를 비교하게 되고, 비교한 결과 유사도가 높은 영상을 결과 영상으로 제공한다.

3.4 Ferns 알고리즘 기반 영상검색 시스템 알고리즘 설계

3.4.1 점진적 학습 단계

본 논문에서 제안하는 알고리즘은 회전 변화에 강인함을 얻기 위해 회전된 영상을 학습시켜 회전 변화에 강인한 알고리즘을 설계하였으며, 기존 영상 데이터베이스 생성 과정으로 사용자가 질의 영상을 입력하기 전에 Ferns 알고리즘을 이용하여 참조 영상의 특징벡터를 추출한 후에 데이터베이스에 저장하게 된다. 회전 변화에 강인한 점진적 학습 단계는 Fig. 4와 같다.

Fig. 4.Strong Gradual Learning Step in Rotation Change.

점진적 학습 단계는 초기영상에서 feature A를 이용하여 클래스로 분류하기 위한 학습 단계이며, 회전 불변의 Ferns를 구성하기 위하여 회전이 적용된 학습 이미지가 필요하다.

따라서 구현에 사용될 Coil-100 Image Data Setting의 영상을 사용해 점진적 학습을 진행하였으며, Coil-100 Image Data Setting은 100개의 이미지 각각이 5°씩 회전된 이미지를 지니고 있다.

3.4.2 특징량 및 특징벡터 추출 단계

제안하는 알고리즘에서는 먼저 FAST 알고리즘을 이용하여 Patch 내의 특징점을 추출하고, 추출된 특징점 중 임의의 두 점을 선택하여 Binary Feature를 사용하는 방식으로 특징검출을 설계하였다. FAST 알고리즘은 Fig. 5와 같다.

Fig. 5.FAST Algorithm.

먼저 High-Speed Test 단계에서는 특징점 하나를 우선 지정하고, 지정한 특징점에 근접한 특징점들과 우선 지정한 특징점의 밝기보다 어둡거나 밝은 값이 3개 이상일 경우에 특징점으로 인정한다. 다음으로 Full Segment Test 단계에서는 검출된 특징점들의 밝기 차이를 비교하여 밝기의 차이가 적으면 관련 있는 특징점 정보로 인식하고, 특징점 정보가 12개 이상이 되면 특징점으로 인정한다. 그러나 이 단계에서 특징점을 수치화하지 못하므로 마지막 3단계를 통해 특징점으로 선택한다.

마지막 Non Maximum Suppression (NMS) 단계에서는 3 × 3 Mask를 통해 특징점이 낮은 값들을 제거하면서 마지막까지 남아있는 가장 높은 특징점을 최종 특징점으로 선택한다.

이와 같이 FAST 알고리즘을 통해 특징량을 추출한 다음 앞서 추출한 Binary Feature의 결과 값인 0 또는 1을 분류를 통해 최종 특징벡터를 추출한다.

그러나 Ferns 알고리즘은 다수의 결과 값이 나올수 있으므로 이를 히스토그램으로 표현하게 되고 fern의 크기를 L 으로 정의했을 때 히스토그램의 Bin 개수는 2L 개이며, fern이 다수인 경우 각 클래스마다 fern의 개수만큼 히스토그램을 구하게 된다.

구해진 히스토그램을 통해 각각의 Local Patch를 클래스별로 분류하고, 히스토그램의 Bin 값은 확률값이 되며 fern이 다수일 경우 각 fern의 확률 값을 곱하여 가장 큰 확률 값을 가지는 클래스를 선택하게 된다. 최종적으로 선택된 클래스의 히스토그램을 하나로 엮어 특징벡터 (VQ, VI)로 나타낸다. Ferns 알고리즘은 Fig. 6과 같다.

Fig. 6.Ferns Algorithm.

3.4.3 히스토그램 교차방법 단계

질의 영상을 입력하여 원하는 결과 영상을 얻기 위해 기준이 되는 유사도 계산이 선행되어야하며, Ferns 알고리즘의 경우 최종 특징벡터가 히스토그램 형태이므로 본 논문에서는 히스토그램 교차방법을 이용하여 유사도를 계산하였다.

히스토그램 교차방법은 계산이 간단하고 유사도를 효율적으로 측정할 수 있다는 장점이 있어 대표적으로 사용되고 있으며 본 논문에서는 질의 영상의 특징벡터를 VQ, 참조 영상의 특징벡터를 VI로 정의하였고 실제 히스토그램의 구간에 존재하는 화소의 개수로 나타낸다. 정규화를 진행하는 방법은 식 (5)와 같다.

식 (5)에서 ck (VQ)와 ck(VI)는 색상 c 에 대한 영상 내 픽셀의 개수를 나타내고, 작은 값들의 합을 영상 전체의 유사도로 결정하기 위해 분모를 질의 영상의 픽셀 수로 정의하며, 식 (5)에서 계산된 값들을 더하여 분자로 설정하면 두 영상 간 유사도는 [0.0, 1.0]의 범위 내로 나타난다.

3.4.4 Ferns 알고리즘 기반 영상검색 시스템의 전체 알고리즘 설계

본 논문에서는 요구사항 분석, 점진적 학습, 특징량 및 특징벡터 추출 등을 통해 전체 알고리즘을 설계하였다. 설계한 Ferns 알고리즘은 Fig. 7과 같으며, 세부적인 내용은 다음과 같다.

Fig. 7.Video Search System Algorithm.

 

4. 영상검색 시스템 구현 및 평가

4.1 구현 환경

본 논문에서는 제안하는 Ferns 알고리즘 기반 밝기 및 회전 변화에 강인한 영상검색 시스템을 구현하기 위해 Windows 7 OS 환경에서 Visual Studio 2010을 사용하였으며, 개발을 위한 라이브러리로 OpenCV 2.4.6을 사용하였다. 구현 환경은 Table 1과 같다.

Table 1.Implementation environment

구현 및 평가는 콜롬비아 대학에서 유사연구를 위해 수집된 100개의 이미지에 대한 이미지 Data Setting인 Coil-100을 사용하였으며 각 이미지의 크기는 2.5cm(w)*2.5cm(h), 회전 변환은 5°씩 되어있다[17]. 또한 각각의 이미지는 객체화하여 단일 이미지로 생성한 후에 다수의 이미지와 영상검색을 실행한다. Fig. 8은 Coil-100 이미지 Data Setting의 일부 이미지를 나타낸 것이고, Fig. 9는 Coil-100 이미지 Data Setting에서 임의의 이미지를 회전시킨 그림이다.

Fig. 8.Coil-100 Image Data Setting.

Fig. 9.Converted Images.

4.2 UI

본 논문에서 제안하는 Ferns 알고리즘 기반 밝기 및 회전 변화에 강인한 영상검색 시스템의 User Interface (UI)는 Fig. 10과 같으며, 자세한 내용은 다음과 같다.

Fig. 10.User Interface.

4.3 성능 평가

성능 평가를 위해 Coil-100 이미지 Data Setting 의 이미지들을 사용하였으며, 사용된 이미지는 총 100장으로 각 이미지의 첫 번째 이미지를 선별하여 사용하였다.

또한 성능 평가를 위한 평가항목은 I. Daoudi et al.에서 제시하는 유사성 측정 항목을 사용하였으며, 평가항목은 다음과 같다[17].

성능 평가를 위한 평가항목으로 첫째, 회전의 강인함을 평가하기 위해 각 이미지들을 0°, 90°, 180°, 270° 로 회전 변환하여 평가를 진행하였다. 회전 변화에 따른 이미지는 Fig. 11과 같다.

Fig. 11.Converted Images.

둘째, 밝기변화의 강인함을 평가하기 위해 명암도를 높인 이미지와 원본이미지, 명암도를 낮춘 이미지를 대상으로 밝기변화를 평가하였다. 밝기 변화에 따른 이미지 변환은 Fig. 12와 같다.

Fig. 12.Brightness of Converted Images.

셋째, 성능 평가를 위한 지표로 Coil-100 Date Setting 100개의 이미지 중 오인식되지 않고 정확히 검출된 이미지들의 개수를 통해 정확도를 평가하였다. 평가는 Fig. 13과 같이 진행된다.

Fig. 13.Converted and Brightness Change Evaluation Images.

설계한 Ferns 알고리즘 기반 영상검색 시스템에 의한 검색 결과, 첫 번째 행은 검색 영상으로 밝기 및 회전 변화가 없는 원본 이미지이며 검색된 영상은 첫 번째 행렬부터 시작하고, 유사도에 따라 검색하여 정렬하게 된다. 성능 평가 결과는 다음과 같다.

Fig. 14는 밝기 변화가 50% 향상된 경우의 성능을 평가한 것이며, 성능 평가 결과 제안 알고리즘이 회전 변화에 따라 평균 약 91.75%, 컬러 히스토그램이 약 57.75%, CCV가 약 66%, SIFT가 약 85.25%로 나타났다.

Fig. 14.Performance Evaluation and Results in Accordance with Brightness Change High.

밝기 변화가 50% 향상된 경우, 제안 시스템은 최대 약 94%의 검출률을 보였으며 크기나 회전에 강인한 기존 SIFT 보다도 평균 약 6.5% 높은 검출률을 확인하였다. 이를 통해 밝기 변화가 향상된 경우에도 제안 시스템이 기존 시스템보다 밝기 및 회전 변화에 강인한 것을 확인하였다.

Fig. 15는 밝기 변화가 없는 경우의 성능을 평가한 것이며, 제안 알고리즘이 평균 약 92.5%, 컬러 히스토그램이 약 67.5%, CCV가 약 74.75%, SIFT가 약 90.75%로 회전 변화에 강인한 SIFT보다 약 1.75% 향상된 결과를 확인하였다.

Fig. 15.Performance Evaluation and Results in No Change in Brightness.

밝기 변화가 없지만 회전 변화는 있는 경우에 제안 시스템은 회전에 상관없이 약 90% 이상의 높은 검출률을 나타내었으나, 기존의 컬러 히스토그램, CCV, SIFT 방법들은 회전 변화에 따라서도 최대 약 11%의 검출 오차를 보이는 것을 확인하여 제안 시스템이 밝기 변화는 없고, 회전 변화는 있을 경우에도 영상 검출률이 강인하다는 것을 확인하였다.

Fig. 16은 밝기 변화가 50% 낮은 경우의 성능을 평가한 것이며, 제안 알고리즘이 평균 약 89.25%, 컬러 히스토그램이 약 52.25%, CCV가 약 59%, SIFT가 약 79.25%로 밝기가 낮은 상태에서도 회전 변화에 강인하다는 것을 확인하였다.

Fig. 16.Performance Evaluation and Results in Accordance with Brightness Change Low

본 논문에서 평가한 결과는 Coil-100 이미지 Data Setting을 개별적으로 생성하여 밝기와 회전 변화만 주었을 때의 결과 값이며, 기존 영상검색 시스템보다 영상 검출 능력이 향상된 것을 확인할 수 있었다.

제안하는 영상검색 시스템은 Ferns 알고리즘을 설계하기에 앞서 점진적 학습 단계 추가와 식별이용이한 특징점 추출을 통해 특징벡터간 의 유사도 검사를 적용하여 검출 성능을 높였기 때문에 기존 컬러 히스토그램, CCV, SIFT 보다 향상된 결과를 얻을 수 있었다.

그러나 본 논문에서 제안하는 영상검색 시스템은 점진적 학습 단계에서 회전된 영상만을 학습시켰기 때문에 밝기 변화가 없는 경우 0°와 180°에 대한 결과 값이 유사하게 나타났다. 이에 반해 밝기 변화를 적용한 결과 값에서는 차이점을 보이는 것을 확인하였다.

이를 통해 Ferns 알고리즘을 설계할 때, 점진적 학습 단계에서 세부적인 학습 내용을 제시하지 않으면 유사한 결과를 얻을 수 있다는 것을 확인하였으며, 기존의 영상검색 시스템의 경우 점진적 학습 단계가 적용되지 않고 색상의 특징점, 스케일 축을 통한 특징점 검출을 통해 영상을 검색하기 때문에 영상에 변화가 발생하면 검출 성능이 저하되는 것을 확인하였다.

본 논문에서는 제안하는 영상검색 시스템을 평가하기 위해 밝기 변화 없이 각각 0°, 90°, 180°, 270° 회전만 변화한 경우를 기준으로 밝기 상향, 밝기 하향 시의 성능 평가와 비교한 결과 밝기 변화에 따른 성능차이에서 제안하는 시스템이 평균 약 2%, 컬러 히스토그램이 평균 약 12.5%, CCV가 평균 약 12.25%, SIFT가 평균 약 8.5%로 나타났으며, 이를 통해 변화 폭이 평균 약 2%로 가장 적은 제안 시스템이 기존 시스템보다 밝기 및 회전 변화에 강인하다는 것을 확인하였다.

 

5. 결 론

기존의 영상검색 시스템 중 컬러기반의 영상검색 시스템인 컬러 히스토그램이나 CCV는 회전 변환에 강인하지만 밝기 및 색상변화에 취약한 문제점이 있으며, 형태기반의 영상검색 시스템인 SIFT은 영역 크기가 매우 커 연산량이 많을 뿐만 아니라 속도가 느리다는 문제점이 있다.

따라서 본 논문에서는 이와 같은 문제점을 개선하고자 Ferns 알고리즘을 기반으로 밝기 변화와 회전 변화에도 강인한 영상검색 시스템을 설계 및 구현하였다.

제안하는 시스템을 설계하기 위해 기존 영상검색 시스템의 문제점을 분석하고 영상검색 특징점을 추출하기 위해 FAST 알고리즘을 설계하여 이를 기반으로 검출된 특징점의 밝기 변화에 따른 특징 벡터를 추출하는 형태 기반의 Ferns 알고리즘을 활용하여 밝기 및 회전 변화에 강인한 영상검색 시스템을 설계 및 구현하였다.

또한 구현한 시스템과 기존 영상검색 시스템의 밝기 및 회전 변화에 대한 테스트를 평가하기 위해 밝기 변화 없이 회전 변화만 적용된 평가를 기준으로 상향 밝기, 하향 밝기의 성능 평가와 비교하였으며, 비교 결과 제안 시스템이 평균 약 2%, 컬러 히스토그램이 평균 약 12.5%, CCV가 평균 약 12.25%, SIFT가 평균 약 8.5%로 나타났으며, 성능 변화의 차이가 평균 약 2%로 가장 적은 제안 시스템이 기존 시스템보다 향상된 것을 확인하였다.

본 논문에서 제안하는 영상검색 시스템은 점진적 학습 단계에서 회전된 영상만을 학습시켰기 때문에 밝기 변화가 없는 경우 0°와 180°에 대한 결과 값이 유사하게 나타났다. 이에 반해 밝기 변화를 적용한 결과 값에서는 차이점을 보이는 것을 확인하였다.

향후 연구에서는 점진적 학습을 개선할 뿐만 아니라 영상 내 특징점 추출 외에 다른 다양한 특징정보를 이용한 검색 시스템에 대한 연구가 이루어져야 할 것이다.