가상 텍스쳐 영상과 실촬영 영상간 매칭을 위한 특징점 기반 알고리즘 성능 비교 연구

Study of Feature Based Algorithm Performance Comparison for Image Matching between Virtual Texture Image and Real Image

Abstract

본 논문은 모바일 기반의 실시간 영상 측위 기술 개발을 목표로 사용자가 촬영한 사진과 가상의 텍스쳐 영상 간의 매칭 가능성 확인 연구로 특징점 기반의 매칭 알고리즘의 조합 성능을 비교했다. 특징점 기반의 매칭 알고리즘은 특징점(feature)을 추출하는 과정과 추출된 특징점을 설명하는 서술자(descriptor)를 계산하는 과정, 최종적으로 서로 다른 영상에서 추출된 서술자를 매칭하고, 잘못 매칭된 특징점을 제거하는 과정으로 이루어진다. 이때 매칭 알고리즘 조합을 위해, 특징점을 추출하는 과정과 서술자를 계산하는 과정을 각각 같거나 다르게 조합하여 매칭 성능을 비교하였다. 가상 실내 텍스쳐 영상을 위해 V-World 3D 데스크탑을 활용하였다. 현재 V-World 3D 데스크톱에서는 수직·수평적 돌출부 및 함몰부와 같은 디테일이 보강되었다. 또한, 실제 영상 텍스쳐가 입혀진 레벨로 구축되어 있어, 이를 활용하여 가상 실내 텍스쳐 데이터를 기준영상으로 구성하고, 동일한 위치에서 직접 촬영하여 실험 데이터셋을 구성하였다. 데이터셋 구축 후, 매칭 알고리즘들로 매칭 성공률과 처리 시간을 측정하였고, 이를 바탕으로 매칭 성능 향상을 위해 매칭 알고리즘 조합을 결정하였다. 본 연구에서는 매칭 기법마다 가진 특장점을 기반으로 매칭 알고리즘을 조합하여 구축한 데이터셋에 적용해 적용 가능성을 확인하였고, 추가적으로 회전요소가 고려되었을 때의 성능 비교도 함께 수행하였다. 연구 결과, Scale Invariant Feature Transform (SIFT)의 feature와 descriptor 조합이 가장 매칭 성공률이 좋았지만 처리 소요 시간이 가장 큰 것을 확인할 수 있었고, Features from Accelerated Segment Test (FAST)의 feature와 Oriented FAST and Rotated BRIEF (ORB)의 descriptor 조합의 경우, SIFT-SIFT 조합과 유사한 매칭 성공률을 가지면서 처리 소요 시간도 우수하였다. 나아가, FAST-ORB의 경우, 10°의 회전이 데이터셋에 적용되었을 때에도 매칭 성능이 우세함을 확인하였다. 따라서 종합적으로 가상 텍스쳐 영상과 실영상간 매칭을 위해서 FAST-ORB 조합의 매칭 알고리즘이 적합한 것을 확인할 수 있었다.

This paper compares the combination performance of feature point-based matching algorithms as a study to confirm the matching possibility between image taken by a user and a virtual texture image with the goal of developing mobile-based real-time image positioning technology. The feature based matching algorithm includes process of extracting features, calculating descriptors, matching features from both images, and finally eliminating mismatched features. At this time, for matching algorithm combination, we combined the process of extracting features and the process of calculating descriptors in the same or different matching algorithm respectively. V-World 3D desktop was used for the virtual indoor texture image. Currently, V-World 3D desktop is reinforced with details such as vertical and horizontal protrusions and dents. In addition, levels with real image textures. Using this, we constructed dataset with virtual indoor texture data as a reference image, and real image shooting at the same location as a target image. After constructing dataset, matching success rate and matching processing time were measured, and based on this, matching algorithm combination was determined for matching real image with virtual image. In this study, based on the characteristics of each matching technique, the matching algorithm was combined and applied to the constructed dataset to confirm the applicability, and performance comparison was also performed when the rotation was additionally considered. As a result of study, it was confirmed that the combination of Scale Invariant Feature Transform (SIFT)'s feature and descriptor detection had the highest matching success rate, but matching processing time was longest. And in the case of Features from Accelerated Segment Test (FAST)'s feature detector and Oriented FAST and Rotated BRIEF (ORB)'s descriptor calculation, the matching success rate was similar to that of SIFT-SIFT combination, while matching processing time was short. Furthermore, in case of FAST-ORB, it was confirmed that the matching performance was superior even when 10° rotation was applied to the dataset. Therefore, it was confirmed that the matching algorithm of FAST-ORB combination could be suitable for matching between virtual texture image and real image.

1. 서론

최근국토교통부에서는Multi-GlobalNavigation Satellite System (GNSS), 영상, 다중신호, 센서융합 등을 이용해 다양한 이동환경(보행, 차량, 드론) 등에서 GNSS 음영지역(지하, 터널, 실내 등)을 해소하고 끊김 없는 실시간 위치정보를 제공하기 위한 플랫폼 기술을 개발 중에 있다. 그 중 GNSS 음영지역에서 끊김 없는 위치결정을 위해 영상기반 측위가 이를 가능하게 하는 핵심 기술로 나타났다. 영상 기반의 실시간 측위는 영상 센서에서의 정밀 모델링 및 표정요소 추정을 통해 영상 내기하를 해석하여 상대 위치를 결정하고, 영상 촬영 당시의 자세값을 추정하는 기술이다. 본 논문에서는 특징점(feature) 기반의 영상 매칭(image matching) 알고리즘을 통해 기준자료와 사용자의 촬영물로부터 매칭점을 추출함으로써 측위 이전 단계에서 초기 사용자 위치를 추정하는데 추출된 매칭점을 활용할 수 있다.

영상 기반 실시간 측위에 대한 최근 연구조사에 따르면 다음과 같은 개략적인 과정으로 영상 측위가 수행된다(Tomono, 2010; Kim et al., 2014). 먼저 영상측위 기술을 적용할 테스트베드를 설정하여 미리 여러 각도로 촬영한 뒤, 데이터베이스를 구축함으로써 데이터셋을 구성한다. 다음으로, 해당 데이터셋을 학습시켜 사용자가 새로 촬영한 영상을 입력 받아 새로운 촬영물이 어떤 장소에서 촬영된 영상인지 유사도를 계산하여 가장 높은 값이 측정된 영상을 최종 선정한다. 이후, 영상 매칭을 통해 두 영상간 타이포인트(tiepoint)를 취득하고, 최종적으로 최소 3점의 타이포인트와 카메라의 초기 위치/자세를 통해 사용자의 위치를 계산한다. 위 과정의 기반에는 기준자료 구축 시 실제 촬영물로 구성된 데이터셋이 필요하다는 제약조건이 존재한다. 그러나, 실제 촬영물로 구성된 데이터셋은 실시간 데이터 공급 용이성 및 접근성이 다소 좋지 않다는 단점이 있으며 실시간 영상 측위 기술을 뒷받침하기 위해서 실제 촬영물 기반으로 데이터셋을 구성하기 어렵다. 따라서, 본 연구에서는 실시간 영상 측위를 위해 데이터 공급 용이성 및 접근성이 충족된 V-World를 활용하여 데이터셋을 구축하였으며, 이에 따라 가상 텍스쳐 영상과 실제 사용자가 촬영한 영상과의 매칭을 수행하였다. 특히 가상 텍스쳐 영상은 영상에 포함된 구조물의 형태 및 밝기값 히스토그램이 실제 구조물과 달라 일반적인 매칭 알고리즘으로는 매칭 성공률을 비롯한 정확도의 면에서 보장받기 어려워 이를 보완하기 위한 연구를 수행하는 것이 본 연구의 의의이다.

영상 매칭 기법으로는 특징점 기반의 영상 매칭 기법과 영역기반의 영상 매칭 기법이 존재한다. 영역기반 매칭 기법은 각 영상의 이동창(moving window)을 이용해 이동창을 대표할 수 있는 통계값을 연산하는 과정과, 타겟 영상에서 유사도를 측정하는 과정으로 나뉜다(Jiang et al., 2021). 특징점 기반 영상 매칭 기법은 주로 매칭하려는 두 영상에서 keypoint로 대표할 수 있는 특징점을 추출하는 과정과 이 특징점에 대한 정보를 나타내는 서술자 연산 과정으로 나뉜다(Pena, 2011). 이 중 특징점 기반 영상 매칭 기법이 매칭 소요 시간이 작다는 장점이 있어 실시간 매칭의 수요가 있는 분야에서 활용도가 높다. 따라서 본 연구에서는 특징점 기반의 매칭 기법을 활용해 실시간 매칭이 가능하면서 우수한 매칭 성공률을 가질 수 있도록 매칭 알고리즘 조합을 비교하고자 한다. 본 연구에서는 Scale Invariant Feature Transform (SIFT) (Kang et al., 2009; Lee et al., 2006), Speeded Up Robust Features (SURF) (Lee et al., 2006; Bay et al., 2006; Kim et al., 2012), Features from Accelerated Segment Test (FAST) (Jung and Yoo, 2015), Oriented FAST and Rotated BRIEF (ORB) (Rublee et al., 2011; Luo et al., 2019) 매칭 알고리즘을 활용해 매칭 조합을 결정하였다.

2. 연구 방법

본 연구에서 적용한 연구 방법은 Fig. 1에 따라 수행하였다.

Fig. 1. Flow of experiment.

기준 이미지(reference image)로는 V-World에서 취득한 가상 텍스쳐 영상을 입력하고, 타겟 이미지(target image)로는 실제 카메라로 촬영한 영상을 입력하였다. 이때, 두 영상이 갖는 뷰포인트를 일치시켜 정면을 바라보도록 영상을 촬영하였다. 매칭 알고리즘의 조합을 결정하기 위해서 매칭 알고리즘별 특장점을 기반으로 알고리즘을 조합하였다. 마지막으로, 입력한 기준/타겟 영상을 조합된 각 매칭 알고리즘을 통해 매칭을 수행하고 매칭 성공률(%)과 매칭 소요 시간(ms)을 측정하여 가상 텍스쳐 영상과 실촬영 영상간의 매칭 성능 향상을 위한 매칭 알고리즘 조합을 결정하였다. 나아가 데이터셋의 회전 조건에 따라 매칭 성능에 영향을 미치기에, 타 연구사례에서 제안된 매칭 알고리즘을 본 연구의 데이터셋에 적용하여 매칭 성능을 분석하였다. 이때, 해당 연구사례에서 데이터셋에 적용한 회전 조건을 본 연구의 데이터셋에 적용하였을 때에도 제안된 매칭 알고리즘이 최적의 성능을 갖는지 분석하였다.

1) 데이터셋 구축

가상의 텍스쳐 영상은 V-World 3D 데스크탑의 실내 공간정보서비스를 이용하였고, 실촬영 영상과 동일한 뷰포인트로 View 각도를 고정한 상태에서 객체를 캡쳐해 데이터를 취득하였다. 실촬영 영상은 스마트폰 기기로 가상 텍스쳐 영상과 동일한 객체를 촬영하였고, 이때 카메라 센서의 자동 초점 잡기 기능을 꺼 배경 블러가 없는 상태에서 촬영하였다. Table 1에 촬영에 활용한 스마트폰 기기의 사양을 나타내었고, Table 2에 연구를 위해 각 플랫폼을 통해 구축한 데이터의 영상과 크기를 나타내었다.

Table 1. Smart phone specification used for capture

Table 2. Dataset used for experiment

Table 2를 살펴보면 각 데이터셋마다 구별된 특징으로 분류할 수 있다. Set A, B는 두 영상(reference image, target image) 간 핵심 구조물의 형태와 이를 둘러싼 배경의 형태 및 구조가 서로 유사하다는 특징이 있다. Set C, D, E는 하나의 영상에 동일한 핵심 구조물이 2개 이상 인접하다는 특징이 있으며, Set F, G는 두 영상간 핵심 구조물이 유사하지만 이를 둘러싼 배경의 형태와 구조에 차이가 존재하다는 특징이 있다. Set H는 두 영상간 핵심 구조물의 형태가 변형되었지만 특징점 추출에 용이한 텍스쳐가 풍부하다는 특징이 있다. 본 논문에서는 데이터셋 별로 매칭을 수행해 매칭 성능을 분석하였고, 각 데이터셋이 가진 특징을 기반으로 매칭 성능을 분석하였다.

2) 매칭 알고리즘 조합

매칭 기법 조합을 위해 적용 가능한 오픈 소스로는 대표적으로 SIFT, SURF, FAST, ORB 등이 있다. SIFT 매칭 기법은 가우시안 차연산 영상(difference of Gaussian, DoG)을 생성해 두 DoG 간 차연산을 수행하고, 영상의 Gradient를 계산해 특징점의 방향성을 연산한다(Kang et al., 2009). SIFT 매칭 기법은 많은 특징점을 추출할 수 있는 매칭 알고리즘이며, 스케일, 뷰포인트, 회전에 강인하면서 풍부한 descriptor 정보를 가져 매칭 성능이 우수하다는 장점이 있으나, 속도가 느리다는 단점이 있다 (Lee et al., 2006). SURF 매칭 기법은 다중-스케일 공간 이론을 기반으로 하며, SIFT 매칭 알고리즘의 속도를 개선한 알고리즘이다(Lee et al., 2006; Bay et al., 2006). 특징점 검출을 위해 Hessian 검출기를 사용하고, 이때 관심점(point of interest, PoI)을 기준으로 원형 영역으로부터 자세를 정렬한 뒤 wavelet response를 계산해 최대 ±15°의 회전까지 강인함을 갖는다는 장점이 있다(Kim et al., 2012). FAST 매칭 기법은 영상의 특징점 후보를 중심으로 원모양의 16개점의 밝기값 중 네 방향의 밝기값만을 비교해 빠르게 코너점을 찾는 방식이다. 따라서 FAST 매칭 기법은 특징점을 빠르게 추출할 수 있다는 장점이 있다(Jung and Yoo, 2015). ORB 매칭 기법은 Fast 매칭 알고리즘의 특징점 추출 과정과 BRIEF의 서술자 연산 알고리즘을 개선하여 결합한 매칭 기법이다. ORB에서 는 코너점 위주의 특징점이 추출되도록 개선되었으며 (Rublee et al., 2011), 스케일 공간 상의 특징점을 사용하기 때문에 스케일 변화에 강인하다는 장점이 있고, 서술자 연산 시 방향성을 고려한 서술자를 생성하도록 개선되어 회전 변화에 강인하다는 장점이 있다(Luo et al., 2019).

본 연구에서는 실시간 모바일 영상측위 기술에 적용되는 매칭 기법을 선정하기 위해, 매칭 소요 시간과 매칭 성공률에 초점을 두었다. 기존 연구사례를 보면, FAST-SIFT 매칭 조합의 경우 시점 변화에 강인한 매칭 알고리즘 조합으로 제안되었다(Yıldırım et al., 2019). FAST 특징점 추출 과정은 특징점을 빠르게 추출해 실시간 매칭이 가능하기 때문에 선정되었고, SIFT 서술자 연산 과정은 추출된 특징점에 대해 128차원의 풍부한 정보를 가져 후보로 선정되었다. SIFT-SIFT 조합의 경우 속도가 느리지만 정밀한 조합이고, FAST-ORB 조합의 경우 처리 속도가 빠르지만 다양한 스케일을 고려하지 않은 조합이기에 비교를 위해 후보로 선정하였다. ORB-ORB 조합의 경우, 처리 속도가 빠르면서 대체적으로 회전, 스케일 변화에도 준수한 매칭 성능을 가져 범용적으로 사용되는 매칭 알고리즘이기에 후보로 선정되었다. 마지막으로 SURF-SURF 조합의 경우, 처리 속도가 빠르면서 회전변화에 강인하고, SIFT 매칭 알고리즘만큼 정밀하기에 후보로 선정되었다. 따라서 본 연구에서는 SIFT-SIFT, FAST-SIFT, FAST-ORB, ORB-ORB, SURF-SURF으로 매칭 알고리즘의 후보 조합을 결정하였다.

오정합점 제거를 위해서는 두 영상에서 산출된 특징점의초기 descriptor간 Hamming거리(Bookstein et al, 2002)를 기반으로 초기 필터링을 수행하였고, 매칭점의 기하조건을바탕으로오정합점을제거하는RANdomSAmple Consensus (RANSAC)을 활용하였다. Descriptor 간의 거리를 계산하기에 앞서, 다중 매칭된 매칭점들을 최소화하고 각 매칭점들간의 안정적인 일치도를 유지하기 위해 기준영상의 특징점에 매칭된 매칭쌍의 수가 2개 미만일 때 오정합으로 판단하여 제거하였다. 이후, 매칭쌍간 유사도를 계산해 유사성이 큰 매칭점들만 남겨 정제하였다. 이때 유사도 임계값은 0.7배로 설정하였다. 특징점의 기하조건을 바탕으로 오정합점을 제거하기 위해서는 매칭쌍에 대한 정보를 바탕으로 fundamental matrix를 산출하였다. 이때 재투영 임계값으로 12를 설정하였고, 신뢰도 99%로 추정하였다. RANSAC을 이용한 오정합 제거 후, 특징점간 다중 대응관계인 점들을 한번더 제거해 최종 매칭점을 추출하였다.

3. 연구결과

Feature detection과 image matching 기술에 대한 다양한 성능 평가기법들이 존재한다. 본 연구에서는 최종 연산된 Inlier 매칭점(number of inlier, NI)들이 실제로 각 영상에서 매칭에 성공한 매칭점(number of success matching, NSM)인지 확인해 성공한 점의 수를 나타내어 이에 대한 비율(matching success rate, MSR)을 계산하였으며, feature 추출과 descriptor 연산에 소요된 시간 (matching process time, MPT)을 micro seconds 단위로 측정하였다. 매칭 성능은 Table 3에 기술한 컴퓨팅 환경에서 Table 4와 같이 계산되었으며, 이를 Fig. 2에 그래프로 나타내었고, 최종 산출된 매칭점들의 위치를 Table 5와 같이 나타내었다.

Table 3. Specification of computing environment

Table 4. Performance results per image matching algorithm combination for each dataset

Fig. 2. Matching performance per image matching algorithm combination for each dataset.

Table 5. Matching results (SIFT-SIFT, FAST-ORB) per matched image

\(\begin{aligned}\text { 매칭성공률}(M S R)=\frac{\text { 매칭 성공한 매칭점수 }(N S M)}{\text { 최종 연산된 Inlier 매칭점 }(N I)}\\\end{aligned}\)       (1)

Table 4와 Fig. 2를 매칭 알고리즘 성능 관점에서 살펴본다면 각 데이터셋 별 측정된 매칭 성공률은 SIFTSIFT매칭 조합과 FAST-ORB 매칭 조합이 우수하게 나타났고, 매칭 소요 시간은 ORB-ORB 매칭 조합과 FASTORB 매칭 조합이 가장 우수하게 나타났다. SIFT-SIFT 매칭 조합의 경우, 스케일과 회전에 강인한 알고리즘이지만 많은 연산량으로 매칭 소요 시간이 크다. 따라서 대부분의 데이터셋에서 높은 매칭 성공률을 보였지만, 매칭 소요 시간은 가장 느린 것이 확인되었다. ORB-ORB 매칭 조합의 경우, 특징점 추출 과정과 서술자 연산 과정에 회전 요소가 고려된다는 장점이 있지만 회전이 존재하지 않는 데이터셋 간에도 우수한 매칭 성능을 보이는 것을 확인하였다. 그러나, ORB 기법으로부터 추출된 특징점들은 두 영상에서의 특징점을 두드러지게 하는 최대의 분산을 갖도록 조정하는 방식으로 추출하기에 (Figat et al., 2014), 하나의 영상에 동일한 구조물이 여러개 존재하는 데이터셋에서는 다른 조합에 비해 취약한 것을 확인하였다. 위 ORB 매칭 기법의 특징점 추출 과정에서 보였던 한계점을 보완하기 위해 적용된 FASTORB매칭 조합의 경우 영상에서 특징점을 빠르게 추출할 수 있고, 서술자 연산 시 회전이 없는 영상에서도 우수한 매칭 성능을 보였다. 데이터셋의 관점에서는 데이터셋 A, B의 경우 유일한 핵심 구조물이 존재하면서 구조물을 둘러싼 배경의 밝기값 및 구조가 유사해 모든 매칭 알고리즘에서 매칭 성공률이 높게 측정되었다(Table 5: A and B). 데이터셋 C, D, E의 경우 영상에 동일한 2개 이상의 핵심 구조물이 인접해 매칭 결과 인접한 구조물이 구분되지 않아 매칭 알고리즘의 한계점에 의해 다수의 오류가 존재하였다(Table 5: C, D, and E). 데이터셋 F, G의 경우 핵심 구조물 이외의 배경이 실제 영상과 밝기 값 차이 및 변화된 형태로 인해 매칭에 실패하거나 매칭 알고리즘의 한계점에 의해 다수의 오류가 존재하였다 (Table 5: F and G). 데이터셋 H의 경우, 핵심 구조물의 형태에 변화가 존재하였지만, 특징점 추출에 용이한 텍스쳐가 풍부해 대부분의 매칭 알고리즘에서 높은 매칭 성공률을 가짐을 확인하였다(Table 5: H).

Google Earth Pro로부터 취득한 다시기 영상을 기반으로 매칭 성능을 분석한 연구사례에 의하면, FAST-SURF 조합의 매칭의 경우 –30° to –15°, 15°–30° 회전된 이미지간 매칭 성능이 우수하고 매칭 소요 시간도 우수하다고 보고되었다(Bayraktar et al., 2017). FAST 매칭 알고리즘의 경우, 매칭 소요 시간 단축이 가능하다는 장점이 있고, SURF 매칭 알고리즘의 경우 스케일과 회전에 강인하다는 장점이 있다. 따라서, FAST-SURF조합의 경우 처리 속도의 면에서 우월하기에 SIFT를 대신할 수 있는 알고리즘 조합으로 제안되었다. 본 연구에서는 사용자가 촬영한 영상을 입력 받아 매칭을 수행하기 때문에, 위 연구사례와의 비교를 위해 10° 회전이 적용된 데이터셋을 구축하였다. 실험을 위해서는 정면의 실촬영 영상과 회전 요소가 반영된 실촬영 영상 간의 매칭 (실촬영 – 회전 실촬영) 후 매칭 성능을 측정하였고, 정면의 가상 텍스쳐 영상과 회전 요소가 반영된 실촬영 영상 간의 매칭(가상 – 회전 실촬영) 후 매칭 성능을 측정해, 해당 연구 사례와 유사한 데이터셋을 활용했을 때 (실촬영 – 회전 실촬영) 대비 가상 텍스쳐 영상을 활용 (가상 – 회전 실촬영)했을 때 제안된 매칭 알고리즘 조합의 성능을 확인하였고, 가상 – 회전 실촬영 데이터셋의 경우에 적합한 매칭 알고리즘 조합을 분석하였다.

대조군 형성을 위해, 본 연구에서 구성한 데이터셋 중 핵심 구조물 외 배경에서도 유사한 밝기값 및 구조를 가졌던 데이터셋 B를 대표로 하여 정면을 바라보는 실체 촬영 영상(B_R0)과 10° 회전한 실제 촬영 영상(B_R10)간에 매칭을 수행하고, 비교군 형성을 위해, 정면을 바라보는 가상 텍스쳐 영상(B_V0)과 5°, 10°, 15° 회전한 실제 촬영 영상(B_R10) 간의 매칭을 수행하였고, 회전의 요소가 미치는 영향을 확인하기 위해 핵심 구조물 내에서만 매칭을 수행할 수 있도록 하였다. 매칭 성공률과 처리 시간을 측정한 결과는 Table 6에 나타내었고, Fig. 3에 그래프로 나타내었다.

Table 6. Performance result per matching between forward image and rotated image

Fig. 3. Matching performance per image matching algorithm with dataset that applied rotation (5°–15°).

Table 6과 Fig. 3을 살펴보면, 회전각을 증가시켜도 우수한 매칭 성공률이 유지되는 매칭 알고리즘(SIFTSIFT, ORB-ORB, SURF-SURF)이 존재하는 반면, 매칭성능이 떨어지는 매칭 알고리즘(FAST-ORB, FAST-SIFT, FAST-SURF)이 존재한다.

그 중 SIFT-SIFT는 회전과 스케일에 강인한 특징점 추출 및 서술자 연산 과정을 갖기 때문에 매칭 성능이 가장 우수하게 측정된 것을 확인하였고, 많은 연산량으로 인해 매칭 소요시간이 가장 크게 측정되었다 ORB-ORB의 경우에도 특징점 추출 및 서술자 연산 시 모두 회전 요소가 고려(Karami et al., 2017)되기 때문에 회전각이 커짐에도 매칭 성능이 유지되는 것을 확인하였고, 매칭 소요 시간도 가장 우수하게 측정되었다. SURF-SURF는 스케일과 회전에 강인하게 하기 위해 SIFT를 개선한 알고리즘(Kim et al., 2016; Karami et al., 2017)이기에 매칭 성공률이 우수하게 측정되었고, 서술자 연산 시 SIFT보다 속도가 빨라 SIFT-SIFT 조합보다 더 빠른 매칭 소요시간이 측정되었다. 특징점 추출 과정으로 FAST가 활용된 경우에는 특징점 추출 시 회전 요소가 고려되지 않아 어떠한 서술자 연산 기법들과 매칭되어도 두각을 보이지 못한 것을 확인할 수 있었다. 그러나 회전이 없는 영상간에 특징점 추출 시 FAST의 매칭 성능은 Table 4와 Fig. 2에서 우수한 것을 확인할 수 있었으며, 회전된 영상과의 매칭 시 성능 유지를 위해서 추가적인 전처리가 매칭 이전에 이루어진다면 영상이 회전되어도 우수한 매칭 성능을 보일 것으로 예상된다. 따라서, 가상 텍스쳐 영상과 실촬영 영상간 매칭을 위해서는 FAST-ORB 매칭 조합이 적합할 것으로 판단되며, 향후에는 회전 또는 배경의 변화에 의한 매칭 오류를 보완하는 연구가 필요할 것으로 판단된다.

4. 결론

본 논문에서는 가상 텍스쳐 영상과 실촬영 영상간 매칭 성능 향상을 위한 알고리즘 조합을 제안하였다. 가상 텍스쳐 영상으로 V-World의 실내공간정보 컨텐츠를 활용하였으며, 해당 뷰포인트에 맞추어 직접 촬영한 영상과 매칭을 수행하였다. 매칭 알고리즘 조합은 매칭 알고리즘 별 특장점을 조합해 후보로 선정하였으며, 매칭 성능 평가를 위해 추출된 최종 매칭점들 중 매칭에 성공한 점의 비율을 계산하였고, 매칭에 소요된 시간을 측정하였다. 정면이 촬영된 두 영상 간의 매칭을 위해서는 SIFT-SIFT, FAST-ORB, ORB-ORB 조합의 매칭 알고리즘이 매칭 성공률이 높게 측정되었으며 FAST-ORB 매칭 알고리즘의 경우 SIFT-SIFT 매칭 알고리즘에 비해 매칭 소요 시간이 작게 측정되었고, 동일한 구조물이 2개이상 존재하는 영상간의 매칭에도 ORB-ORB 매칭 알고리즘에 비해 우수한 매칭 성능을 보였다. 따라서, 가상 텍스쳐 영상과 실촬영 영상간 매칭을 위해 FAST-ORB 매칭 조합으로 매칭을 수행할 때 실시간 매칭이 가능함을 보였다.

향후 연구에서는 회전 및 배경 변화로부터 발생한 매칭 오류를 보완하는 연구가 수행될 필요가 있다. 또한, 본 논문에서 제안한 매칭 알고리즘을 실외 가상 텍스쳐 건물 영상과 실촬영 영상에 적용하여 매칭 성능을 분석하고, 이에 영향을 주는 변수를 통제하기 위한 추가적인 기술을 고안하여 매칭 알고리즘과 함께 적용한다면 실시간 실외 영상측위에 적용할 수 있을 것으로 기대한다.