랜드마크 코너 추출을 적용한 모바일 카메라 기반 위치결정 기법

Mobile Camera-Based Positioning Method by Applying Landmark Corner Extraction

Abstract

모바일 기기의 기술 발전과 대중화는 어디서든 사용자의 위치를 확인할 수 있으며 인터넷을 사용할 수 있도록 발전되었다. 그러나 실내의 경우 인터넷은 끊김없이 사용할 수 있지만 global positioning system (GPS) 기능은 활용하기 어렵다. 실내 공공장소인 백화점, 박물관, 컨퍼런스장, 학교, 터널 등 GPS가 수신되지 않는 음영 지역에서 실시간 위치정보 제공의 필요성이 증가하고 있다. 이에 따라 최근의 실내 측위 기술은 랜드마크 데이터베이스를 구축하기 위해 light detection and ranging (LiDAR) 장비를 기반으로 연구가 증가하고 있다. 본 연구에서는 랜드마크 데이터베이스 구축의 접근성에 초점을 두어 모바일 기기를 기반으로 랜드마크를 촬영한 단일 이미지와 사전에 구축된 랜드마크 데이터베이스 정보를 이용하여 사용자의 위치를 추정하는 기법을 개발하고자 하였다. 첫 번째로, 랜드마크 데이터베이스를 구축하였다. 랜드마크를 촬영한 모바일 이미지만으로 사용자 위치를 추정하기 위해서는 모바일 이미지에서 랜드마크 검출이 필수적이고, 검출된 랜드마크에서 고정적인 성격을 가진 지점의 지상좌표 취득이 필수적이다. 두 번째 단계에서는 bag of words (BoW) 영상 검색 기술을 적용해 랜드마크 데이터베이스 중 모바일 이미지가 촬영한 랜드마크를 유사한 4위까지 검색하였다. 세 번째 단계에서는 scale invariant feature transform (SIFT) 특징점 추출 기법과 Homography random sample consensus (RANSAC)을 통해 검색된 4개의 후보 랜드마크들 중 가장 유사한 하나의 랜드마크를 선정하였고, 이때 임계값 설정을 통해 정합점 수를 기반으로 한 차례 더 필터링을 수행하였다. 네 번째 단계에서는 대응된 랜드마크와 모바일 이미지간의 Homography 행렬을 통해 랜드마크 이미지를 모바일 이미지에 투사하여 랜드마크의 영역과 코너(외곽선)점을 검출하였다. 마지막으로, 위치추정 기법을 통해 사용자의 위치를 추정하였다. 해당 기술의 성능을 분석한 결과, 랜드마크 검색 성능은 약 86%로 측정되었다. 위치추정 결과와 사용자의 실제 지상좌표를 비교한 결과, 약 0.56 m의 수평 위치 정확도를 갖는 것이 확인되어 별도의 고가 장비 없이 랜드마크 데이터베이스를 구축하여 모바일 영상으로 사용자 위치 추정이 가능한 것을 확인하였다.

The technological development and popularization of mobile devices have developed so that users can check their location anywhere and use the Internet. However, in the case of indoors, the Internet can be used smoothly, but the global positioning system (GPS) function is difficult to use. There is an increasing need to provide real-time location information in shaded areas where GPS is not received, such as department stores, museums, conference halls, schools, and tunnels, which are indoor public places. Accordingly, research on the recent indoor positioning technology based on light detection and ranging (LiDAR) equipment is increasing to build a landmark database. Focusing on the accessibility of building a landmark database, this study attempted to develop a technique for estimating the user's location by using a single image taken of a landmark based on a mobile device and the landmark database information constructed in advance. First, a landmark database was constructed. In order to estimate the user's location only with the mobile image photographing the landmark, it is essential to detect the landmark from the mobile image, and to acquire the ground coordinates of the points with fixed characteristics from the detected landmark. In the second step, by applying the bag of words (BoW) image search technology, the landmark photographed by the mobile image among the landmark database was searched up to a similar 4th place. In the third step, one of the four candidate landmarks searched through the scale invariant feature transform (SIFT) feature point extraction technique and Homography random sample consensus(RANSAC) was selected, and at this time, filtering was performed once more based on the number of matching points through threshold setting. In the fourth step, the landmark image was projected onto the mobile image through the Homography matrix between the corresponding landmark and the mobile image to detect the area of the landmark and the corner. Finally, the user's location was estimated through the location estimation technique. As a result of analyzing the performance of the technology, the landmark search performance was measured to be about 86%. As a result of comparing the location estimation result with the user's actual ground coordinate, it was confirmed that it had a horizontal location accuracy of about 0.56 m, and it was confirmed that the user's location could be estimated with a mobile image by constructing a landmark database without separate expensive equipment.

1. 서론

최근 국토교통부에서는 터널, 빌딩 숲, 실내 등 multi global navigation satellite system (GNSS) 신호 차폐가 발생하는 음영 지역을 해소하고, 사용자에게 끊김 없는 실시간 위치정보를 제공하기 위해, 모바일 기기에 포함된 카메라, 관성 측정 장치(inertial measurement unit, IMU) 등 다양한 센서와 사물 인터넷(internet of things, IoT)을 활용한 개인 항법시스템(personal navigation system, PNS) 기술을 개발 중에 있다.

이 중 영상을 이용한 측위 기술의 경우, 주변의 구조물에 의한 영향을 받지 않고 실내외 지역에서 주변 환경정보의 활용이 가능하다는 점에 있어 GNSS 음영지역에서 끊김 없는 위치결정을 가능하게 하는 핵심 기술로 활용될 수 있다.

영상 정보를 활용한 측위 알고리즘은 주로 동영상을 활용한 visual odometry와 visual simultaneous localization and mapping (VSLAM)으로 구분할 수 있으며 주로 자율 주행 및 로보틱스 분야에서 연구되어 왔다. 각각의 대표적인 알고리즘으로는 direct sparse ometry (DSO)와 oriented FAST and rotated BRIEF (ORB) simultaneous localization and mapping (SLAM)으로(Mur-Artal and Tardos, 2014), 순수 단안 카메라만으로도 상대위치 및 자세 변화를 얻을 수 있어(Mirabdollah and Mertsching, 2015), 영상 정보 기반 항법 알고리즘에서 주목받고 있다. 그러나 영상 모바일 기기와 같이 단안 카메라의 경우, 동영상의 각 프레임 사이에 발생하는 이동량에 대한 축척 모호성 문제를 해결하지 않으면 신뢰할 수 있는 사용자 위치를 구할 수 없다.

본 논문에서는 모바일 기기에서 촬영된 단일 영상과 사전에 구축된 랜드마크 데이터베이스 정보를 이용하여 단일 영상 만으로 사용자의 위치를 개산하는 기법을 개발하고자 한다.

2. 연구방법 및 자료

2.1. 연구 방법

본 연구에서 제안하는 단일 영상 기반 측위 기법은 랜드마크 데이터베이스 구축을 위한 사전 준비 단계와 처리 단계로 구분할 수 있다. 처리 단계는 Fig. 1과 같이 4단계로 나누어 수행된다.

Fig. 1. Flow chart of the proposed method.

먼저 사용자가 촬영한 영상과 유사한 랜드마크 후보를 검색한다. 모바일 이미지에서 랜드마크의 영역정보(영상좌표)를 추출한다. 이후 랜드마크 데이터베이스에서 검색된 랜드마크의 지상좌표 정보를 전달받아 영상좌표와 결합된 형태로 측위에 사용되어 위치추정이 수행된다. 다음 그림은 객체 검색 및 위치 추정 과정을 나타낸다.

먼저, 랜드마크 이미지 검색을 위해 구축된 랜드마크 데이터베이스의 영상을 bag of words (BoW) 벡터로 이루어진 데이터베이스를 제작(Fei-Fei et al., 2005; Gálvez-López and Tardos, 2012)하고, 영상 매칭을 통해 산출된 설명자 데이터베이스를 제작한다. 이후 신규 촬영된 모바일 이미지가 입력되면 해당 이미지를 대표하는 BoW 벡터로 변환한 뒤 앞서 제작된 설명자 데이터베이스와 BoW 데이터베이스를 기반으로 vocabulary를 만들어 모바일 이미지의 BoW 벡터와 유사한 랜드마크 4개를 랜드마크 후보 이미지로 설정한다(Kim and Kim, 2015).

다음으로, 설정된 후보 이미지와 촬영된 모바일 이미지간 매칭을 수행하고 정합점 필터링을 통해 최종 단계에서 매칭에 성공한 정합점 수를 기반으로 후보 랜드마크 이미지 중 가장 유사한 1장을 선별한다. 이때 정합점 필터링을 위해 Homography random sample consensus (RANSAC) 기법(Riba Pi, 2015)을 활용해 랜드마크 이미지와 모바일 이미지간 호모그래피 행렬을 추정(Riba Pi, 2015)한다. 이후, 최종 선별된 랜드마크와 모바일 이미지의 호모그래피 행렬을 기반으로 랜드마크 이미지를 모바일 이미지에 투사변환하여 랜드마크의 영역정보(영상좌표)를 추출한다.

마지막으로, 랜드마크의 지상좌표를 전달받아 영역 정보와 대응시켜 5개의 ground control point (GCP)를 제작하고, perspective-n-point (PnP) 기법(Riba Pi, 2015)을 통해 카메라(사용자)의 위치를 추정한다.

2.1.1. 랜드마크 데이터베이스 구축

랜드마크 데이터베이스는 영상부와 좌표정보부로 나뉜다. 영상부는 랜드마크의 영상 데이터가 저장된 저장소이고, 좌표정보부는 랜드마크의 좌상단, 우상단, 좌하단, 우하단, 중심 지점의 지상좌표가 저장된 데이터베이스다. 본 논문에서 사용한 랜드마크의 영상부와 좌표 정보부의 구조를 다음과 같이 나타내었다(Figs. 2, 3).

Fig. 2. Sample of landmark image.

Fig. 3. Sample of ground coordinates.

본 논문에서는 랜드마크 선별을 위해 BoW를 라이브러리화 한 DBoW2를 활용하였다. DBoW2 라이브러리는 훈련 이미지들로부터 특징점과 설명자를 계산하여 BoW 벡터로 변환하고, 이를 군집화하여 랜드마크 이미지를 BoW 벡터로 표현한다. 신규 모바일 이미지가 입력되면 해당 이미지에 대한 Bow 벡터가 산출되고, 랜드마크 이미지와 모바일 이미지간의 유사도를 계산하여 후보 이미지를 도출하도록 하였다. 이때 산출되는 설명자를 데이터베이스화하여 파일 형태로 저장함으로써 기존에 제작한 설명자 데이터베이스를 읽어와 vocabulary를 생성할 수 있도록 설계하였다. 설명자 데이터베이스는 Fig. 4와 같이 제작된다.

Fig. 4. Example of landmark feature descriptor database.

Vocabulary는 tree형 데이터베이스로 구조화되는데, 이를 생성하기 위해서는 설명자 데이터베이스와 tree 구성을 위한 branch 수, level 단계 설정이 필요하다. 또한 유사도 산출을 위해서 유사도 산출 기법과 빈도수에 대한 가중치 부여 기법의 설정이 필요하다. Branch 수와 level은 훈련시킬 이미지의 양 및 사물의 다양성과 관련되어 word 분류에 영향을 미치는 계수이기에 훈련 이미지에 따라 실험적으로 결정이 필요하다.

2.1.2. 랜드마크 후보군 검색

본 과제에서는 랜드마크 후보군 선별을 위하여 BoW를 활용하였으며, 최대 4개의 유사한 후보 랜드마크를 검색하였다. BoW의 vocabulary tree 제작을 위해서는 7개의 branch와 4개 level을 활용하였다. 랜드마크 이미지의 양이 많지 않아 특정 word가 높은 빈도를 갖는 경향이 약하기 때문에 빈도수를 그대로 적용하는 term frequency (TF) 기법을 사용하였고, 유사도 측정을 위해서 2차원 평면 기반의 BoW 벡터간 측정 기법인 Level-2 Norm을 활용하였다. 특징점 추출과 설명자 연산을 위해서는 BoW와의 연계 성능이 우수한 것으로 검증되었던(Mur-Artal et al., 2015; Rublee el at., 2011) ORB 기법을 활용하였다.

2.1.3. 랜드마크 최종 선별 및 코너점 추출

본 과제에서는 모바일 이미지 촬영 시점의 위치를 추정하기 위해서 모바일 이미지와 랜드마크 이미지 간의 1:1 대응 관계가 되도록 랜드마크 후보군에서 가장 유사한 랜드마크 1장을 선별하고, 모바일 이미지에서 랜드마크의 영역을 추출하도록 하였다.

가장 유사한 1개의 랜드마크 선별을 위해 본 연구에서는 후보 이미지들과 모바일 이미지간 특징점 추출을 수행하였고, 매칭된 keypoint들에 대하여 Homography RANSAC을 수행하였다. 모바일 이미지와 랜드마크 이미지간의 특징점을 추출하고 필터링을 수행하여 기하적으로 유사성이 낮은 특징점을 제외하는 과정을 통해 정제된 매칭점을 취득할 수 있다.

이때 유사한 이미지간에 매칭이 수행되면 정제된 정합점의 수가 많고, 유사하지 않은 이미지간에 매칭이 수행되면 정합점의 수가 적다는 점을 이용하여 가장 유사한 랜드마크를 선별하였다. 그러나 모바일 이미지에서 촬영된 랜드마크가 아니지만, 랜드마크와 주변 환경의 조건이 유사하다면 정확한 선별에 실패할 가능성이 존재한다. 따라서 본 논문에서는 실험적으로 정합점의 수의 임계값을 설정하여 해당 임계값을 만족하지 못한 경우 동일한 랜드마크가 아닌 것으로 분류하였다.

특징점 추출을 위해서는 SIFT 알고리즘을 사용하였다. Pena (2011)에 의해 제안된 SIFT 정합 알고리즘은 스케일 공간상에서 feature를 찾는 알고리즘이다. 따라서 이미지의 스케일 변화, 회전변화, 다른 뷰포인트를 가진 이미지에서도 feature 추출이 가능하다는 장점이 있다.

Fig. 5. The result of scale-invariant feature transform (SIFT) feature extraction algorithm.

오정합점을 제거하는 Homography RANSAC 알고리즘은 두 이미지에서 추출된 매칭점 간의 오정합점을 필터링하고 호모그래피 행렬을 산출한다. 해당 행렬을 통해 랜드마크 이미지를 모바일 이미지로 투시변환을 수행함으로써 코너점과 중심점을 추출하였다. 다음은 모바일 이미지에서 특징점 추출 후 필터링된 매칭점(노란색 점)과 이를 기반으로 산출된 호모그래피 행렬을 기반으로 랜드마크 이미지의 코너점(외곽선)을 검출한 결과(초록선)이다.

Fig. 6. Ther esult of Homography random sample consensus (RANSAC) and corner extraction of landmark.

2.1.4. 사용자 위치 추정

본 논문에서는 모바일 촬영 이미지에서 랜드마크 객체를 탐지하고 영역정보와 지상좌표을 매핑하여 사용자 위치 추정을 위한 기준점으로 활용하였다. PnP 기법은 앞선2장에서소개한 Direct Linear Transformation (DLT) 모델의 한 종류로, 기하 변환행렬을 추정한다는 공통점이 있다. DLT의 경우 기준점으로 사용될 지상좌표가 하나의 평면에 존재하는 경우에 적용 가능하고, 최소 6개의 기준점을 필요로 한다. 반면 PnP 기법은 평면에 존재하는 경우 최소 4개 점만을 필요로 한다는 점에서 DLT와 구분되며, 하나의 평면이 아닌 경우 6개 점을 사용해 비선형 관계를 갖는 지상좌표일 때 유리하다. 또한, PnP 기법의 경우 더욱 세분화되어 지상기준점의 취득 조건 및 평면/비평면/반복추정/오정합 필터링 등의 조건에 따라 세분화된 알고리즘을 활용할 수 있다는 장점이 있다. 본 논문에서는 훈련 이미지로써 평면인 사물을 사용하였고 향후 실증 및 확장성 있는 훈련 이미지를 고려하여 PnP 기법을 활용하였다.

2.2. 연구 자료

랜드마크 구축 대상 지역은 GPS 측량을 위해 낮은 건물이 많은 인하대학교로 선정하였다. 랜드마크 이미지와 모바일 촬영 이미지는 Galaxy S22+ 기종의 일반 모드로 촬영하였다. 랜드마크 이미지는 정면인 상태에서 촬영하였고, 모바일 촬영 이미지는 랜드마크를 기준으로 좌-우 방향에서 취득하였다. 위치추정에 사용된 모바일 카메라의 내부표정요소는 카메라 캘리브레이션(calibration)을 통해 산출하였다. Table 1은 Galaxy S22+의 카메라 사양과 사용된 내부표정요소를 나타내었다.

Table 1. Specification of mobile camera and intrinsic parameters

랜드마크의 지상좌표와 모바일 이미지의 촬영 시점의 지상좌표 취득을 위해서는 GPS 측량을 수행하였다. 측량기기는 Trimble 사의 R4s 기기를 사용하여 측량을 수행하였다. Table 2는 측량기기의 사양을 나타내었다. 위 모바일 기기와 측량기기를 통해 구축한 랜드마크 데이터베이스는 Table 3과 같이 제작하였다. 좌표정보는 순서대로 좌상단(Top Left, TL), 우상단 Top Right, TR), 좌하단(Bottom Left, BL), 우하단(Bottom Right, BR), 중심점(Center)의 지상좌표를 나타낸다.

Table 2. Specification of trimble R4s

Table 3. Landmark image and ground coordinates

3. 연구결과 및 토의

3.1. 랜드마크 검색 결과

랜드마크를 촬영한 모바일 이미지를 입력하여 랜드마크 이미지를 후보 상위 4위까지 분류한 결과 대부분의 테스트 이미지에서 후보 4위 내에 랜드마크를 검색에 성공한 것을 확인할 수 있다. 10개의 랜드마크 중 Land#3의 경우 영상 기반의 측위를 위해 랜드마크로 사용하기에 특징점이 분명하지 않아 검색되지 않은 것이 확인되었다. 해당 랜드마크의 경우 영상기반의 측위에 적합하지 않은 것으로 판단되어 랜드마크 데이터베이스 구축에서 제외되어야 한다. 그러나 향후에는 다양하고 폭넓은 랜드마크 데이터베이스를 구축하기 위해 이러한 랜드마크도 고려되어야 할 것이다. Table 4는 테스 이미지별로 4개 랜드마크 후보에 대한 최종 정합점 수를 나타내었다. 가장 많은 정합점 수를 가진 랜드마크가 가장 유사한 랜드마크로 선정되며, 정합점 수가 가장 많아도 설정한 임계값보다 낮은 경우 최종 랜드마크 검색에 실패한 이미지로 분류되어 다음 단계로 이어지지 않는다. 랜드마크 검색 결과 49개의 모바일 이미지 중 42개(약 85.7%)에서 랜드마크 검색에 성공한 결과를 확인하였다.

Table 4. The result of candidate selection and that number of matched inliers

Table 5. Mobile images that failed to search landmark

랜드마크 검색에 실패한 모바일 이미지 7장을 분석한 결과, 과하게 틀어 촬영되었거나 특징점 추출에 어려운 조건의 구조를 가졌다는 점을 확인할 수 있다. 과하게 틀어 촬영한 경우 특징점 추출 성능 저하 요소가 되며, 특징점 추출에 적합하지 않은 이미지도 특징점 추출 성능 저하 요소가 되었다. 이러한 한계들은 추후 모바일 기기의 초기 위치를 고려하여 근접한 영역 내에 있는 랜드마크를 우선하여 검색하는 방법 등을 고안할 예정이다.

3.2. 사용자 위치 계산 결과

랜드마크 검색에 실패한 모바일 이미지를 제외한 나머지의 케이스에서 위치추정이 수행되었고, 사용자 위치의 지상좌표와 비교한 결과 올바른 방향과 함께 약 –0.6 m ~ 1.5 m 내에 촬영된 것을 확인할 수 있었고, 평균 0.56 m의 수평 위치정확도를 갖는 것을 확인하였다. 특정 랜드마크 이미지에서 위치추정이 이루어지지 않은 사례가 있었으나, 최대 5개 기준점을 활용한 Planar 방식으로 위치추정을 하였기 때문에 기준점의 정확도/평면 여부에 따라 결정되는 것으로 파악되었다.

Table 6. The accuracy assessment results of positioning

4. 결론

본 논문에서는 단일 영상을 기반으로 한 사용자 위치 추정 기술을 개발하였다. 사용자가 취득한 모바일 이미지를 기반으로 랜드마크 데이터베이스를 검색하고 모바일 이미지에서 랜드마크 영역을 산출함으로써 주요 객체를 탐지한 뒤, 위치 추정 기술을 적용하였다. 랜드마크 검색 기술은 BoW를 적용하여 랜드마크 후보군을 탐색하는 과정과 후보군과 모바일 이미지간의 특징점 추출 및 매칭 기술을 기반으로 Homography RANSAC을 적용하는 과정을 수행하였다. Homography RANSAC 수행 후 각 후보 랜드마크별 정합점 수에서 단순 임계값 처리를 통해 비유사 랜드마크를 한 차례 더 필터링하였다. 마지막으로 호모그래피 행렬을 기반으로 투시 변환하여 모바일 이미지에서 랜드마크 영역을 산출하여 위치 추정기술을 적용하였다

본 논문에서 개발한 단일 영상 기반의 사용자 위치 추정 기술은 육안으로 특징점 추출이 난해했던 랜드마크를 제외하고 약 86% 모바일 이미지에서 가장 유사한 하나의 랜드마크 검색에 성공하였다. 또한 위치 추정 결과를 모바일 촬영 위치의 지상좌표와 비교하였을 때 0.56 m의 수평 위치 오차를 갖는 것을 확인하였다.

본 논문에서는 랜드마크 데이터베이스를 기반으로 한 프로세스이기 때문에 취득과 가공이 쉽다는 장점이 있다. 또한 본 논문에서 활용한 모바일 폰과 비교하였을 때 컴퓨터 비전 분야에서 실내/외 측위에 활발히 사용중인 라이다 장비와는 경제적인 측면에서 우수하다. 또한 딥러닝 기술을 적용하지 않아도 객체 검출 기술이 우수한 성능을 보였다. 그러나, 본 논문의 모든 프로세스에서 영상의 밝기값을 기반으로 하기 때문에 랜드마크와 모바일 이미지의 취득 조건에 따라 성능이 불안정할 수 있다는 단점이 있다. 또한 앞서 랜드마크 검출에 실패하였던 랜드마크#3와 같이 어두운 랜드마크의 경우 랜드마크 데이터베이스 구축에 제한적이라는 단점이 있다. 이러한 한계들은 추후 모바일 기기의 초기 위치를 기반으로 근접한 영역 내에 있는 랜드마크를 우선하여 검색하는 방법 등을 고안하여 영상 밝기값에 덜 민감한 방안을 모색할 예정이다.