Image Matching-based Mobile Application Providing Indoor Place Information

영상 매칭 기반 실내 장소 안내 모바일 어플리케이션

Abstract

A person often needs to visit a facility that have not been visited before. In this case, it is necessary to easily identify the building in which the facility is located. Indoor navigation is also important, as the person may get lost due to the complex structure of buildings. To solve these problems, this paper presents a mobile application which provides a user with indoor place information and indoor navigation. A user is requested to take a photograph of a building of interest or of the current location. Then, the proposed application identifies the building of interest or the current location of the user by utilizing an image matching technique. For fast matching, database filtering by using GPS/magnetometer data and pre-extraction of features for images in the database are utilized. In case of indoor navigation, the application provides the actual images of check points as well as the moving direction. Simulation results show that the proposed system successfully identifies the location of users and provides place information and indoor navigation.

1. 서 론

교통수단이 발달하면서 사람들의 생활 범위가 넓어지고 있다. 과거에는 자기 지역에만 국한되었던 것이 현재는 국내의 다른 도시, 더 넓게는 다른 국가까지 생활 범위가 확장되었다. 그 결과 한 번도 방문하지 않은 시설이나 공간을 찾아가는 경우가 과거에 비해 빈번하게 발생하게 되었다.

한 번도 방문하지 않았던 시설을 설명 없이 찾아가는 것은 어려운 일이다. 만약 방문하려는 시설이 건물 내부에 존재하는 경우 먼저 해당 시설이 어떠한 건물에 존재하는지를 알아내야 한다. 이를 위해서는 Fig. 1(a)와 같이 각 건물 내에서 제공되는 건물 내부 정보를 활용할 수 있다 [1]. 이 방법은 각 건물 내부를 일일이 들어가야 하는 문제점을 가지고 있다. 또한, Fig. 1(b)와 같이 웹상에서 제공하는 각 건물 혹은 건물 간의 종합안내도를 스마트폰으로 검색하여 원하는 정보를 획득할 수 있다 [2]. 이 방법은 스마트폰의 화면 크기 제한으로 인해 사용자가 자신이 원하는 장소에 대한 정보를 획득하기까지 여러 번의 줌인-줌아웃 기능을 수행해야 하는 번거로움이 있다.

Fig. 1.Conventional services providing place information. (a)Place information table attached inside a building[1] (b)Place information map provided via the Internet[2]

사전 검색을 통해 방문하고자 하는 시설이 위치하고 있는 건물을 알고 있더라도 사용자가 해당 목적지를 찾아가는 것이 어려울 수 있다. 이는 현대 사회의 건축물들은 점점 대형화되고 복잡해지고 있기 때문이다. 이러한 문제를 해결하기 위해 실내 내비게이션에 대한 많은 연구가 수행되어져 왔다 [3]. 그 중 Wi-Fi, Beacon등을 활용한 실내 내비게이션 기술이 현재 상용화되고 있다 [4,5]. Wi-Fi 기반 실내 내비게이션은 Wi-Fi AP(Access Point)의 신호세기를 활용한다. 이 기법은 Wi-Fi AP의 신호세기가 항상 일정하지 않아 오차가 누적되어 실내 내비게이션 수행 결과가 부정확할 수 있고, Wi-Fi AP 설치가 필요하다는 단점이 있다. Beacon 기반 실내 내비게이션은 사용자가 소지하고 있는 Beacon의 신호를 통해 사용자의 위치 인식을 수행한다. 이 기법 또한 사용자가 Beacon을 장착한 기기를 사용해야 하는 단점이 있다. 별도의 장비 설치가 필요하지 않는 실내 내비게이션 서비스 또한 제안되었다[6,7]. 제안된 서비스는 Fig. 2와 같이 해당 건물에 대한 단면도 혹은 3D 지도를 사용자에게 제공한다. 그러나 이러한 서비스는 실내 지도 데이터베이스를 다운로드 해야 하는 단점이 있으며, 가상 이미지를 사용하기 때문에 사용자가 장소를 인식하는 데 어려움을 겪을 수 있다. 마지막으로 인공 마커를 부착하여 이를 카메라를 통해 추출하는 기법이 제안되었으나, 해당 기법은 인공 마커의 부착으로 인해 건물 내 미관을 해칠 수 있는 단점이 있다[8].

Fig. 2.Indoor navigation services without special devices. (a)Indoor navigation service provided by COEX mall [6] (b) Indoor navigation service provided by Seoul city hall [7]

이러한 실내 장소 안내 서비스의 문제점을 보완하기 위해 본 논문에서는 영상 매칭에 기반을 둔 실내장소 안내 어플리케이션을 제안한다. 제안 어플리케이션은 사용자의 스마트폰을 통해 사용자가 관심 있는 건물에 대한 정보를 제공하거나 사용자의 현재 위치로부터 목적지까지의 경로를 제공한다. 이를 위해 사용자의 관심 건물 및 현재 사용자의 위치를 영상 매칭 기술을 활용하여 인식하며, 각 건물 내 중요 위치에 대한 영상 정보를 사전에 촬영하여 실내 내비게이션에 활용한다. 제안 어플리케이션은 Wi-Fi AP나 Beacon 등 별도의 장비를 활용하지 않으며, 고용량의 자료를 다운로드하지 않아도 되는 장점이 있다. 또한 실내 내비게이션 기능에 있어 목적지까지의 중요 위치에 대한 실제 사진을 사용자에게 제공함으로 써 장소를 식별하기에 용이하다.

본 논문은 다음과 같이 구성된다. 2장에서는 제안 어플리케이션의 개요 및 세부 기술에 대해 설명한다. 3장에서는 실험 결과를 나타내고, 4장에서 결론을 맺는다.

 

2. 제안 시스템

2.1 시스템 개요

Fig. 3은 제안하는 어플리케이션의 구동을 위한 시스템의 개요를 나타낸다. 제안 시스템은 크게 사용자의 스마트폰과 서버로 구성된다. 스마트폰은 모바일 어플리케이션 활용 및 영상 촬영을 위해 사용된다. 서버는 실내외 장소에 대한 데이터베이스를 보유하고 있으며 영상 매칭과 경로 계산 알고리즘을 수행 하게 된다.

Fig. 3.The overall structure of the proposed system.

제안 어플리케이션은 사용자의 관심 건물에 대한 정보를 제공할 수 있으며, 실내 내비게이션 기능을 수행할 수 있다. 관심 건물에 대한 정보를 제공하기 위해서 사용자는 스마트폰을 통해 정보가 필요한 건물의 영상을 촬영한다. 촬영된 영상은 영상이 촬영된 시점에서의 GPS 및 나침반 데이터와 함께 서버로 전송된다. 전송받은 데이터를 기반으로 하여 서버는 영상 내 건물을 인식한다. 건물 인식은 특징점 기반 영상 매칭 알고리즘을 활용하여 이루어지며, GPS 및 나침반 데이터를 활용하여 영상 매칭에 소요되는 계산 량을 줄인다. 건물 인식이 이루어지면 서버는 해당 건물에 대한 정보를 사용자의 스마트폰으로 전송한다.

실내 내비게이션 기능의 사용을 위해서 사용자는 먼저 자신의 현재 위치에서 영상을 촬영한다. 촬영된 영상은 영상이 촬영된 시점에서의 GPS 및 나침반 데이터와 함께 서버로 전송된다. 서버는 전송된 데이터를 기반으로 사용자의 현재 위치를 인식하며, 인식 된 위치로부터 사용자가 지정한 목적지까지의 가장 빠른 경로를 계산한다. 그 후 계산된 경로 내 중요 지점에 대한 영상 및 각 지점에서의 이동 방향 정보를 사용자의 스마트폰으로 전송한다.

2.2 영상 데이터베이스 구성

영상 매칭의 정확도를 높이기 위해서는 다량의 영상을 사전에 획득하여 저장해두는 작업이 필요하다. 이를 위해 제안 시스템은 서버 내에 데이터베이스를 구축하여 영상 정보와 영상을 찍은 장소에 대한 정보를 저장한다. 장소 정보는 Fig. 4(a)와 같이 10개의 열로 이루어진 테이블로 구성되어 데이터베이스에 저장된다. 각각의 테이블은 장소의 실내외를 구분하는 정보, 영상의 이름, 대표 사진의 여부, 영상이 촬영된 위치의 GPS데이터와 나침반 데이터, 건물 및 층 정보와 장소에 대한 건물 정보들로 구성되어 있다. 한 테이블에 장소에 대한 모든 정보를 저장하고 있기 때문에, 사용자가 장소에 대한 정보를 요청하고 받아 올 때 보다 쉽게 사용할 수 있다. 또한, 실내의 경우보다 자세한 장소 정보를 제공해줄 수 있어야 하므로 실외일 경우보다 하나의 열을 더 이용하여 세부 정보를 추가로 제공한다.

Fig. 4.Database Composition (a)Database label (b)Multiple image acquisition inside one building (c)Multiple image acquisition inside the whole testing area.

건물 및 건물 내 장소에 대한 영상 획득을 위해서는 한 장소에 대해 최소 3장에서 최대 18장 정도의 영상을 촬영하였다. 하나의 사진 보다 다양한 각도와 방향으로 촬영된 사진에 대해 영상 매칭을 시도해야 보다 정확한 위치 인식을 할 수 있다. 따라서 Fig. 4(b), (c)와 같이 동일한 장소에 대해 다수의 영상을 획득하였다.

2.3 영상 매칭 및 특징점 사전 추출

사용자는 실외에 있을 경우 자신이 관심 있는 건물을, 실내에 있을 경우 자신의 현재 위치에 대한 영상을 촬영한다. 제안 시스템은 촬영한 영상과 GPS, 나침반 데이터를 서버로 전송하게 된다. 서버는 전송된 영상과 사전에 구축한 데이터베이스 내의 영상과의 매칭을 통해 전송된 영상 내 건물을 인식하거나 사용자의 현재 위치를 인식한다.

영상 매칭은 특징점 추출 기반 기법, 즉 영상 내에서 특징점을 추출한 후 추출된 특징점간의 유사도를 비교하는 방식으로 이루어진다. 다양한 종류의 특징점이 제안되었으나, 본 논문에서는 SURF(Speeded-Up Robust Features) 특징점 추출 알고리즘을 사용하였다[9]. SURF는 SIFT(Scale-Invariant Feature Transform) 알고리즘을 기반으로 한다[10]. SURF는 SIFT와 유사하게 입력 영상의 여러 스케일을 고려하여 특징점을 추출하며, 따라서 SURF는 크기 변화에 강인하고 회전에도 강인한 특성을 가지고 있다. 반면 SURF는 SIFT와 달리 여러 스케일을 고려한 매칭을 위해 필요한 Difference of Gaussian 계산을 Harr Wavelet을 활용하여 빠르게 계산한다. 제안 어플리케이션의 경우 사용자가 이동 중에 사용할 가능성이 높아 응답속도가 빨라야 하며, 여러 영상과의 매칭이 수행되어야 하므로 특징점 추출이 빠르게 이루어져야 한다. 이러한 이유로 본 논문에서는 SURF 알고리즘을 활용하였다.

SURF 알고리즘이 영상 내 특징점을 빠르게 추출하여도 매칭에 사용되는 영상 수가 증가하면 특징점 추출에 많은 계산 량이 소요된다. 또한, 영상 매칭의 정확도를 높이기 위해 동일한 위치에서 다수의 영상을 촬영하였으므로 데이터베이스 필터링을 수행하여도 다수의 영상과의 매칭이 수행될 수 있다. 따라서 특징점 추출에 소요되는 계산 량을 줄이기 위해 본 논문에서는 참고문헌 [11]에서 제안한바와 같이 데이터베이스 내 모든 영상들의 특징점을 사전에 추출하여 데이터베이스에 저장하였다. 이를 통해 실제 사용 상황에서는 사용자가 촬영한 영상에 대해서는 특징점을 추출하도록 하였다. 그 결과 데이터베이스에 저장해야 하는 데이터 량이 증가하였으나 영상 매칭에 소요되는 계산 량을 줄일 수 있다.

사용자가 촬영한 영상에서 특징점을 추출한 후에는 데이터베이스 필터링을 통해 추출된 영상의 특징점들과 유클리디언 거리(Euclidean Distance)를 계산한다. 이 때 거리가 가장 가까운 영상이 사용자가 촬영한 영상과 동일한 것으로 판단하며, 서버는 매칭 된 영상이 촬영된 위치에 대한 정보를 사용자의 스마트폰으로 전송한다.

2.4 데이터베이스 필터링

데이터베이스 내의 영상에 대한 특징점을 사전에 추출하였음에도 불구하고, 보다 정확한 영상 매칭을 위해 한 장소에 대해 다수의 영상을 촬영하였기 때문에 영상 매칭에 많은 시간이 소요될 수 있다. 따라서 본 논문에서는 참고문헌 [11]에서 제안한 기법을 추가적으로 활용하여 데이터베이스를 필터링 하였다. Fig. 5는 본 논문에서 활용한 데이터베이스 필터링의 개념을 도식화 한 것이다. Fig. 5 내부의 각 점이 영상이 촬영된 지점이라고 하였을 때, Fig. 5(a)와 같이 모든 영상과의 매칭을 수행할 필요 없이 사용자의 현재 위치에서 근접한 위치에서 촬영된 영상과의 매칭만 수행하여도 된다. 또한 Fig. 5(b)와 같이 사용자의 현재 위치와 가까운 곳에서 촬영된 영상이라도 촬영한 방향이 다르다면 해당 영상 또한 영상 매칭의 대상에서 제외할 수 있다. 그 결과 영상 매칭을 수행해야 할 영상의 수를 줄일 수 있다.

Fig. 5.Database Filtering. (a) Filtering by GPS data (b) Filtering by Magnetometer.

데이터베이스 필터링은 먼저 GPS데이터를 통해 이루어진다. 사용자의 스마트폰으로부터 전송된 영상 img에 대한 GPS데이터의 위도, 경도가 각각 GPSlati(input), GPSlongi(input)라고 하자. 이때 데이터베이스 내 i번째 영상 DBi과의 영상 매칭 필요성 여부는 수식 (1)과 같이 결정된다.

GPS데이터로 필터링을 수행한 후 남아있는 영상들은 다시 나침반 데이터를 통해 필터링된다. 사용자의 스마트폰으로부터 전송된 영상 img에 대한 나침반 데이터가 Mag(img)일 때, 데이터베이스 내 i번째 영상 DBi와의 영상 매칭 필요성 여부는 수식 (2)와 같이 결정된다.

2.5 실내 내비게이션

제안 어플리케이션은 사용자의 관심 건물 및 현재 위치를 인식하는 기능 외에도 실내 내비게이션 기능을 수행할 수 있다. 실내 내비게이션 기능은 사용자의 현재 위치 인식이 이루어진 후 수행된다. 실내 내비게이션 기능을 위해 서버는 현재 사용자가 위치한 건물 내부에 위치한 중요 지점에 대한 리스트를 사용자에게 전송한다. 사용자가 리스트 중 목적지 한 곳을 선택하면 서버에서는 경로 계산 알고리즘을 수행하여 목적지까지의 최단 거리를 계산한다. 그 후 계산된 최단 경로를 사용자에게 전송한다. 본 논문에서는 경로 계산을 위해 Dijkstra Algorithm을 활용하였다.

목적지까지의 최단 경로 계산이 이루어지면, 서버는 최단 경로에 포함된 중요 지점에 대한 영상을 사용자에게 전송한다. 전송되는 데이터 량을 줄이기 위해 중요 지점에 대한 영상은 저해상도로 변환되어 전송된다. 각 중요지점에 대한 영상만으로는 사용자가 각 지점 간의 위치 관계를 인식하기 어렵다. 따라서 사용자의 편의성을 높이기 위해 각 지점 간의 방향 정보, 즉 사용자가 각 지점에 도달하였을 때 진행해야 하는 방향을 추가적으로 제공한다.

 

3. 실험 결과

3.1 실험 환경

제안 시스템의 성능 검증을 위해 한동대학교 캠퍼스에서 실내외 영상 총 631장을 획득하였다. 획득한 영상과 이에 대응되는 장소 정보에 대한 데이터베이스를 서버에 구성하였으며, 모바일 어플리케이션과 서버와의 통신을 통해 사용자에게 실내 장소 정보 및 실내 내비게이션 서비스를 제공할 수 있게 하였다. Ubuntu OS를 사용하는 서버를 사용하였으며, 사용한 모바일기기는 iPhone 6이었다. Table 1은 실험에 사용된 기기에 대한 정보를 나타낸다.

Table 1.Points in Fig. 3(d) to generate road region candidates for various cases

사용자는 실외 및 실내 환경에서 제안 시스템을 활용할 수 있다. 사용자는 자신의 위치에서 영상을 촬영한 후 실내와 실외를 구분하여 서버에 촬영한 영상을 전송한다. 실험에서는 실내외 총 20 곳에서 제안 시스템의 성능을 실험하였으며, 제안 시스템의 수행 시간 및 정확도를 측정하였다.

3.2 실험 결과

제안 시스템은 GPS데이터와 나침반 데이터를 통해 데이터베이스 필터링을 수행하여 제안 시스템의 연산 량을 줄인다. 최적의 데이터베이스 필터링을 수행하기 위해 Table 2와 같이 thGPS, thmag 값을 변화시키면서 제안시스템의 수행 시간 및 정확도를 측정하였다. GPS 데이터와 나침반의 단위 모두 각도이며, thGPS가 0.00001로 설정되었을 경우 위도 방향으로 약 1.1m거리 이상, 경도 방향으로 약 0.9m거리 이상 떨어진 위치에서 촬영된 데이터베이스를 필터링하게 된다.

Table 2.Computation time and accuracy of the proposed system depending on thGPS, thmag

Table 2에서 확인할 수 있듯이 thGPS는 0.0005일 때, 계산량과 정확도 측면에서 좋은 성능을 나타내는 것을 확인할 수 있었다. 따라서 향후 실험에서는 thGPS를 0.005로 설정하였다. 즉, 위도 방향으로 약 1.1m거리 이상, 경도 방향으로 약 0.9m거리 이상 떨어진 위치에서 촬영된 데이터베이스를 필터링하게 된다. 유사한 방식으로 thmag는 40으로 설정하였다.

thGPS, thmag를 설정한 후, 데이터베이스 필터링의 효과를 검증하였다. Table 3은 데이터베이스 필터링을 수행하였을 때의 제안 시스템의 계산 시간을 나타낸다. Table 3은 또한 데이터베이스 내 영상 데이터의 특징점을 사전에 추출한 경우의 계산 시간 또한 나타내는데, 두 가지 기법을 활용하여 빠르게 영상매칭을 수행할 수 있었다. 또한, Table 3에서 확인할 수 있듯이 데이터필터링을 활용하였을 시 보다 정확한 영상 매칭이 이루어졌다. 그 이유는 데이터베이스 필터링을 통해 오검출이 발생할 수 있는 영상과의 매칭을 수행하지 않았기 때문이다. Fig. 6은 데이터 베이스 필터링 및 영상 매칭을 통해 사용자가 촬영한 영상과 가장 유사하다고 판단된 영상을 나타낸다.

Table 3.Computation time and accuracy of the system depending on pre-extraction of features and database filtering

Fig. 6Image matching results of the proposed system depending on database filtering.

Table 4.The amount of transmitted data for utilizing the proposed system

사용자가 실내에 위치한 경우, 제안 시스템은 실내 내비게이션 서비스를 제공할 수 있다. Fig. 7은 실내 내비게이션이 실행된 화면이다. 제안 시스템은 사용자의 위치로부터 목적지까지 도달하기까지의 중요 지점 및 중요지점에서의 방향을 알려줄 수 있다.

Fig. 7Indoor navigation service of the proposed system.

마지막으로 제안 시스템의 활용을 위해 서버와 송수신하는 데이터 량을 측정하였다. Table 5는 제안 시스템의 위치 인식 서비스를 활용할 때와 실내 내비게이션을 활용할 때의 데이터 량을 나타낸 것이다. 이때 실내 내비게이션의 경우 목적지까지의 중요지점의 수가 다를 수 있으므로 중요지점별 데이터 량을 나타내었다. 또한, Table 6은 제안 시스템과 유사한 서비스를 제공하는 참고문헌 [7]에서 제안하는 서비스 사용 시 필요한 데이터 량을 나타낸 것이다. 이때 참고문헌 [7]에서 제안하는 서비스는 각 장소 당 필요한 데이터 량이 다르기 때문에 평균값으로 계산하였다. Table 5와 Table 6에서 확인할 수 있듯이 제안 시스템이 보다 적은 데이터 량으로 실내 지도 서비스를 제공할 수 있음을 확인하였다.

Table 5.The amount of transmitted data for utilizing the system proposed in [7]

 

4. 결 론

본 논문에서는 영상 매칭을 기반으로 실내 장소안내를 수행하는 모바일 어플리케이션을 제안하였다. 제안 시스템은 사용자에게 관심 건물 내부에 존재하는 시설들에 대한 정보를 제공하며, 실내 내비게이션 서비스를 제공한다. 이러한 서비스는 사용자가 촬영한 영상과 사전에 획득한 영상 데이터베이스간의 매칭을 통해 이루어진다. 또한 영상 매칭의 정확도 및 속도를 향상하기 위해 GPS, 나침반 데이터를 활용하여 데이터베이스 필터링을 수행하였다. 제안 시스템은 스마트폰을 통한 영상촬영만으로 장소 안내 및 실내 내비게이션을 수행한다는 장점을 가진다.

향후 연구로는 무인 로봇 및 비행체를 활용한 영상 데이터베이스의 손쉬운 생성, 그리고 보다 넓은 영역에서의 서비스 제공을 위한 영상 데이터베이스의 효율적인 관리에 대해 연구를 수행할 예정이다.