DB-Based Feature Matching and RANSAC-Based Multiplane Method for Obstacle Detection System in AR

Abstract

본 논문에서는 날씨와 같은 외부 환경요인에도 강건하게 동작할 수 있는 장애물 감지 기법을 제안한다. 특히, DB 기반의 특징 매칭과 RANSAC(RANdom SAample Consensus)기반의 다중 평면 방식을 통해 증강현실(Augmented Reality, AR)에서 정확하게 위험 상황을 알려줄 수 있는 장애물 감지 시스템을 제안한다. RGB카메라로부터 얻은 영상을 기반으로 장애물을 검출하는 접근법은 영상에 의존하기 때문에 조명에 따른 특징 검출이 부정확하고, 조명이나 자연광 또는 날씨의 영향을 받기 때문에 장애물 검출이 어려워진다. 또한, 복잡한 지형에서 생성되는 다수의 평면은 장애물을 감지하는데 있어서 오차가 커지는 원인이 된다. 이 문제를 완화하기 위해 본 논문에서는 DB기반의 특징 매칭을 통해 조명에 관계없이 장애물을 효율적이고 정확하게 감지한다. 또한, 다중 평면을 RANSAC을 통해 단일 평면으로 정규화하여 특징점을 분류하기 위한 기준을 새롭게 계산한다. 결과적으로 제안하는 방법은 조명, 자연광, 날씨에 관계없이 효율적으로 장애물을 감지할 수 있고, 높낮이나 다른 지형에서도 안정적으로 표면을 감지할 수 있기 때문에 사용자의 안전성 확보에 활용할 수 있을 거라 기대한다. 제안하는 방법은 모바일 디바이스에서 실험한 결과가 대부분 안정적으로 실내/외의 장애물들을 인지하였다.

In this paper, we propose an obstacle detection method that can operate robustly even in external environmental factors such as weather. In particular, we propose an obstacle detection system that can accurately inform dangerous situations in AR through DB-based feature matching and RANSAC-based multiplane method. Since the approach to detecting obstacles based on images obtained by RGB cameras relies on images, the feature detection according to lighting is inaccurate, and it becomes difficult to detect obstacles because they are affected by lighting, natural light, or weather. In addition, it causes a large error in detecting obstacles on a number of planes generated due to complex terrain. To alleviate this problem, this paper efficiently and accurately detects obstacles regardless of lighting through DB-based feature matching. In addition, a criterion for classifying feature points is newly calculated by normalizing multiple planes to a single plane through RANSAC. As a result, the proposed method can efficiently detect obstacles regardless of lighting, natural light, and weather, and it is expected that it can be used to secure user safety because it can reliably detect surfaces in high and low or other terrains. In the proposed method, most of the experimental results on mobile devices reliably recognized indoor/outdoor obstacles.

I. Introduction

첨단기술의 성장에 따라 디지털콘텐츠, 혼합현실, 메타버스 시장은 지속적으로 성장세를 보이고 있고, 그에 따라 다양한 콘텐츠 산업들이 발전하고 있다[1]. 특히 모바일 디바이스의 발전에 따라 개인 맞춤형 혼합현실은 앞으로도 시장의 규모가 더욱더 커질 전망으로 기대되는 분야이며 [2], 그 중에 모바일 AR 시장은 이동성에 대한 제약이 없기 때문에 전망도 긍정적으로 평가 받고 있다[3]. 이동성에 대한 제약이 적다는 것은 하나의 큰 장점이지만, 사용자의 안정성 확보가 중요한 부분으로 평가받고 있다[4].

Fig. 1. Viewing angles while walking in mobile device.

모바일 디바이스에서는 시야각 축소와 AR 콘텐츠의 몰입도가 더해지면서 주변 환경의 변화에 취약하다는 단점이 있다. 또한, 현재 출시된 AR 콘텐츠들은 사용자에게 시각적인 요소만 제공하며, 사용자의 안전성은 보장받지 못하는 상황이다 (Fig. 1 참조). 본 논문에서는 모바일 AR 환경에서 콘텐츠를 활용하는 사용자의 안전성 확보를 위한 장애물 탐지 시스템을 제안한다. 모바일 디바이스의 RGB 영상을 분석하여 객체를 인식하기 위해서는 일반적으로 SLAM(Simultaneous localization and mapping) 기반 공간지도 탐색을 활용한다[5]. 일반적으로 SLAM은 AR뿐만 아니라, 자율주행에도 널리 활용되는 일반적인 방법이다. 본 논문에서는 AR환경에서 장애물 인지를 개발하기 위해 AR Foundation을 이용했으며, 이 라이브러리에서 SLAM기반으로 평면을 근사해줍니다. 일반적으로 AR 콘텐츠 개발은 AR Foundation 혹은 Vuforia 등 다양한 라이브러리를 이용하며, 본 논문에서는 AR Foundation 에서 자동으로 재구성해주는 평면을 이용하였다.

Fig. 2. Comparison of various plane type.

모바일 기반 SLAM 공간지도 탐색은 두 가지 핵심 기술이 사용된다 : VIO(Visual inertial odometry)[6]와 특징 분석[7]. VIO를 통해 공간을 탐색하여 모바일 디바이스에서의 위치와 방향을 결정하고 특징 분석을 통해 객체를 인식한다. Fig. 2a에서 보듯이 탐색 환경이 단일 평면일 경 우, 지면과 특징점 사이의 거리를 통해서 장애물을 탐색할수 있지만, 복잡한 지형에서처럼 다수의 평면이 탐색된다면 장애물 탐지의 정확도가 급격하게 감소된다 (Fig. 2b 참 조)[4]. 운이 좋게 단일 평면으로 결정됐다고 해도, 자연광이나 조명이 충분하지 않은 경우 특징 파악이 되지 않아 실제로 장애물이 있음에도 감지를 못하는 문제점이 발생한다.

Fig. 3. Previous outdoor environment test[4,8] (pink plane : reference plane, red dot : obstacle’s feature point, white dot : reference’s feature point).

Fig. 3a에서 보듯이 기준평면(분홍색)을 기준으로 장애물이라고 인식되는 특징점을 분류하고, 해당 특징점의 개수를 비교하여 현재 프레임에서 장애물 객체의 유무를 판 단한다. 이전 연구에서는 RGB카메라의 영상을 기반으로 추출된 특징점들로부터 장애물 유무를 판단하기 때문에 날씨가 흐리거나 어두워지면 장애물 검출에 대한 정확성이 떨어진다. Fig. 3a와 3b에서 보듯이 낮에는 기준평면으로부터의 장애물은 나무와 계단을 안정적으로 검출하지만, 동일한 장소에서 날씨가 어두워지면 검출 자체가 어렵다 (Fig. 3c와 3d 참조). 이러한 문제를 해결하기 위해 본 논문에서는 다중평면을 하나의 기준평면으로 근사하여 장애물 탐지에 대한 정확도를 개선한다. 뿐만 아니라 사용자의 위치와 시야를 고려한 DB를 활용하여 조명의 영향을 받지 않고, 장애물을 효과적으로 탐지할 수 있는 방법을 제시한다. 제안하는 기법을 구현하기 위해서는 다음과 같은 하위문제를 풀어야한다.

1) 평면 수집 : 특징점 집합으로부터 평면을 생성하고 ROI(Region of interest) 범위 내의 평면들을 기준 평면 데이터로 활용하는 방법

2) 다중 평면 단일화를 위한 노이즈 제거 : RANSAC 알 고리즘을 이용하여 수집된 평면들에 대한 노이즈를 제거하고, 기준평면을 생성한 뒤 장애물 탐지의 기준 점으로 활용하는 방법

3) 사용자의 위치와 시점 정보 활용 : 현재 영상에서 장 애물이 감지됐다면, 그 때의 사용자 GPS 위치와 시 점을 추출하여 DB에 저장하는 방법

4) 사용자 패턴 분석과 DB 검색 가속화 : 사용자의 이동 경로를 예측하여 DB 쿼리를 최적화하고, 결과적으로 빠르고 정확하게 장애물을 찾는 방법

II. Preliminaries

1. Related work

보행자의 스마트폰 사용은 안전한 보행을 위해 필요한주의를 분산시키기 때문에 필연적으로 상황인식 저하로이어지게 되며 이는 안전사고에 대한 원인이 된다[9]. 따라서 스마트폰 사용은 불안전한 행동을 증가시킬 수 있으며 [10], 이 문제에 대한 해결책으로 보행자에게 위험을 경고하는 시스템이 제안되었다. 주변 환경을 분석하고 적시에경로를 알려주기 위해 초음파, 적외선 및 관성 센서와 같은 센서가 활용되었다[11]. 뿐만 아니라 별도의 센서 없이환경을 분석할 수 있는 연구들도 제안되었다[12].

혼합현실 콘텐츠를 이용하는 사용자에게 안전을 경고하는 분야도 HMD(Head-mounted display)가 사용자의 시각 정보를 차단하기 때문에 많은 연구 분야에서 주목을 받 았다. 몇몇 연구에서는 VR(Virtual Reality)환경에서 실제정보를 중첩하여 사용자에게 경고를 해주는 시스템도 있 다. Magic Barrier Tape은 사용자에게 작업 공간의 경계를 알려주는 시스템이다[25]. HTC Vive는 HMD 전면에 부착된 RGB 카메라에서 얻은 실제 객체의 경계를 표시할수 있는 aChaperone 시스템을 제안했다[13]. Kanamori 등은 사용자가 HMD를 착용한 상태에서 실제 공간을 인지할 수 있도록 실제 객체를 VR객체로 표시할 수 있는 기법을 제안했다[14]. Hartmann 등은 사용자의 안전성을 개선하기 위해 현실과 가상현경을 혼합한 기술인 RealityCheck를 제안했다[15]. Kanamoriet 등은 안전한경로를 계산하고 VR 사용자가 실제 장애물과 충돌하는 것을 방지하기 위한 네비게이션 시스템을 제안했다[16].

여러 연구들에서 AR을 사용하면 사용자가 디바이스 화면을 통해 실제 환경을 볼 수 있음에도 불구하고 사고로 이어질 수 있음을 발견했다[17]. 그러나 VR과 달리 걷는 AR 사용자의 안전 문제는 그다지 주목을 받지 못했다. Jung 등은 CNN(Convolutional neural network)기반으로 AR 사용자와 차랑 사이의 거리를 추정하고, 추정된 사용자까지의 거리를 시각화 할 수 있는 기법을 제시했다 [18]. Kang 등은 AR 보행자의 안전을 향상시키기 위해 장애물 감지 기술과 경고 인터페이스를 제시했다[4,8].

스마트폰 처리 능력이 나날이 발전함에 따라 이제 스마트폰에서 풍부하고 몰입감있는 콘텐츠를 경험하고 즐길수 있게 되었다. 그러나 다양한 모바일 환경에 따라 사용자에게 경고하는 시기와 방법은 아직 활발하게 연구되지 못했다. 본 논문에서는 모바일 확장현실 환경의 세 가지 유형(즉, 일반적인 스마트폰 게임, AR 및 VR 게임)을 고려하여 콘텐츠 몰입을 분산시키지 않으면서 사용자의 안전을 향상시키는 것을 목표로 한다.

III. The Proposed Scheme

본 논문에서는 평면에 포함된 노이즈를 제거하기 위해 RANSAC 기법을 활용했으며[19], 조명이 부족한 환경에서영상의 특징 분석이 불가할 경우 DB를 활용하여 장애물을인식할 수 있는 기법을 제시한다. 좀 더 자세한 장애물 탐지 알고리즘은 아래와 같다.

1. Collecting Planes in Region of Interest

본 논문에서는 모바일 디바이스의 6DoF 카메라 포즈, 영상 특징 분석을 통해 공간지도와 특징을 탐색한다. 특징점들과 점들로부터 평면을 수집하였으며, 이 두 가지 요소는 공간지도에서 3차원 포인트 클라우드 데이터로 표시된다. 특징점의 최대 탐색영역은 7~9m로 실제 사용자에게 불필요한 탐색영역이 포함되므로, ROI 범위 내의 평면과 특징점을 탐색하여 디바이스 성능에 맞게 최적화 시킨다. 탐색범위 는 아래와 같이 설정한다 (수식 1 참조). 

\(S _ { r } \leftarrow \| F _ { p } - D _ { p } \|\)       (1)

여기서 F_p는 특징점의 좌표, D_p는 모바일 디바이스의 현재 좌표로, F_p와 D_P사이의 길이를 통해 탐색범위를 결정한다. 실험에서 ROI는 3m로 설정하였다 (Fig. 4 참조). 사용자의 위치를 기준으로 3m이상의 특징점은 탐색하지 않아 계산 효율을 높일 수 있고, 거리가 먼 지점까지 탐색되어 기준평면을 생성하기 위한 데이터로 이용할 경우 정확도가 떨어지는 문제를 완화시킬 수 있다.

Fig. 4. ROI area determined from the user’s location.

2. Correcting Position of Reference Plane

본 논문에서는 ROI 기반으로 얻어진 다수의 평면을 기반으로 하나의 기준평면을 만들기 위해 RANSAC을 이용 하며[20], 수집된 평면 데이터의 Y축 좌표를 이용하여 기준평면을 수정하기 위해 다음과 같은 2가지 조건을 기반으로 문제를 해결한다.

현재 영상에서 탐지되는 평면 중 하나의 위치 샘플 데이터를 추출하여, 전체 평면 데이터와의 비교를 통해 기준 평면을 근사한다. 모바일 디바이스의 위치인 기준위치가 결정되면, 그 위치로부터 허용 범위인 T내에 존재하는 샘플 데이터를 검색한다. 여기서, T는 사용자가 정의한 반 경이다. 범위 내에 y_i 의 개수를 세며, 이 과정에서 y_i는 각 평면마다 존재하기 때문에 본 논문에서는 범위 내 가장 많은 y_i값을 갖는 평면을 찾는다. 찾은 평면은 기준지점으로부터 가장 영향력이 크다가 판단되기 때문에 본 논문에서는 이 평면을 기준평면이라고 설정한다.

이 과정은 Fig. 5에서 자세히 보여준다. 기준위치에서 T범위 내에 있는 포인트들을 검색하고, 이 범위에 존재하는 값으로부터 기준평면을 결정한다. 디바이스의 위치인 기준지점을 기반으로 범위 T가 결정되면 (Fig. 5에서 주황색 영역), 그 안에 존재하는 평면들을 탐색하게 된다. Fig. 5에서 보듯이 영역 내 주황색이 탐색되어야 할 평면들이며, 이 중에 가장 많은 y_i 를 갖는 평면이 기준평면이 되는 구조이다.

Fig. 5. Navigating reference plane (T: search range, D: plane outside the range of T).

배경으로부터 추출된 특징점들에서 장애물과 관련된 특징점만을 추출하기 위한 조건을 본 논문에서 제시하였고, 그 조건을 만족한 최종적인 특징점을 장애물과 관련된 특징점으로 분류하며, 이 과정에서 중요한 것은 기준평면이다. 경사가 거의 없는 부분에서는 단일 지표면으로도 정확한 장애물을 검출할 수 있지만, 경사가 있거나 평지가 아닌 부분에서는 지표면 데이터의 변화가 크기 때문에 장애물 검출 정확성이 떨어진다. 앞에서 설명한 것처럼 기준평면이 결정되었다면, 영상 내 특징점과의 거리를 이용하여 장애물과 관련된 특징점들을 분류한다. 향후, 이 장애물 특징점을 이용하여 장애물 판단에 활용한다.

3. Save User’s GPS Location and Viewpoint

사용자의 GPS 위치와 시점은 모바일 디바이스의 지자기 센서(Geomagnetic sensor)를 통해 얻어온다. GPS의 경도와 위도는 소수점 5자리까지 표현하여 실제 거리 1~2m의 단위로 나타내도록 하였고, 사용자의 시점은 각도로 표현하였다. Fig. 6에서 보듯이 영상에서 장애물을 탐지하였을 때, 사용자의 GPS 위치와 시야각을 DB에 저장한다.

Fig. 6. Dataset of user and obstacle.

4. User’s Behavior Pattern Analysis and DB Search Acceleration

장애물 탐지는 실시간 특징점 분석을 통해 우선적으로 계산되며, 영상 분석이 어려운 경우에는 DB기반 장애물 탐지 방법을 통해 진행된다. 본 논문에서는 파이어베이스(Firebase)의 Firestore함수를 통해 실시간으로 장애물데이터를 전달한다. DB기반 장애물 탐지에 사용되는 GPS 위치는 일정한 주기(1초)로 진행되며, 그 때마다 사용자의 GPS 위치와 DB 상의 GPS 위치를 비교한다. 동일한 GPS 에서 DB 내에 데이터가 존재한다면 사용자의 시점을 고려하여 진행방향과 동일한 선상에 있는 장애물 데이터를 확인하고 장애물의 유무를 파악한다. 장애물 데이터의 시점은 시야각을 고려하여 범위를 지정해주어야 한다. 본 논문에서 사용자의 시야각은 장애물 데이터의 시야각과 동일하게 탐색하는 것이 아닌, 현재 사용자의 시야각 θ가 θ±60′범위 안에 장애물 데이터가 있을 경우 탐지가 되록 설정하였다.

Fig. 7. DB hashing.

DB 쿼리는 GPS 위치를 기반으로 요청되며, 전체 DB범위에서 GPS 조건에 맞는 데이터를 찾는 것은 매우 비효율적이기 때문에 해시 테이블처럼 다수의 DB를 세분화하여 데이터를 저장한다 (Fig. 7 참조). 각 구역마다 DB를 할당하는 이유는 해시 테이블에서 해싱처럼 DB를 빠르게 접근하고 싶기 때문이다. 하나의 DB를 나타내는 GPS 범위는 소수점 세 자리로 설정했으며, 실제 거리로는 약 90m 범위로 각각의 DB가 세분화된다. 즉, 장애물의 GPS 위치가 (37.12323, 127.58585)인 경우, 저장될 DB는 (37.12~37.129, 127.58~127.589)를 모두 포함하는 DB가 되는 구조이다. 이러한 DB 해싱을 통해 지정된 범위 내의 DB만 탐색하여 쿼리 속도를 최적화한다. 사용자는 고정된 위치가 아니라, 지속적으로 움직이기 때문에 사용자의 이동 방향을 예측하여 DB 탐색을 진행한다. 사용자의 이동 속도를 고려하여 DB에서 쿼리를 탐색할 위치는 다음과 같이 계산한다 (수식 2 참조).

\(p _ { q } = p _ { t } + \frac { p _ { t } - p _ { t - \Delta t } } { \Delta t }\)       (2)

여기서 p_t는 GPS의 현재 위치이고, \(p_{t- \Delta t}\)는 GPS의 이전 위치이며, 시간간격으로 미분하여 사용자의 속도를 예측한다. 현재 위치인 p_t 와 예측된 속도를 이용하여 쿼리 위치인 p_q 를 통해 DB 검색을 진행한다.

IV. Results

본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다. 본 연구에서는 특징점과 RANSAC을 기반으로 기준평면을 안정적으로 생성하고, 이로부터 장애물을 탐지할 수 있는 기법을 제안했다. 또한, 장애물 탐지의 정확성을 높이기 위해 DB 기반의 특징점 매칭을 제안했으며, 이를 통해 조명이나 날씨에 관계없이 장애물을 탐지할 수 있도록 하였다. 실험 결과에서는 2가지 점 형태가 나타나며, 빨간색 점이 장애물로 분류된 특징점이다. Fig. 8에서 보듯이 제안하는 방법은 실외 환경에서도 장애물을 안정적으로 탐지하였고, 언덕, 계단, 나무 등을 장애물로 정확하게 인지하였다.

Fig. 9a와 9b에서 보듯이 좌측 노란색 영역은 조명이 충분한 경우에서 사전에 장애물을 감지하여 사용자에게 노란색 화면을 통해 위험 여부를 전달하였다. 오른쪽 빨간색 영역은 조명이 부족하여 특징점이 검출되지 않는 환경에서도 DB기반 장애물 탐지를 통하여 안정적으로 장애물 여부를 사용자에게 알려준다 (Fig. 9c와 9d 참조).

Fig. 8. Result1-Outdoor environment test with our method (pink : reference plane).

Fig. 9. Result2-Outdoor environment with our method.

Fig. 10은 아파트 실내에서 박스와 계단을 장애물로 인지한 결과이다. Fig. 9처럼 온전한 외부가 아닌, 실내에서도 안정적으로 장애물을 감지하는 결과를 보여준다.

Fig. 10. Result3-Box-shaped and stairs obstacle detection.

본 논문에서 보여주는 결과는 고가의 장비가 아닌 일반사용자들이 쉽게 이용하는 모바일 디바이스 환경에서 실험을 진행하였다. 이 실험은 AR시장 입장에서 매우 중요한 의미를 내포하고 있다. 이동성 제약이 없는 모바일 디바이스의 경우 AR콘텐츠의 시장의 발전을 가져왔지만, 이러한 이동성은 크기가 작고 무게가 가벼워야 한다. 제안하는 방법은 이러한 조건을 만족하는 환경에서 실험을 진행했기 때문에 위험상황 인지가 필요한 다양한 콘텐츠에 활용이 가능할거라 기대한다.

V. Conclusions

본 논문에서는 DB 기반의 특징점 매칭과 RANSAC기반의 다중 평면 방식을 새롭게 제안하였고, 다양한 AR환경에서 정확하게 장애물 및 위험 상황을 알려줄 수 있는 결과를 보여주었다. 영상으로부터 장애물을 검출하는 접근법은 영상에 의존하기 때문에 조명에 따른 특징 검출이 부정확하고, 조명에 영향을 받기 때문에 장애물 검출이 어려워진다. 또한, 복잡한 지형에서 생성되는 다수의 평면은 장애물을 감지하는데 있어서 오차가 커지는 원인이 된다. 이 문제를 완화하기 위해 본 논문에서는 DB기반의 특징 매칭을 통해 조명에 관계없이 장애물을 효율적이고 정확하게 감지했다. 그럼에도 불구하고 기준평면으로부터 떨어진 거리를 통해 장애물을 선별하였기 때문에 근사치인 위치만을 계산할 뿐, 어떤 객체인지 정확하게 인지는 못한다.

본 논문에서 제안하는 방법은 GPS 수신이 불가능한 곳에서는 동작이 어렵다. 물론, 외부 기기를 추가하여 해결은 가능하지만, 모바일 디바이스만으로는 해결이 어렵다. 이 문제는 SW만이 아닌, HW가 동시에 개선이 되면 자연스럽게 해결될 문제라 생각한다. 또한, GPS에 대한 오차는 존재하지만 주변 환경에 따라서 달라지기 때문에 정확하게 표현하기는 어렵다. 본 논문에서는 다양한 환경에서 실험을 진행했지만, GPS 오차율 때문에 장애물을 인지 못하는 경우는 없었다.

향후 이 부분을 개선하여 장애물의 형태 및 속도 등을 통해 정확한 상황을 감지하여 사용자에게 전달할 수 있는 시스템으로 확장하여 연구할 계획이다. 또한, 본 논문에서는 지면으로 부터 사용자가 설정한 높이 값 이상으로 물체가 있을 때 장애물로 인식하였다. 여기서 장애물의 의미는 진로에 방해가 되는 모든 객체를 의미하며, 단순 물체인지 위협요소인지까지는 해석하지 않았다. 향후, 특징 점의 속도를 계산하여 움직임을 예측하고 이를 통해 위협요소를 인지하도록 할 계획이다.