Augmented Reality Algorithm Selection Scheme for Military Multiple Image Analysis

국방용 다중 영상분석 증강현실 알고리즘 선택기술

Abstract

In this paper, if images are acquired in all-time situations through various sensors (EO/IR, SAR, GMTI, LiDAR) used for defense purposes, the images can be analyzed and expressed in augmented reality(AR). Various algorithms are used to process images with augmented reality, and depending on the situation, it is necessary to decide which algorithms to select and use. Through the performance comparison (error rate, processing time, accuracy) of SIFT, SURF, ORB, and BRISK, the representative augmented reality algorithm, it is analyzed and proposed which augmented reality algorithm is effective to use under various situations in the defense field.

본 논문에서는 국방용으로 사용되는 다양한 센서들(EO/IR, SAR, GMTI, LiDAR)을 통해 전 평시 상황에서 영상을 획득하면 영상을 분석하여 증강현실(AR : Augmented Reality)로 표현할 수 있다. 증강현실로 영상을 처리하기 위해서는 다양한 알고리즘이 사용되는데 상황에 따라 어떠한 알고리즘을 선택해서 사용해야 할지 결정을 해야 한다. 대표적인 증강현실 알고리즘인 SIFT, SURF, ORB, BRISK의 성능비교(에러율, 처리시간, 정확도)를 통해 국방분야의 다양한 상황 하에서 어떠한 증강현실 알고리즘을 사용하는 것이 효과적인지 분석하고 제안한다.

1. 서론

증강현실(AR : Augmented Reality) 기술은 최근 급속도로 발전되어 일상생활 뿐 만 아니라 다양한 분야에서 활발하게 적용되고 있다.

현재 일반적으로 상용되는 증강현실 기술은 하나의 대표적인 알고리즘을 사용하여 영상을 획득하고 표현하는 기술로 스마트폰이나 게임에서 주로 사용된다.

이와 더불어 국방 분야에서도 증강현실 기술을 활용한다면 작전을 보다 효과적으로 수행할 수 있을 것이다.

그러나 국방 분야에서는 일반적인 상황과는 다르게 예측 불가능한 다양한 조건과 상황이 발생하며, 더욱 정교하고 빠르게 영상을 획득·처리해야하기 때문에 일반적으로 사용되는 상용 증강현실 기술을 넘어선 더욱 발전된 증강현실 기술이 필요하다.

예를 들어 공격을 위한 정밀타격(PGM:Precision Guided Munition)이나, 표적획득(Target Acquisition) 및 추적을 위한 감시정찰(Surveillance and Reconnaissance), 전투피해평가(BDA: Battle Damage Assessment)를 위한 영상획득 등에증강현실 기술이 적용될 수 있는데, 기존 증강현실 기술을 사용하게 되면 하나의 증강현실 알고리즘으로 영상획득 및 표현을 할 수 밖에 없기 때문에 상황에 맞는 군사작전 수행이 제한된다.

그러나 이 논문에서 제안한 국방용 다중 증강현실 알고리즘을 사용하게 되면 그림 1과 같이 동시에 여러 증강현실 알고리즘을 사용하여 여러 영상을 동시에 획득할 수 있고, 이러한 영상들을 조건 및 상황에 맞게 가중치를 주어 가장 효과적인 영상을 확인하고 적용하여 군사 작전을 수행할 수 있을 것이다.

(그림 1) 증강현실 기술을 활용한 무인기 다중 감시정찰(Figure 1) UAV surveillance using AR technology

현재 영상정보를 획득하는 주요 센서의 종류에는 EO/IR, SAR, GMTI, LiDAR 등이 있으며, 이러한 센서들을 통해 광학영상, IR영상, Radar영상, 레이저영상등을 획득할 수 있고, 플랫폼, 센서, 상황 등에 따라 어떠한 영상정보를 사용해야 할 지 결정하는 것은 매우 중요하다. 국방 분야에서의 영상정보들은 빠르게 획득하여 실시간으로 판독하는 것이 필요하며, 상황에 따라 정확한 분석이 요구되기도 한다. 이 논문에서는 각 전쟁 상황별(악기상,적 공격상황 등) 어떠한 알고리즘을 언제 쓰는 것이 좋을지에 대한 가이드라인으로 연구가 수행되었다. 주어진 시간 내에 처리할 수 있는 특징점(Keypoint)과 에러율을 고려하여 알고리즘을 선정해야하며, 앞서 말한 증강현실에서 효과적으로 영상을 처리하는 알고리즘을 제안하는 것이다.

2. 증강현실 알고리즘 종류

증강현실 시스템에서 영상을 획득하여 처리하는 과정은 그림 2와 같다.

(그림 2) 증강현실 시스템의 기본 과정[1](Figure 2) Basic process of AR system[1]

먼저 영상은 다양한 센서로부터 실시간 획득되고, 이러한 실시간 영상은 초당 \(x\)장의 프레임으로 획득된다.(정상범위 : 20∼40fps)

이에따라 판독속도가 결정되고, 판독속도에 맞는 특징점의 개수가 결정되며, 특징점의 개수에 따라 정확도(Accuracy)가 결정된다.

이러한 영상들을 처리하고 판독하는 알고리즘의 종류는 다음과 같다.

2.1 SIFT(Scale-Invariant Feature Transform)[2]

2004년에 Lowe교수에 의해 처음으로 제안된 SIFT 알고리즘은 현재까지도 가장 견고(robust)한 알고리즘으로 평가된다. 이미지의 특징점을 추출하여 방향 결정을 통해 알고리즘을 수행하며, SIFT 알고리즘의 구체적인 영상처리 순서는 그림 3과 같이 진행된다.

(그림 3) SIFT 알고리즘의 처리과정(Figure 3) Process of SIFT Algorithm

SIFT 알고리즘은 영상을 획득하면 크기(Scale)와 방향(Orientation)에 불변하는 특징점을 추출하고, 불안정한 특징점을 제거하여 매칭하여 각 특징점들의 방향을 구하게 되며, 마지막 단계에서 특징점 주변에 있는 요소들의 방향을 결정하여 특징점을 표현한다.

2.2 SURF(Speeded-Up Robust Features)[3]

2006년에 발표된 SURF 알고리즘은 SIFT 알고리즘보다 속도를 향상시키면서 강인한 특징을 추출할 수 있다. 특징점 추출, 방향 결정, 기술자 추출(descriptor extraction) 등의 순서로 진행되며, 박스필터나 적분영상을 사용하여 영상처리 속도를 향상시켰다. SURF 알고리즘의 구체적인 영상처리 순서는 그림 4와 같이 진행된다.

(그림 4) SURF 알고리즘의 처리과정(Figure 4) Process of SURF Algorithm

2.3 ORB(Oriented FAST and Rotated BRIEF)[4]

ORB는 SIFT와 비교하여 상대적으로 낮은 계산량이 필요하다. 이 알고리즘은 그림 5와 같이 FAST Corner 알고리즘, Harris Corner 알고리즘을 통해 영상을 탐지하고, rBRIEF를 통해 영상을 표현한다. ORB 알고리즘은 적은계산량으로 좋은 성능을 낼 수 있다는 장점이 있으며, ORB 알고리즘의 구체적인 영상처리 순서는 그림 5와 같이 진행된다.

(그림 5) ORB 알고리즘의 처리과정(Figure 5) Process of ORB Algorithm

2.4 BRISK(Binary Robust Invariant Scalable
Keypoints)[5]

BRISK 알고리즘은 2011년 Stefan Leutenegger에 의해 제안되었으며, 회전(rotation)과 크기(scale)가 변해도 견고하게 특징점을 찾아낼 수 있다. 탐지 부분은 FAST 알고리즘 기반인 AGAST(Adaptive and Generic Corner Detection Based on the Accelerated Segment Test)[6] 알고리즘을 사용하며, 기술하는 부분은 특징점 주변 픽셀들을 sampling하여 얻은sample들을 통해 기술자를 만든다. BRISK 알고리즘의 구체적인 영상처리 순서는 그림 6과 같이 진행된다.

(그림 6) BRISK 알고리즘의 처리과정(Figure 6) Process of BRISK Algorithm

3. 증강현실 알고리즘의 성능비교

전쟁에서의 환경은 실시간으로 변화하며, 이에 따른 센서 및 알고리즘은 상황에 맞게 사용되어야 한다. 또한 각 알고리즘의 특성이 다르기 때문에 원하는 정보요구에 맞추어 알고리즘을 비교하고 선택하는 것이 중요하다.

각 알고리즘의 성능은 에러율, 처리속도, 정확도로 비교할 수 있다.

(그림 7) Detector/Descriptor의 다양한 데이터에서의 에러율 비교[6](Figure 7) Error rate of detector/discriptor in various dataset, assuming 1600 features per image[6]

먼저 각 알고리즘의 에러율을 비교해보면 그림 7과 같이 나타낼 수 있다. 각 이미지의 1600개 특징에 따른 에러율 평균을 살펴보면 SIFT 알고리즘이 가장 높고, SURF, ORB, BRISK 순으로 낮아진다는 것을 알 수 있다. 따라서 각 이미지에 따른 에러율은 SIFT 알고리즘이 가장 높다.

(그림 8) 각 단계별 요구되는 시간[7](Figure 8) Time required to detect, describe and match[7]

두 번째로 그림 8에서는 각 알고리즘 별로 탐지, 기술, 일치에 대한 각각의 시간과 총 시간을 비교해보았다. 이 그래프를 보면 영상처리를 할 때 SIFT 알고리즘이 가장 많은 시간이 소요된다는 것을 확인하였으며, ORB 알고리즘이 가장 빠른 처리속도를 보이고 있다.

(그림 9) 각 알고리즘별 정확도[8](Figure 9) Accuracy rate of each algorithm[8]

세 번째로 이미지를 각기 다른 조건 하에서 처리를 할 경우에 얼마나 견고하게 처리할 수 있는지 그림 9를 통해서 알 수 있다. 그 결과 SIFT 알고리즘이 각 조건하에서 가장 견고하게 영상을 처리할 수 있으며, ORB, BRISK 알고리즘은 SIFT, SURF 알고리즘보다 덜 견고하게 영상을 처리한다.

(그림 10) 알고리즘 성능비교 종합(Figure 10) Algorithm performance comparison synthesis

종합적인 각 알고리즘의 성능비교는 그림 10과 같이 나타낼 수 있다. 각 알고리즘에 따라 처리시간, 정확도레벨, 필요한 특징점[9]의 개수가 다르며, 이에따라 다양한 상황하에서 어떠한 알고리즘을 선택할 것인지 결정하는 순서도는 그림 11과 같이 표현할 수 있다.

각 단계에 나타낸 High Scale Invariant, Noise Accuracy, Bright Accuracy는 그림10의 알고리즘 성능비교 중 Accuracy Level에 따라 선정되었다.

(그림 11) Detector와 Descriptor 순서도(Figure 11) Detector and Descriptor Flowchart

그림 11의 순서도를 보면 획득된 영상을 처리할 때 어떠한 부분에 가중치를 주는지에 따라서 사용하는 알고리즘이 달라지는지 알 수 있다.

이러한 순서도가 효과적으로 동작하기 위해서는 특정한 상황하에서 다양한 영상을 획득하였을 때 해상도 계산과 특징점들을 먼저 찾아내야 한다.

표적획득과 같이 신속한 영상처리가 필요할 경우에는 계산량(시간)에 영향을 받기 때문에 ORB, BRISK, SURF, SIFT 알고리즘 순서대로 영상을 처리하는 것이 효율적이며, 전투피해평가와 같이 정확한 영상처리가 필요할 경우에는 특징점 및 견고성(Robust level)에 영향을 받기 때문에 SIFT, SURF, BRISK, ORB 알고리즘 순서대로 영상을 처리하는 것이 효율적이다.

4. 결론

기존 논문에서는 영상처리 알고리즘(SIFT, SURF, BRISK, ORB)의 분석을 통해 특징점에 따른 영상처리 속도를 비교하였고, 이에 따라 어떠한 알고리즘을 사용할 때 증강현실 영상처리를 신속하게 할 수 있는지 알 수 있었다.

본 연구에서는 기존 논문과 더불어 다양한 전쟁 상황에서 어떠한 알고리즘을 사용하는 것이 효율적인지에 대해 비교·분석하였다.

영상을 인식하고 처리하는 능력은 전쟁에서 매우 중요하다. 앞서 언급했듯이 국방분야에서 공격을 위한 정밀타격이나, 표적획득 및 추적을 위한 감시정찰, 전투피해평가 등에서 영상처리 능력은 매우 중요하게 사용된다. 다양한 상황에서 신속하게 영상처리를 필요로 할 때도 있고, 정확한 영상처리를 처리해야 하는 상황도 발생한다. 견고성은 떨어지지만 실시간으로 영상을 빠르게 처리하기 위한 상황(예 :표적획득)에서는 ORB 알고리즘을 사용해야 하고, 충분한 시간이 주어진 상황에서 정확한 영상획득과 처리를 위한 상황(예 : 전투피해평가)에서는 SIFT 알고리즘을 사용해야 한다는 것을 확인하였다.

이러한 성능분석은 기존에 한 가지 알고리즘을 사용하는 상용 증강현실 기술에서 좀 더 발전하여 다양한 증강현실 알고리즘을 사용하여 다양한 방법으로 영상을 획득하고 분석함으로써 동시에 많은 영상을 획득하고 표현할 수 있다는데 큰 강점이 있다. 다중 영상분석 증강현실알고리즘 선택 기술은 특히 국방 분야에서 더욱 효과적으로 사용될 수 있으며, 앞서 말한 공격을 위한 정밀타격, 표적획득 및 추적을 위한 감시정찰, 전투피해평가를 위한 영상획득에 주요하게 활용될 것이다.

이 논문에서 제시한 국방용 다중 영상분석 증강현실알고리즘 성능분석이 미래 국방 분야에 적극 활용되기를 기대해 본다.