DOI QR코드

DOI QR Code

Development of Image-map Generation and Visualization System Based on UAV for Real-time Disaster Monitoring

실시간 재난 모니터링을 위한 무인항공기 기반 지도생성 및 가시화 시스템 구축

  • 천장우 (서울시립대학교 공간정보공학과) ;
  • 최경아 (서울시립대학교 공간정보공학과) ;
  • 이임평 (서울시립대학교 공간정보공학과)
  • Received : 2017.12.08
  • Accepted : 2018.03.29
  • Published : 2018.04.30

Abstract

The frequency and risk of disasters are increasing due to environmental and social factors. In order to respond effectively to disasters that occur unexpectedly, it is very important to quickly obtain up-to-date information about target area. It is possible to intuitively judge the situation about the area through the image-map generated at high speed, so that it can cope with disaster quickly and effectively. In this study, we propose an image-map generation and visualization system from UAV images for real-time disaster monitoring. The proposed system consists of aerial segment and ground segment. In the aerial segment, the UAV system acquires the sensory data from digital camera and GPS/IMU sensor. Communication module transmits it to the ground server in real time. In the ground segment, the transmitted sensor data are processed to generate image-maps and the image-maps are visualized on the geo-portal. We conducted experiment to check the accuracy of the image-map using the system. Check points were obtained through ground survey in the data acquisition area. When calculating the difference between adjacent image maps, the relative accuracy was 1.58 m. We confirmed the absolute accuracy of the image map for the position measured from the individual image map. It is confirmed that the map is matched to the existing map with an absolute accuracy of 0.75 m. We confirmed the processing time of each step until the visualization of the image-map. When the image-map was generated with GSD 10 cm, it took 1.67 seconds to visualize. It is expected that the proposed system can be applied to real - time monitoring for disaster response.

환경, 사회적 요인에 의해 재난 발생 빈도와 위험성이 증가하고 있다. 불시에 발생하는 재난에 효과적으로 대응하기 위해서는 재난 지역에 대한 최신의 현장정보를 신속하게 파악하는 것이 매우 중요하다. 고속으로 생성된 영상지도를 통해 현장정보를 직관적으로 판단 가능하며, 이를 통해 재난에 신속하고 효과적으로 대응할 수 있다. 본 연구에서는 실시간 재난 모니터링을 위해 무인항공기 영상으로부터 지도생성 및 가시화를 수행하는 시스템을 제안하였다. 제안된 시스템은 항공부문과 지상부문으로 구성된다. 항공부문에서는 무인항공기 시스템을 이용하여 실시간으로 카메라와 GPS/IMU 센서로부터 센서데이터를 취득하고 통신모듈을 통해 지상서버로 전송한다. 지상부문에서는 전송된 센서 데이터를 처리하여 실시간으로 영상지도를 생성하고 이를 지오포털 상에 가시화한다. 구축된 시스템을 운용하여 생성된 영상 지도의 정확도 검증을 수행하였다. 인접한 영상지도 간의 차이를 계산하였을 때, 1.58 m의 상대정확도를 나타내었다. 개별 영상 지도로부터 측정한 위치에 대한 영상지도의 정확도를 정량적으로 확인한 결과, 0.75 m의 절대정확도로 기존 지도에 정합되는 것을 확인하였다. 영상지도가 가시화되기까지의 단계별 처리시간을 확인하였다. GSD 10 cm로 처리하였을 때, 가시화가 되기까지 1.67초의 시간이 소요되었다. 제안된 시스템을 이용하여 재난 대응을 위한 실시간 모니터링에 적용할 수 있을 것으로 기대한다.

Keywords

요약

환경, 사회적 요인에 의해 재난 발생 빈도와 위험성이 증가하고 있다. 불시에 발생하는 재난에 효과적으로 대응하기 위해서는 재난 지역에 대한 최신의 현장정보를 신속하게 파악하는 것이 매우 중요하다. 고속으로 생성된 영상지도를 통해 현장정보를 직관적으로 판단 가능하며, 이를 통해 재난에 신속하고 효과적으로 대응할 수 있다. 본 연구에서는 실시간 재난 모니터링을 위해 무인항공기 영상으로부터 지도생성 및 가시화를 수행하는 시스템을 제안하였다. 제안된 시스템은 항공부문과 지상부문으로 구성된다. 항공부문에서는 무인항공기 시스템을 이용하여 실시간으로 카메라와 GPS/IMU 센서로부터 센서데이터를 취득하고 통신모듈을 통해 지상서버로 전송한다. 지상부문에서는 전송된 센서 데이터를 처리하여 실시간으로 영상지도를 생성하고 이를 지오포털 상에 가시화한다. 구축된 시스템을 운용하여 생성된 영상 지도의 정확도 검증을 수행하였다. 인접한 영상지도 간의 차이를 계산하였을 때, 1.58 m의 상대정확도를 나타내었다. 개별 영상 지도로부터 측정한 위치에 대한 영상지도의 정확도를 정량적으로 확인한 결과, 0.75 m의 절대정확도로 기존 지도에 정합되는 것을 확인하였다. 영상지도가 가시화되기까지의 단계별 처리시간을 확인하였다. GSD 10 cm로 처리하였을 때, 가시화가 되기까지 1.67초의 시간이 소요되었다. 제안된 시스템을 이용하여 재난 대응을 위한 실시간 모니터링에 적용할 수 있을 것으로 기대한다.

1. 서론

기상이변, 도시화 등으로 인해 재난 발생 빈도와 위험성이 증가하고 있으며, 불시에 발생하는 재난을 예측하고 대응하는 것이 더욱 어려워지고 있다. 최근 발생되는 재난은 여러 형태의 재난이 복합적으로 광범위하게 발생하며, 우면산과 광화문 피해와 같이 태풍, 국지성 호우 등의 의한 자연재해는 재발 가능성이 높아 위험관리가 상시 필요하다.

재난이 발생하면 이에 대한 적절한 대응과 복구를 수행해야 한다. 재난에 대응하기 위해서는 신속하게 재난 발생 지역과 주변 상황에 대한 정보를 파악하는 것이 중요하다. 최근에는 사람이 직접 조사하여 눈으로 관측하는 것 대신, 원격센서를 통해 간접적으로 현장정보를 파악하는 것이 가능하게 되었다. 이를 이용하여 재난의 예방, 대응, 복구 단계에 활용하고 있지만, 주로 사후대응 및 복구 작업을 수행하는데 적용되고 있다 (Son et al., 2016; Jang and Shin, 2017; Choi and Lee, 2016). 이러한 재난에 대응하여 현장조사를 수행하기 위한 기존 원격탐사 플랫폼으로는 위성, 유인항공기, CCTV 등이 있다. 기존에 사용되었던 원격탐사 플랫폼은 운용시기, 운용비용, 데이터 취득 주기, 데이터 취득 방법의 이유로 실시간 대응에 제한적인 부분이 있다. 원격탐사 플랫폼 중 무인항공기는 사람이 접근하기 어렵거나 위험한 곳에 운용이 가능하다는 장점이 있다. 다른 플랫폼에 비해 적은 비용으로 운용이 가능하며, 운용 시기와 장소를 유연하게 조절할 수 있다. 또한, 카메라, GPS/ IMU 센서 등 다양한 센서를 동시에 탑재할 수 있다. 최근 이러한 장점을 이용하여 무인항공기 기반 모니터링을 수행하는 연구들이 제안되었다.

SK텔레콤에서는 무인항공기를 이용하여 실시간 모니터링을 수행하는 시스템을 제안하였다. LTE 통신 기반 초소형 영상 생중계 장비와 드론을 결합한 영상재난 구조 시스템을 개발하여 산불이나 지진, 홍수 등 각종 재난이나 조난과 같은 긴급 상황에 적용하여 실시간 현장 확인에 사용할 예정이다(Ahn, 2017). Zaheer et al.(2016)은 평화유지, 재난 실시간 모니터링을 위한 소형 드론 기반 공중감시체계를 제안하였다. Sharma et al.(2016)은 무인항공기에 실시간 비디오 중계 장비를 탑재하여 실시간 모니터링 시스템을 구축하고 감시, 안전검사, 구조 활동 등에 적용하는 연구를 진행하였다. 이처럼 무인항공기 기반 모니터링 시스템을 통해 실시간으로 재난현장의 정보를 얻을 수 있지만, 중계되는 원본 영상만으로는 재난현장을 입체적으로 파악하기에 부족하다.

재난 지역의 공간정보는 재난 대응책 마련의 기초자료로서 사용하며, 3차원 공간정보를 활용하면 재난현장의 정보를 보다 입체적으로 확인할 수 있다. 새롭게 생성된 3차원 공간정보는 기존 공간정보와 비교하여 변화를 탐지할 수 있으며, 다양한 공간 분석의 기초자료로 사용되어 재난관리에 중요한 의사결정을 지원할 수 있다. 최근 재난과 관련하여 무인항공기로 득한 데이로부터 3차원 공간정보를 생성하는 연구가 진행되었다.

Haarbrink and Koers(2008)은 긴급상황에 헬리콥터 형태의 무인항공기를 이용하여 빠르게 현장 정보를 취득하고, 취득한 영상으로부터 모자이킹 정사영상을 생성하여 현장 상황 파악에 도움을 주는 연구를 진행하였다. Zekkos et al.(2016)는 자연재난으로부터 손상된 그리스 유적지의 영상을 취득하고 3차원 모델을 생성하여 그 결과를 평가하고 무인항공기의 적용 가능성을 확인하였다. Gao et al.(2017)은 무인항공기 영상과 기준 데이터를 이용하여 정밀한 정사영상을 생성하고 내진을 평가 하였다. Su et al.(2010)는 대만에서 발생한 태풍으로 인해 발생한 피해 직후, 무인항공기로 영상을 취득하여 정사 영상과 DEM을 생성해 재난복구와 구조활동에 도움을 주는 연구를 진행하였다. 이와 같이 무인항공기로부터 취득한 영상과 기준 데이터를 이용하여 정밀하게 공간 정보를 생성하고, 생성된 결과물로부터 재난 모니터링의 기초자료로 사용하였다. 그러나 기준데이터를 사용하고 정밀하게 처리를 진행하기 때문에 긴 처리시간을 요구하여 많은 연구가 사후평가에 초점을 맞춰 진행되었다.

재난에 신속하게 대응하기 위해서는 고속으로 공간 정보를 생성하는 기술이 요구된다. 공간정보 중 지도는 GIS와 연계하여 위치, 지형 등의 정보를 보다 가시적으로 확인할 수 있는 수단이다. 새롭게 생성된 재난지역 지도는 재난발생 이전에 기존 공간정보와 함께 활용 가능하다. 최근 실시간으로 취득한 사진, 동영상으로부터 고속으로 매핑을 수행하는 연구들이 제시되었다. Park et al.(2016)은 무인항공기에 스마트폰을 탑재하여 LTE 통신을 통해 취득한 영상을 실시간으로 서버로 전송하고, 오픈소스 기반 소프트웨어를 통해 정사영상과 DEM 등을 생성하는 연구를 진행하였다. Zhou(2010)은 실시간으로 취득되는 비디오 영상으로부터 일정 프레임마다 직접 지오레퍼런싱 방법을 통해 미리 설정한 지상평면에 정사보정을 수행하여 개별 정사영상을 생성하였다. 생성된 영상으로부터 고속으로 모지이킹 정사영상을 생성하여 산불 대응에 빠른 대응에 도움을 주는 연구를 수행하였다. Bu et al.(2016)은 Visual SLAM 기반으로 영상의 위치/자세를 추정하고 임의의 투영면에 키프레임을 투영하여 실시간으로 정사영상을 생성하였다. 트래킹과 GPS를 통해 실시간으로 영상의 외부표정요소를 추정하는 것이 가능하지만, 산림 또는 바다와 같이 텍스쳐가 반복되는 지형에서는 트래킹이 원활히 수행되지 않는다. Yol et al.(2014)는 기존에 구축된 영상 정보를 이용하여 템플릿 매칭을 통해 새로 취득한 영상과 기존 영상 사이의 관계를 파악하여 실시간 매핑을 수행하였다. 기존에 구축된 공간정보가 없는 경우에는 수행하기 어려우며, 기존의 정보와 차이가 많이 발생하는 경우에도 매핑을 수행하기 어렵다. Choi et al.(2011)는 GPS/IMU, 디지털카메라, Lidar 센서를 탑재한 무인 공기 기반 실시간 공중모니터링 시스템 구축 연구를 진행하였다. 임의의 평면에 매핑을 수행하는 것이 아닌 Lidar 센서를 통해서 DEM을 구축하여 매핑을 수행하였다. DEM 구축에 있어 Lidar 센서를 사용하는 경우 높은 정확도의 DEM을 얻을 수 있지만, 고가의 장비를 사용해야 한다는 단점이 있다. 또한 취득된 영상과의 정합이 정확하게 이루어져야 한다.

기존 연구에서 Visual SLAM 기반의 매핑은 동영상으로부터 트래킹을 하여 위치/자세를 파악하기 위해 지속적이고 많은 연산량이 요구된다. 많은 연산을 수행할 수 없는 하드웨어를 사용하는 경우, 트래킹을 위해 영상의 크기를 줄인 저해상도의 영상을 이용하였다. 템플릿 또는 맵 매칭 기반의 매핑의 경우, 미리 구축된 정보가 있어야만 하며 기존의 정보와 많은 차이가 있는 경우 수행하기 어렵다는 단점이 있다. 본 연구에서는 기존에 구축되거나 측량된 기준 데이터를 활용하지 않고 실시간으로 취득·전송되는 고해상도 영상으로부터 고속으로 영상지도를 생성하여 가시화하는 무인항공기 기반 지도생성 및 가시화 시스템을 제안하였다. 또한 실시간으로 생성된 영상지도를 웹 기반의 지리정보서비스를 제공하는 지오포털 상에 가시화하여 온라인을 통해 생성된 정보를 공유할 수 있다. 2장에서는 무인항공기 시스템과 멀티센서를 탑재한 무인항공기를 이용하여 실시간으로 센서데이터를 취득, 전송하는 무인항공기 시스템을 설명한다. 3장에서는 제안된 시스템을 이용하여 센서 데이터 취득에 대해 설명하고 4장에서 처리된 결과의 정확도 및 시간을 검증하여 시스템의 활용 가능성을 평가하였다.

2. 무인항공기 기반 지도생성 및 가시화 시스템

무인항공기 기반 지도생성 및 가시화 시스템은 Fig. 1과 같이 데이터 취득과 전송을 담당하는 항공 부문과 데이터 처리와 가시화를 담당하는 지상 부문으로 나뉜다. 항공부문에서는 멀티센서를 탑재한 무인항공기 시스템이 지정된 경로를 비행하면서 영상과 센서 데이터를 취득하고 취득한 데이터를 지상서버로 전송한다. 지상 부문에서는 전송된 센서 데이터를 실시간으로 처리하여 영상지도를 생성한다. 생성된 영상지도를 지오포털 로 전송하여 공간 데이터베이스를 업데이트하고 베이스맵 위에 가시화하여 다수의 사용자에게 재난현장 정보를 공유한다.

OGCSBN_2018_v34n2_2_407_f0001.png 이미지

Fig. 1. UAV based image-map generation and visualization system.

1) 항공부문

항공부문은 멀티센서를 탑재할 수 있는 무인항공기, 데이터를 취득하는 센서, 센서 지원 모듈로 구성된다. 무인항공기는 정해진 비행경로를 입력 받아 자동으로 비행한다. 무인항공기의 외관은 Table 1에서 확인할 수 있다. 크기는 1 m * 1 m * 0.6 m이며, 최대속도는 100 km/h까지 비행이 가능하다. 최대 내풍성이 20 m/s로 재난재해와 같이 열악한 상황에서도 운용이 가능하도록 제작되었다. 최대탑재중량은 4 g으로 디지털카메라 GPS/IMU 센서 등의 장비를 탑재하고 비행이 가능하다. 무인항공기의 제원은 Table 1과 같다.

Table 1. Specification of UAV

OGCSBN_2018_v34n2_2_407_t0001.png 이미지

무인항공기에 탑재되는 센서는 고해상도 영상을 취득하는 디지털 카메라와 무인항공기의 위치/자세를 측정하는 GPS/IMU 센서로 구성된다. 디지털카메라 는 Sony-a7ii 카메라, GPS/IMU 센서는 Apx-15를 선정 하였다. 디지털 카메라는 무인항공기에 탑재 프레임을 이용하여 무인항공기가 이륙하였을 때 지상을 바라보도록 탑재하며, 일정 주기마다 고해상도 영상을 취득 한다. GPS/IMU 센서도 동일한 프레임을 이용하여 탑재한다. 탑재된 GPS/IMU 센서는 일정한 주기로 위치와 자세를 기록하며, 디지털 카메라로 영상을 촬영하는 순간의 시각을 기록한다.

센서 지원 모듈에서는 영상을 취득하는 시각과 무인 항공기의 위치/자세값 기록하는 시각을 GPS Time을 기준으로 동기화하여 적용한다. 실시간으로 취득되는 데이터를 전송하기 위해 Long-range WiFi 통신을 이용하여 취득한 영상과 센서 데이터를 지상의 서버로 전송한다. 지상 서버에 영상 취득 간격으로 영상과 무인항 공기 위치/자세 데이터가 저장되며, 무인항공기 위치/ 자세 데이터는 텍스트 파일의 형식으로 프로토콜과 예시는 Table 2와 같다.

Table 2. Protocol of GPS/INS Data

OGCSBN_2018_v34n2_2_407_t0002.png 이미지

2) 지상부문

지상부문은 센서데이터로부터 영상지도를 만드는 영상처리 부분과 생성된 영상지도를 지오포털 상에 가시화되는 부분으로 나뉜다. Fig. 2에서 보여지는 것과 같이 영상처리는 (1)영상 취득 시점의 영상의 위치/자세를 결정하는 지오레퍼런싱 과정과, (2)지오레퍼런싱 과정을 통해 결정된 영상의 위치/자세로부터 기하보정을 수행하여 영상지도를 생성하는 과정으로 나뉜다.

OGCSBN_2018_v34n2_2_407_f0002.png 이미지

Fig. 2. Flow chart of image processing.

영상지도를 생성하기 위해서는 영상과 영상의 외부 표정요소가 요구된다. 무인항공기에 탑재된 GPS/IMU센서로부터 취득되는 데이터는 무인항공기 위치/자세이다. Fig. 3에서 보이는 것과 같이 무인항공기의 위치/자세 정보는 지상좌표계 기준의 무인항공기의 위치와 Roll, Pitch Yaw로 구성되는 회전각으로 나타낸다. 영상의 외부표정요소는 지상좌표계 기준의 카메라의 위치와 Omega, Phi, Kappa로 구성되는 회전각으로 나타낸다. 따라서 영상의 외부표정요소를 결정하기 위해서는 GPS/IMU 센서로부터 취득되는 무인항공기의 위치/자세와 영상의 위치/자세의 관계를 파악해야 한다. 무인항공기의 위치/자세는 이동 벡터 \(T_{G}^{B}\)와 회전각을 이용하여 회전행렬을 구성한 \(R_{G}^{B}\)로 표현할 수 있으며, 영상의 외부표정요소는 이 벡터 \(T_{G}^{C}\)와 회전행렬 \(R_{G}^{C}\)로 표현할 수 있다. 두 값의 관계를 나타내는 탑재변수 (Mounting Parameter)를 파악하는 과정을 시스템 캘리브레이션이라 한다. 탑재변수는 두 좌표계 간의 원점 이동(Lever-arm offset)과 좌표계 간의 회전각(Bore-sight angle)으로 구성된다. 원점이동 벡터인 TC B와 좌표계 간의 회전각으로 변환회전행렬을 (LaTax)를 추정하여야 한다. 시스템 캘리브레이션 과정은 지오레퍼런싱 하기 전에 미리 수행되어야 한다. 직접 지오레퍼런싱의 정확도는 GPS/IMU 센서에서 취득되는 무인항공기의 위치/자세 값의 정확도와 탑재변수의 정확도에 따라 결정되기 때문에 탑재변수를 정확하게 추정하는 것이 중요하다 (Choi et al., 2014). 지상기준점을 이용하여 항공삼각측량을 통해 정밀하게 조정된 외부표정요소와 GPS/IMU 센서로부터 얻은 무인항공기의 위치/자세 데이터를 비교하여 탑재변수를 결정한다(Lee et al., 2014).

OGCSBN_2018_v34n2_2_407_f0003.png 이미지

Fig. 3. Relation of body frame coordinate system, camera coordinate system, and ground coordinate system.

\(R_{G}^{B}\) : Rotation matrix converting GCS (Ground Coordinate System) to BCS (Body frame Coordinate System)

\(T_{G}^{B}\) : Translation vector from GCS to BCS

\(R_{B}^{C}\) : Rotation matrix converting BCS to CCS (Camera Coordinate System)

\(T_{B}^{C}\) : Translation vector from BCS to CCS

\(R_{G}^{C}\) : Rotation matrix converting GCS to CCS

\(T_{G}^{C}\) : Translation vector rom GCS to CC

시스템 캘리브레이션을 통해 얻은 탑재변수를 이용하여 지오레퍼런싱을 수행한다. 지오레퍼런싱은 영상 취득 시점의 영상의 위치/자세인 외부표정요소를 결정하는 과정이다. 기존 사진측량 분야에서는 항공삼각측량의 방법을 이용하여 영상의 외부표정요소를 결정하였다. 항공삼각측량은 다수의 영상 사이에서 공액점을 추출하는 영상 매칭과 영상의 외부표정요소를 정밀하게 결정하는 번들조정을 구성되며 다수의 영상 외부표정요소를 동시에 결정한다. 그러나 처리 시간이 길어 실시간 활용에는 적합하지 않기 때문에, 영상의 외부표정 요소를 결정하기 위해 GPS/IMU 센서에서 얻는 무인항 공기 위치/자세 데이터와 탑재변수를 이용하여 영상의 외부표정요소를 결정하는 직접 지오레퍼런싱 방법을 이용하였다. 무인항공기 위치/자세 데이터는 일정 간격으로 무인항공기의 위치/자세를 측정하여 기록한 정보와 영상을 촬영하는 순간의 시각이 기록된다. 영상이 촬영되는 시점의 무인항공기의 위치/자세는 촬영시점의 앞뒤 시각 정보를 기준으로 촬영시점 전후의 무인항공기의 위치/자세를 내삽하여 계산한다. Fig. 3와 같이 계산된 무인항공기 위치/자세 데이터에 탑재변수로 이뤄진 이동벡터 \(T_{B}^{C}\)와 회전변환행렬 \(R_{B}^{C}\)을 이용하여 영상 의 외부표정요소를 계산할 수 있다.

지오레퍼런싱을 통해 얻은 영상의 외부표정요소를 이용하여 기하보정을 수행한다. 디지털카메라로 취득한 영상은 중심투영으로 생성되어 기하학적 왜곡을 포함한다. 영상의 기하학적 왜곡인 기복 변위를 제거하여 정사투영으로 변환된 영상지도는 기존 지도와 중첩이 가능하다. 기하보정을 수행하여 영상지도를 생성하기 위해서는 영상의 외부표정요소와 DEM이 요구된다. 기존 방법에서는 여러 영상 사이에서 Dense Matching을 통해 포인트 클라우드를 생성하고, 생성된 포인트 클라우드로부터 DEM을 생성하지만, 기존 방법은 실시간으로 처리하기 어렵다. Fig. 4와 같이 위 시스템에서는 고속으로 기하보정을 수행하기 위해서 여러 영상으로부터 DEM을 생성하지 않고, 평균고도와 GSD를 고려해 DEM을 정의한다. 단일 영상마다 DEM을 정의하기 위해 단일 영상의 모서리점이 공선방정식을 통해 평균고도면에 투영되는 점을 계산하여 평균고도면에 영상이 투영되는 범위를 결정한다. 단일 영상만으로는 스케일을 정의할 수 없기 때문에 단일영상 내 영상점이 투영되는 지상좌표를 계산할 수 없다. 한 장의 영상만으로 투영되는 지상좌표를 계산하기 위해 평균고도면을 정의하여 스케일을 계산할 수 있도록 하였다. 영상의 4개의 모서리점이 투영되는 범위 내에 GSD를 고려한 격자를 생성하여 개별 영상마다의 DEM을 정의한다. 정의된 DEM의 격자에 원영상의 화소를 재배열하여 영상지도를 생성한다.

OGCSBN_2018_v34n2_2_407_f0004.png 이미지

Fig. 4. Concept of geometriccorrction.

가시화 부분에서는 생성된 영상지도를 지오포털의 공간 데이터베이스에 등록하고 가시화한다. 디지털카메라로부터 취득된 영상이 지상 서버로 전송된 이후 다음 영상이 취득되기 전, 취득된 영상이 처리되어 지오포털 상에 가시화된다. 영상의 파일명을 시간으로 설정하고, 파일명을 파싱하여 시간을 기준으로 시간이 빠른 순서대로 가시화하도록 설정한다. 비행경로에 따라 지오포털 상에서 기존 공간정보 위에 새롭게 생성된 공간 정보인 영상지도를 가시화하여 실시간으로 비행 영역의 현황을 파악할 수 있다. 다양한 위치에 있는 다수의 사용자들은 웹 또는 휴대폰을 사용하여 재난 지역의 정보를 실시간으로 파악 가능하다.

3. 실험과정 및 결과

1) 실험과정 및 데이터 취득 결과

실험은 서울 광나루 드론 공원에서 2회 진행하였다. 시스템 캘리브레이션을 위한 1차 실험을 수행하였다. 1차 실험에서는 비행범위 내 지상기준점을 취득하고, 무인항공기 시스템을 이용하여 영상과 센서데이터를 취득하였다. 1차 실험 수행 후 2달 뒤, 실시간 모니터링 시스템의 정확도와 처리시간 검증을 위한 2차 실험을 수행하였다. 객관적인 실험을 위해 새롭게 지상기준점을 측량하고 영상과 센서 데이터를 취득하였다.

1차 실험에서 무인항공기로 센서 데이터를 취득하기 전 실험 지역에 지상기준점을 위한 표지를 설치하고, 영상에서 나타난 지형지물 또는 지상기준점 표지를 GPSRTK를 이용하여 측량하였다. 2 cm의 정밀도를 갖는 25개의 지상기준점을 취득하였다. 무인항공기를 수동 비행으로 스트립의 방향을 자유롭게 하여 데이터를 취득하였다. 비행은 6분 동안 수행하였으며, 영상과 무인 항공기 위치/자세 데이터 92쌍을 얻었다. 위 데이터를 이용하여 기존의 항공 삼각측량의 방법을 통해 정밀하게 조정된 영상의 외부표정요소를 취득하였다. 정밀하게 조정된 영상의 외부표정요소와 초기 무인항공기의 위치/자세 값을 이용하여 탑재변수를 계산하였다.

2차 실험에서 실시간 모니터링 시스템의 정확도 평가를 위해 2 cm의 정밀도를 갖는 29개의 지상기준점을 취득하였다. 비행은 9.5분 동안 수행하였으며, 영상과 무인항공기 위치/자세 데이터 201쌍을 취득하였다. 무인항공기가 비행하면서 취득되는 센서 데이터에 탑재 변수를 통해 실시간으로 외부표정요소를 결정하고, 기하보정 과정을 거쳐 영상지도를 생성하였다.

2) 탑재변수 결정 결과

1차 비행실험으로 92개의 센서 데이터 중 육안으로 품질을 확인하고 지상기준점이 포함되지 않는 영상 40장을 제외한 52개의 영상을 이용하여 데이터 처리를 진행하였다. 조정된 외부표정요소를 얻기 위해 영상과 정밀도 2 cm의 지상기준점 18개를 사용하여 PhotoScan을 사용하여 항공삼각측량을 수행하였다.

비행 영역에 포함되는 지상기준점 중 7개를 검사점으로 하여 조정된 외부표정요소의 정확도를 확인하였다. 검사점 7개의 RMSE는 약 .4 cm였다. 위와 이 조정된 영상의 외부표정소요를 이용하여 시스템 캘리브레이션을 수행하였다. 무인항공기에 탑재되는 디지털카메라와 GPS/IMU 센서와의 거리는 거의 차이가 없으므로 센서 간의 거리인 이동벡터는 계산하지 않았으며, 회전 변환행렬만 결정하였다. 시스템 캘리브레이션을 수행하여 결정한 회전변환행렬은 식(1)과 같다. 무인항공기 자세로 구성되는 회전행렬(\(R_G^B\))에 회전변환행렬을 곱하여 영상의 자세로 구성되는 회전행렬을 계산한다.

\(\begin{aligned} &R_{G}^{B} R_{B}^{C}=R_{G}^{C}\\ &\text { where }\\ &R_{B}^{C}=\left(\begin{array}{rrr} -0.0146 & -0.9999 & -0.0046 \\ 0.9999 & -0.0146 & 0.0018 \\ -0.0018 & 0.0045 & 1.0000 \end{array}\right) \end{aligned}\)       (1)

3) 정확도 검증 결과

2차 실험에서 취득한 영상 201장 중 이상 데이터를 제외한 142장과 영상 취득 시점의 무인항공기 위치/자세 데이터 142개를 이용하여 정확도 검증을 진행하였다. 1차 실험에서 계산된 탑재변수를 통해 지오레퍼런싱을 수행하고 영상지도를 생성하였다. 142개의 센서 데이터를 이용하여 실시간으로 영상지도가 생성하였으며, 생성된 영상지도를 지오포털 상에 가시화한 화면은 Fig. 5와 같다.

OGCSBN_2018_v34n2_2_407_f0005.png 이미지

Fig. 5. Result of image map over existing geo-data through geo-portal

(Right: Image-map on the satellite image map / Left: Image-map on the street map).

Fig. 5와 같이 실시간으로 생성된 영상지도로 재난 발생지역의 현황을 파악하기 위해서는 영상끼리 상대적으로 크게 벗어나지 않아야 한다. 지오포털 상에서 베이스 맵에 중첩 또는 비교하기 위해서는 절대적인 정확도가 중요하다. 기하 보정하여 얻은 상대 정확도와 절대 정확도를 검사점을 통해 검증하였다. 상대정확도를 통해 인접한 개별 영상지도 간의 차이를 정량적으로 확인하였으며, 절대정확도를 통해 생성된 영상지도로부터 측정된 위치의 정확도를 정량적으로 확인하였다. 취득한 지상기준점 29개를 검사점으로 고려하여 평가를 수행하였다. 지상기준점의 분포는 Fig. 6과 같다. 모든 영상에 투영된 검사점의 개수는 총 346개였으며, 영상당 평균 3개의 검사점이 투영되었다.

OGCSBN_2018_v34n2_2_407_f0006.png 이미지

Fig. 6. istribution of Ground Control Point.

상대정확도는 인접한 영상지도에서 측정된 동일한 위치에 대한 좌표가 일치하는 정도로 정의하였다. 상대 정확도가 높을수록 실시간으로 생성된 영상지도가 정확하게 중첩이 가능하다. 중복되는 영상지도 간의 공액점을 추출하여 이에 대한 지상좌표를 비교하였다. 인접한 5개의 영상지도에서 나타난 공액점을 검사점으로 지정하여 확인하였다. 중복되는 인접 영상지도 간의 공액점을 측정한다. 공선방정식을 통해 평균고도에 투영하여 측정된 검사점(공액점)에 해당하는 지상좌표 값을 계산한다. 2개 이상의 영상에서 나타난 검사점이 같은 절대좌표로 계산되어야 하지만 각 단계에서 누적된 오차가 존재하기 때문에 같은점으로 계산되지 않는다. 각 점의 오차는 RMSE로 나타낼 수 있다. 영상 시퀀스에서 나타난 검사점의 지상좌표에 대한 RMSE를 계산하고 검사점의 개수를 가중치로 조합하여 하나의 영상 시퀀스의 상대정확도를 계산하였다. 모든 영상 시퀀스의 상대정확도를 계산하였으며, 각 영상 시퀀스마다 결과는 Fig. 7에 나와 있다. 영상에서 나타나는 공액점을 영상매칭을 통해 얻지 않고 지상기준점을 이용하였으며, 영상 시퀀스에 지상기준점이 나타나지 않는 경우 상대 정확도가 계산되지 않았다. 상대정확도가 나타나지 않은 경우를 제외하고, 평균적으로 영상 5장 사이에서 X 는 0.52 m, Y는 0.54 m의 오차가 있음을 확인하였다. 최대오차는 X 방향으로 1.4m, Y 방향으로 1.4 m였으며, 최소오차는 X 방향으로 0.14 m, Y 방향으로 0.05 m였다.

OGCSBN_2018_v34n2_2_407_f0007.png 이미지

Fig. 7. Relative accuracy.

절대정확도는 지형지물의 정확한 절대 위치에 대한 개별 영상지도의 위치 정확도로 정의하였다. 절대정확도가 높을수록 지오포털 상에서 기존의 공간정보에 정확하게 중첩이 가능하다. 지상기준점을 검사점으로 고려하여 정확도를 계산하였다. 하나의 영상에 나타난 검사점의 영상좌표를 계산하고, 공선방정식을 이용하여 절대좌표를 계산하였다. 영상에 나타난 모든 검사점의 계산된 절대좌표와 GPS-RTK를 이용하여 측량한 절대 좌표와의 RMSE를 계산하고 영상의 절대정확도를 나타내었다. 모든 영상의 절대정확도를 계산하였으며, 각 영상마다 결과는 Fig. 8에 나와 있다. 평균적으로 X는 1.3 m, Y는 0.89 m 오차를 보였다. 최대오차는 X 방향으로 3.9 m, Y 방향으로 2.44 m였으며, 최소오차는 X 방향으로 0.26 m, Y 방향으로 0.11 m였다.

OGCSBN_2018_v34n2_2_407_f0008.png 이미지

Fig. 8. Absolute accuracy.

4) 처리시간 검증 결과

무인항공기에 탑재된 센서로부터 취득되는 영상과 무인항공기의 위치/자세 데이터가 서버로 전송된 이후로부터 처리된 영상지도가 가시화되는 순간까지 각 단계에서 소요되는 시간을 측정하여 실시간성을 확인하였다. Intel i7 CPU, 16GMRAM, SSD 256GB의 사양을 가진 컴퓨터에서 실험을 진행하였다. 각 단계는 1)서버로 전송된 영상과 무인항공기의 위치/자세 데이터를 기하보정하여 영상지도를 생성하는 단계, 2)기하보정된 영상을 지오포털 서버에 전송하는 단계와 3)데이터 베이스에 등록하고 지오포털에서 각 스케일마다 가시화할 수 있는 tiled-tiff 포맷으로 변경하여 처리된 영상을 가시화하는 단계로 나뉜다. 영상지도를 생성할 때 설정한 격자의 간격에 따라 개별 영상지도를 생성하는 시간과 영상지도의 크기가 달라지며, 이에 따라 전송간이 달라진다. 처리된 결과를 서버로 전송하는 경우, LTE 통신을 이용하였다. LTE 통신 환경에 따라 결과를 지오포털 서버로 전송하는 과정에서 소요되는 시간이 달라진다. 영상지도를 생성할 때 설정한 격자의 간격을 변경하며 처리시간을 확인하였다. 카메라의 초점거리, 영상의 pixel 크기, 무인항공기의 고도를 이용하여 계산된 GSD는 평균 1.2 cm이다. 계산된 GSD 값을 이용하여 영상지도를 생성하는 것은 긴 처리시간을 요구한다. GSD와 처리시간은 trade-off의 관계로 GSD에 따라 처리시간을 확인하였다. 영상과 무인항공기 위치/자세 데이터 70쌍을 이용하여 처리시간을 측정하였으며, 70개의 처리시간 결과를 평균하여 각 단계별 처리시간을 확인하였다. GSD를 변경하면서 측정한 평균 처리시간과 생성된 영상지도 크기의 평균은 Table 3와 같다.

Table 3. Average processing time of each step

OGCSBN_2018_v34n2_2_407_t0003.png 이미지

GSD 5 cm로 기하보정을 수행하는데 소요되는 시간은 0.84초였으며, 생성된 개별 영상지도의 크기는 평균 4507.74 KB였다. GSD를 2배 늘려 10 cm로 하여 기하보정을 수행하는데 소요되는 시간은 0.54초로, 생성된 개별 영상지도의 크기는 평균 1164.96 KB였다. GSD를 2배 증가하여 기하보정에서 0.3초의 시간을 단축하였으며, 영상의 크기가 4배 줄어 업로드 3.18초 시간이 단축되었다. 20 cm로 GSD를 설정하였을 때, 기하보정 단계부터 생성된 영상지도를 지오포털 서버로 업로드하여 tiled-tiff format으로 변경하는데 1초 이내로 수행되었다.

4. 결론

본 연구에서는 무인항공기를 이용하여 센서데이터를 취득하고 취득한 센서로부터 실시간으로 공간정보를 생성하여 가시화하는 무인항공기 기반 지도생성 및 가시화 시스템을 제안하였다. 재난재해를 고려하여 항공 시스템의 무인항공기, 센서, 센서지원모듈을 선정하고, 센서로부터 취득된 데이터를 이용하여 실시간으로 공간정보를 생성하는 지상 시스템을 개발하였다. 항공과 지상시스템을 통합하여 시스템을 구축하였으며, 구축된 시스템을 이용하여 정확도와 처리시간 검증을 위한 실험을 진행하였다.

취득된 영상으로부터 영상지도를 생성하고, 생성된 영상지도의 정확도를 상대정확도와 절대정확도로 나누어 확인하였다. 생성된 영상지도의 상대정확도는 0.7 m, 절대정확도는 1.58 m이었다. 단계별 처리시간을 확인하기 위해 GSD를 변경하며 영상지도를 생성하였다. GSD 10 cm로 처리하였을 때 센서데이터가 지상 서버로 전송된 이후 1.64초 후에 영상지도가 지오포털 상에 가시화되었다. GSD를 낮춰가면서 검증을 진행하였을 때, 각 과정마다 소요되는 시간이 늘어남을 확인하였다. 원본 영상의 해상도와 비슷하게 영상지도를 생성하는 경우에는 생성된 결과의 용량이 커져 지오포털로 파일을 업로드하는데 많은 시간을 소요하였다. 향후 클라우드 서버를 사용하는 방식을 통해 생성된결과를 송수신하는 것이 아니라 하나의 컴퓨터에서 처리하는 방식으로 변경한다면, 파일을 송수신하는 단계를 제거 할 수 있어 처리시간을 단축할 수 있을 것으로 보인다. 이를 통해 기존에 정밀하게 제작된 지도의 정확도보다는 부족하지만, 실시간으로 재난 지역의 현황을 파악하는데 활용 가능함을 확인하였다. 추후에는 정확도 개선을 위해 영상의 외부표정요소를 실시간으로 조정할 수 있는 연구가 필요하며, 이를 통해 저가의 센서를 이용하여 실시간 모니터링을 수행할 수 있을 것으로 판단된다.

사사

본 연구는 국토교통부/국토교통과학기술진흥원 국토공간정보연구사업의 연구비지원(18NSIP-B080778-05)에 의해 수행되었습니다.

References

  1. Ahn, H., 2017. SK telecom, 'Video Disaster Rescue System based on LTE and Drone' released, http://www.etnews.com/20170714000252, Accessed on Oct. 23, 2017.
  2. Bu, S., Y. Zhao, G. Wan, and Z. Liu, 2016. Map2DFusion: Real-time Incremental UAV Image Mosaicing based on Monocular SLAM, 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems, Daejeon, South Korea, Oct. 9-14, pp. 4564-4571.
  3. Choi, K. and I. Lee, 2016. Planning and policy: Possibilities and prospects of drones-based spatial information industry, Korea Research Institute for Human Settlements, Sejong, Korea.
  4. Choi, K., J. Lee, and I. Lee, 2011. Development of a Close-range Real-time Aerial Monitoring System based on a Low Altitude Unmanned Air Vehicle, Journal of Korea Spatial Information Society, 19(4): 21-31.
  5. Gao, M., X. Xu, Y. Klinger, J. Woerd, and P. Tapponnier, 2017. High-resolution mapping based on an Unmanned Aerial Vehicle (UAV) to capture paleoseismic offsets along the Altyn-Tagh fault, China, Scientific Report, 7(1): 1-11. https://doi.org/10.1038/s41598-016-0028-x
  6. Gomez, C. and H. Purdle, 2016. UAV- based Photogrammetry and Geocomputing for Hazards and Disaster Risk Monitoring - A Review, Geoenvironmental Disasters, 3(1): 1-11. https://doi.org/10.1186/s40677-016-0036-y
  7. Haarbrink, R. B. and E. Koers, 2006. Helicopter UAV for photogrammetry and rapid response, In 2nd International Workshop "The Future of Remote Sensing," ISPRS Inter-Commission Working Group I/V Autonomous Navigation, Antwerp, Belgium, Oct. 17-18, pp. 1-5.
  8. Jang, S. and S. Shin, 2016. Kessia issue report: Drone technology and Market Trends and Infinite opportunities, Korea Embedded Software and System Industry Association, Seoul, Korea.
  9. Lee, J., K. Choi, and I. Lee, 2012. Calibration of a UAV Based Low Altitude Multi-sensor Photogrammetric System, Journal of the Korean Society of Surveying, 30(1): 31-38.
  10. Park, J., H. Jeong, J. Kim, and C. Choi, 2016. Development of Open source-based automatic shooting and processing UAV imagery for Orthoimage Using Smart Camera UAV, ISPRS International Archieves of the Photogrammetry Remote Sensing and Spatial Information Science, Jul. 12-19, vol. 41, pp. 941-944.
  11. Son, S., J. Yoon, J. Jo, T. Kim, and H. Jeon, 2016. Analysis of Disaster Response Technologies that Use Drones and Trend of Research, Korea Environment Institute, Sejong, Korea.
  12. Sharma, S., A. Muley, R. Singh, and A. Gehlot, 2016. UAV for Surveillance and Environmental Monitoring, Indian Journal of Science and Technology, 9(4): 1-4.
  13. Su, T. and H. Chou, 2015. Application of Multispectral Sensors Carried on Unmanned Aerial Vehicle (UAV) to Trophic State Mapping of Small Reservoirs: A Case Study of Tain-Pu Reservoir in Kinmen, Taiwan, Remote Sensing, 7(8): 10078-10097. https://doi.org/10.3390/rs70810078
  14. Yol, A., B. Delabarre, A. Dame, J.E. Dartois, and E. Marchand, 2014. Vision-based Absolute Localization for Unmanned Aerial Vehicles, 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, IL, USA, Sep. 14-18, pp. 1-6.
  15. Zaheer, Z., A. Usmani, E. Khan, and M.A. Qadeer, 2016. Aerial surveillance system using UAV, 2016 Thirteenth International Conference on Wireless and Optical Communications Networks, Hyderabad, India, Jul. 21-23, pp. 1-7.
  16. Zekkos, D., J. Manousakis, W. Greenwood, and J. D. Lynch, 2016. Immediate UAV-enabled Infrastructure Reconnaissance following Recent Natural Disasters: Case Histories from Greece, International Conference on Natural Hazards & Infrastructure, Chania, Greece, Jun. 28-30, pp. 1-9.
  17. Zhou, G., 2010. Geo-referencing of video flow from small low-cost civilian UAV, IEEE Transactions on Automation Science and Engineering, 7(1): 156-166. https://doi.org/10.1109/TASE.2008.2010948