Ortho-image Generation using 3D Flight Route of Drone

드론의 3D 촬영 경로를 이용한 정사영상 제작

Abstract

Drone images are being used more and more actively in the fields of surveying and spatial information, and are rapidly replacing existing aerial and satellite images. The technology of quickly acquiring real-time data at low cost and processing it is now being applied to actual industries beyond research. However, there are also problems encountered as this progresses. When high-resolution spatial information is acquired using a general 2D flight plan for a terrain with sever undulations, problems arise due to the difference in resolution of the data. In particular, when a low-altitude high-resolution image is taken using a drone in a mountainous or steep terrain, there may be a problem in image matching due to a resolution difference caused by terrain undulations. This problem occurs because a drone acquires data while flying on a 2D plane at a fixed altitude, just like conventional aerial photography. In order to acquire high-quality 3D data using a drone, the scale difference for the shooting distance should be considered. In addition, in order to obtain facade images of large structures, it is necessary to take images in 3D space. In this study, in order to improve the disadvantages of the 2D flight method, a 3D flight plan was established for the study area, and it was confirmed that high-quality 3D spatial information could be obtained in this way.

1. 서 론

측량 및 공간정보 분야에서 드론의 활용성이 커지고 있다. 드론은, 저비용으로 고해상도 영상을 손쉽게 얻을 수 있는 장점에 힘입어, 기존의 항공 영상과 위성영상으로 취득되던 공간정보를 보완하 고 일부는 대체하고 있다. 소규모 지역을 대상으 로 하는 경우, 보다 경제적으로 지도, DEM, 정사 영상이 제작되고 있으며, 기술 발전을 위한 다양 한 연구도 활발히 진행되고 있다. 최근 기존 2D 지도는 구글어스(Google Earth) 및 브이월드와 같 은 현실과 흡사한 3D 지도로 대체되고 있다. 3D 공간정보는 스마트 시티(Smart City), 디지털 트윈 (Digital Twin), VR(Virtual Reality)·AR(Augmented Reality) 등 다양한 분야에서 다른 데이터들과 융 합될 수 있는 기본 데이터이다. 따라서 고품질 3D 공간정보는 지적조사와 국토 모니터링, 도로와 시 설물에 대한 안전점검 등 활용범위가 매우 넓다.

그러나 드론으로 고해상도의 공간정보를 취득할 때 기존 2D 비행 방식을 사용하면 고품질 데이터 를 취득하는 데 있어서 문제가 발생할 수 있다. 드 론의 촬영고도는 위성이나 항공기에 비해 낮으므 로, 지면의 고도 차이에 상대적으로 더 큰 영향을 받는다. 따라서 고도 차이가 많이 나는 지역에서 일정한 촬영고도를 유지하여 영상을 취득하면 지 면의 고도에 따른 해상도 차이가 발생한다. 중첩 영상 간에 해상도 차이가 발생하면 정합이 되지 않거나 자료의 해상도가 저하될 수 있다. 또, 산림 이나 경사면을 촬영할 때 높이 계산이 잘못되어 드 론이 장애물에 부딪히거나 파손되는 경우도 있다.

또한, 공간정보산업 및 안전진단사업에서 고층 건물이나 고가 교량 등 높은 구조물의 측면 데이 터 수집에도 드론의 활용도가 높아지고 있다. 사 람이 위험을 감수하고 육안으로 일일이 확인하거 나 손실을 감수하며 공장을 멈추고 고가의 첨단장비를 사용하여 모니터링하는 것은 시간과 비용적 인 측면에서 효율적이지 못하다. 이러한 경우 드 론의 활용은 위험을 줄일 뿐만 아니라 소요되는 시간과 비용도 크게 줄여준다. 그러나 기존의 2D 비행방식으로는 고해상도의 정확한 측면 데이터를 확보하기 어렵다.

드론으로 취득한 데이터의 품질에 대한 관심이 증가하는 가운데, 특히 왜곡 현상 보정 및 개선 방안에 대한 연구가 진행되고 있으나 부족한 상황 이다. 선행연구를 살펴보면, [1]은 고가의 측량용 무인항공기가 아닌 일반용 저사양 무인항공기를 이용하여 소규모 경사지역의 정사영상 제작 가능 성을 확인하였다. [2]는 다양한 드론을 활용하여 정사영상의 왜곡을 개선하기 위한 연구를 진행하 였다. [3]은 선형정보와 특징점을 이용하여 연속적 인 드론영상의 기하보정을 자동으로 수행하는 방 법을 제안하였다. 제안된 방법을 실험한 결과, 지 형의 기복이 많지 않은 지역에서는 기하보정의 정 확도가 높게 나타났으며, 지형의 변화가 많은 지역 에서도, 비록 다소 큰 오차가 발생하였지만, 연속 영상의 기하보정 결과를 충분히 활용 가능함을 확 인하였다. [4]는 드론 촬영을 이용하여 비탈면 3D 모델을 작성하는 연구를 수행하여 GCP(Ground Control Point)의 중요성을 확인하였다.

한편, 건물이나 산림에 대한 드론 촬영에서 데 이터의 균일성과 정확도를 저하시키는 원인인 측 사면(측면과 사면) 왜곡에 대한 연구는 부족한 상 황이다. 본 연구에서는 사면 및 측면을 대상으로 하 는 드론 측량에 각각 DSM(Digital surface model, 수치표면모형)을 고려한 3D 비행 방식과 측면의 높이에 따른 3D 수직비행 방식을 적용함으로써 2D 비행 방식의 단점을 보완하고 고해상도의 균 일한 데이터를 효율적으로 수집할 수 있는 촬영기 법을 제시하였다. 또, 수집된 영상을 고해상도 영 상으로 제작하는 기법을 적용하였다. 이러한 연구를 통해 드론 측량 데이터의 품질을 향상하고, 공 간정보 분야에서의 원활한 활용을 도모하고자 하 였다. 연구 개요를 Fig. 1에 정리하였다.

Fig. 1 Research overview

2. 연구방법

2.1 드론

본 연구는 DJI사의 매빅2 프로(Mavci2 Pro) 모 델을 사용하였다. 카메라가 장착된 일체형 모델로 그 제원을 Table 1에 정리하였다. 매빅2 프로는 쿼드콥터 형식의 드론으로, 무게는 1kg 미만이고 최대 약 31분까지 비행할 수 있으므로 본 연구를 위한 비행에 적합하다. 이전에는 2,000만 화소 이 상의 이미지를 얻기 위해 지름 1m 이상의 대형 드론에 고사양 카메라를 장착하여 사용하였다. 그 러나 최근 드론 성능과 기술이 발달하여, 더 작은 드론으로도 고해상도 영상을 얻을 수 있다. 본 연 구에 사용된 카메라는 스웨덴 Hasselblad의 제품 으로, 2.54cm CMOS 센서가 탑재되었으며 가로 5,472픽셀, 세로 3,648픽셀, 유효픽셀 20MP의 영 상을 제공한다. [5]는 드론에서 영상 왜곡을 최소화하기 위해 짐벌(Gimbal)을 중요성을 언급하였 다. 본 연구에 활용된 드론은 카메라와 짐벌 일체 형으로, 빠른 비행에도 안정적인 촬영을 할 수 있 다. 실물은 Fig. 2와 같다.

Table 1. DJI Mavic 2 Pro specification

Fig. 2 Quadcopter DJI Mavic 2 Pro

2.2 연구 대상지

경사면 측량을 위한 연구 대상지는 강릉원주대학 교 강릉캠퍼스 생명과학2호관 남쪽 사면으로 선정하 였다(Fig. 3(a)). 이 경사면의 길이는 대략 90m이며, 촬영면적은 31,168㎡이다. 건물 측면 측량은 강릉 원주대학교 산학협력관(N10)을 대상으로 수행하였다(Fig. 3(b)). 산학협력관 건물 높이는 약 40m이다.

Fig. 3 Study sites (a) The slope on the south of building N17 for slope mapping (b) Building N10 for facade mapping

2.3 자동비행 소프트웨어

드론은 원칙적으로 조종자가 있어야 하나, 본 연 구에서는 조종 능력에 따른 오차를 최소화하기 위 하여 자동비행 소프트웨어 Drone Hamony를 사용 하였다. Drone Hamony는 사용이 쉽고 호환성이 좋으며, 저렴한 비용으로 안전한 입체 자동비행을 할 수 있다는 장점이 있다. 또, 원하는 DSM을 반 영하여 비행경로를 설정할 수 있으며 건물이나 구 조물의 형태에 따라 다양한 3D 비행을 지원한다.

2.4 데이터 수집

2.4.1 사면 촬영

국토교통부 국토정보지리원에서 운영하는 국토 정보플랫폼에서 제공하는 DEM(Digital ElevationModel, 수치표고모델)은 GSD(Ground Sample Distance, 지상표본거리) 90m/pix의 저해상도 자 료로, 드론의 비행경로에 적용하기 어렵다. 본 연 구에서는 드론의 저고도 비행에 활용할 수 있는 약 20cm/pix 해상도의 DSM 자료를 제작하여 사 용하였다(Fig. 4). 그리고 좌표의 정확도를 위해 DSM 구축 시 Table 2와 같이 네 곳의 GCP (Ground Control Point)를 설정하였다. 구축된 DSM을 Drone Harmony에 적용하면 Fig. 5와 같은 3D 지형 모형을 얻을 수 있다.

Fig. 4 20cm/pix DSM generated with drone (Fig. 3 (a))

Fig. 5 3D DSM generated with drone

3D 비행을 위해 DSM을 적용하여 대상 영역을 선택하고 비행경로를 설정하였다. 데이터를 비교, 분석하기 위해 Table 3과 같이 비행고도 100m, 150m, 200m 높이에서 각각 DSM을 반영한 3D 비행경로와 DSM을 반영하지 않은 2D 비행경로를 설정하였다. 촬영 중첩도는 Side Overlap 70%, Front Overlap 80%로 설정하였다. 중복도와 비행 고도가 결정되면 측량에 필요한 촬영 횟수가 결정된다[6]. 본 연구에서 수행한 각 촬영 개요는 Table 3과 같고, 비행경로는 Fig. 6과 같다. 촬영은 그림 자의 개입을 최소화하기 위해 10m/s의 최대한 빠 른 비행 속도로 진행하였다. 촬영 포인트 수가 182 로 가장 많은 ST100의 비행시간이 26m 14s로 가장 길었고, 촬영 포인트 수가 29로 가장 적은 SX200의 비행시간은 13m 47s로 가장 짧았다.

Table 2. Coordinates of four GCPs (EPSG:5187)

Table 3. 3D and 2D flight plans

* ST : 3D flight plan, SX : 2D flight plan. 100, 150, and 200 mean the flight height.

Fig. 6 3D and 2D flight routes

2.4.2 측면 촬영

측면 촬영은 경사면 촬영보다 더욱 정밀한 촬영 이 요구된다. 건물이나 구조물 촬영시 드론이 상하로 움직여야 하는데, 주변의 장애물이나 GPS 신호 의 폐색영역(Shadow) 발생으로 드론이 경로를 따 라 이동하지 않을 수도 있기 때문이다. 따라서 측면 촬영 대상지는 주변 장애물이 없는 강릉원주대학교 산학협력관(N10) 건물을 선정하였다. 건물 높이 정 보가 없으므로, 먼저 건물 외관을 매핑하여 높이를 측정하고 그 높이를 비행경로에 반영하는 방식으로 진행하였다. 건물 높이는 약 40m로 측정되었다.

일반적인 드론 촬영에서, 드론은 일정한 고도의 평면을 2차원적으로 움직이면서 지표면을 향하여 수 직방향으로 촬영한다. 그러나 이러한 방법으로 높은 구조물이나 건물 측면을 촬영한다면(Fig. 7(a)), 영상의 해상도는 촬영 거리에 영향을 받기 때문에 건물의 상부와 하부에서 서로 다른 품질의 데이터가 만들어 질 수밖에 없다. 본 연구에서는 고품질 측면 영상을 만들기 위해 Agisoft Metashape를 사용하여 대상 건 물의 측면을 바닥으로 설정하고 촬영한 후(Fig. 7(b)), 이 면을 기준으로 기하보정 하였다. 이 때 드론은 상 하방향으로 3차원적으로 움직이며 촬영한다.

Fig. 7 Flight routes for building facade mapping

3. 자료 처리 및 결과 분석

드론 촬영으로 데이터를 수집한 후 Pix4D Mapper 를 이용하여 후처리를 진행하였다. 최종 출력된 정사영상과 측면영상은 왜곡이 없는 기하보정 된 영상으로, 이 영상이 본 연구에서 최종으로 얻고 자 하는 결과물이다. 이 비왜곡 영상은 설계도면 이나 건물의 구조적 설계를 위해 사용된다.

3.1 사면 영상

최종 결과물의 품질보고서와 육안검사를 통해 2D 비행과 3D 비행 촬영 결과물을 비교하였다. 촬영고도 200m와 150m에서는 최종 결과물에 큰 차이가 없었다. 하지만 촬영고도 100m에서 2D 비 행 촬영(SX100) 데이터는 매칭률이 88%에 그쳤고, 그 결과 Fig. 8과 같이 데이터 처리가 되지 않은 영역이 발생하였다. 이와 관련된 품질보고서를 살 펴보면 2D 특징점에서 문제가 발생하였음을 확인 할 수 있다. 2D 특징점은 중첩된 영상에서 3D 포 인트를 추출하기 위해 필요한 점으로, 보고서는 영 상점이 매칭되지 않은 원인으로 이미지의 내용, 품 질, 크기를 언급한다. 이미지의 내용은 안개나 외 부적 환경적인 요인이고, 이미지 품질은 과다노출 과 셔터 스피드 등 내부적 카메라 설정의 문제를 말한다. 이미지 크기는 대상물의 촬영 거리에 따른 축척과 연관이 있다. 급경사면을 동일 촬영고도에 서 수직촬영하게 되면 높은 표고의 지역과 낮은 표고의 지역에서 축척 차이가 발생하며, 이로 인해 특징점 매칭에 어려움이 발생할 수 있다. 본 연구 는 이러한 문제를 해결하기 위해 촬영 계획에 지 형의 높이를 반영하여 일정한 고도에서 촬영하는 방법, 즉 DSM을 반영한 3D 비행경로를 제안한다.

Table 4는 각 촬영에서 이미지당 추출된 특징 점수를 정리한 표이다. 촬영고도 100m와 150m에서는 2D 촬영보다 3D 촬영에서 더 많은 특징점이 추출되었다. ST100, ST150에서 각각 SX100, SX150보다 58%, 14% 더 많은 특징점이 추출되 었다. 고도가 높아지면서 지형 기복의 영향이 줄 어든 것으로 볼 수 있다. 대조적으로 ST200에서는 SX200보다 63% 적은 특징점이 추출되었다. SX200 영상들이 ST200 보다 장당 촬영 면적이 더 넓고, 영상 매칭에 큰 문제가 없었기 때문인 것으로 보인다. Fig. 9는 이러한 결과를 그래프로 나타낸 것이다.

Table. 4 The number of distinct points for each flight

* ST : 3D flight plan, SX : 2D flight plan.

Fig. 8 Non-overlapped data and ortho images (flight height 100m)

Fig. 9 Comparison of the number of distinct points

3.2 측면 영상

Table 5는 Fig. 7에 보인 두 가지 촬영의 촬영 횟수와 제작된 측면 영상의 GSD를 비교한 표이 다. 이 두 가지 측면 영상은 Fig. 10에서와 같이 육안으로도 그 품질의 차이를 확연하게 구분할 수 있다. 3D 촬영의 경우(Fig. 10(a)), 건물 표면의 장식과 창문, 글씨가 뚜렷이 보이는 고품질 측면 영상을 얻을 수 있었다. 그러나 2D 촬영 결과 영 상에서는 창문 틀이 뚜렷하지 않고 글씨가 뭉개지는 등 많은 문제가 보인다(Fig. 10(b)). Fig. 10의 그래프는 건물 정면의 텍스쳐 질감을 보여준다. 그래프에서 보듯이, 3D 촬영을 한 경우에는 건물 표면의 편차가 3.4~4.8cm인 반면, 2D 촬영의 경 우에는 편차가 10~35cm에 달했다.

Table 5. Comparison of 2D and 3D flight for building facade mapping

Fig. 10 Facade images generated with 3D and 2D flight (upper) / deviations of the facade surface (lower)

4. 요약 및 결론

드론을 활용하여 평지의 정사영상을 제작하는 것은 기존 소프트웨어로도 쉽게 가능하지만, 급경 사지의 정사영상이나 건물 측면 영상 제작에 기존 의 방식을 적용하면 해상도와 정확도가 저하되어 고품질 영상을 얻기 힘들다. 본 연구에서는 사면 과 측면의 데이터를 효율적으로 수집할 수 있는 촬영기법과 촬영된 영상을 고해상도의 비왜곡 3D 영상지도로 제작하는 작업절차를 제시하고, 이를 적용하여 강릉원주대학교 경사지와 산학협력관 건 물을 대상으로 정사영상과 건물 측면 영상을 제작하였다.

촬영시 DSM을 활용하여 지면의 기복에 따라 촬영 고도를 결정하는 3D 비행방식을 적용하여, 일정한 고도를 유지하며 촬영하는 기존 2D 비행 방식보다 고품질의 영상을 제작할 수 있었다. 또, 건물 측면을 따라 비행하면서 측면에 수직 방향으 로 촬영하는 방식을 이용하여, 지표에 수직 방향 으로 촬영하여 제작할 때보다 품질이 뛰어난 건물 측면 영상을 제작할 수 있었다. 이는 공간정보를 구축하는 과정에서 드론의 촬영경로를 3D 공간에 서 계획하는 것이 더 나은 영상지도 제작으로 이 어질 수 있음을 보여준다. 사면과 측면의 영상을 보다 효율적으로 취득하기 위한 안정적인 3D 자 동비행 시스템은 아직까지 없으며, 대상 지역과 대상물의 여러 물리적인 방해 요소들에 의한 현실 적인 어려움이 존재할 수 있다. 향후 드론의 H/W 와 S/W의 발전으로 이러한 어려움이 해결되고, 많은 작업자들이 보다 손쉽게 고품질의 3D 영상 지도를 제작할 수 있는 환경이 조성되어, 디지털 트윈을 구축하기 위한 가장 효율적인 장비로 드론 이 보다 활발히 활용되기를 기대한다.

감사의 글

이 논문은 2023년 정부(국토교통부)의 재원으로 공간정보 융복합 핵심인재 양성사업의 지원을 받 아 수행된 연구임(2020-08-01)