Analysis on Mapping Accuracy of a Drone Composite Sensor: Focusing on Pre-calibration According to the Circumstances of Data Acquisition Area

드론 탑재 복합센서의 매핑 정확도 분석: 데이터 취득 환경에 따른 사전 캘리브레이션 여부를 중심으로

Abstract

Drone mapping systems can be applied to many fields such as disaster damage investigation, environmental monitoring, and construction process monitoring. To integrate individual sensors attached to a drone, it was essential to undergo complicated procedures including time synchronization. Recently, a variety of composite sensors are released which consist of visual sensors and GPS/INS. Composite sensors integrate multi-sensory data internally, and they provide geotagged image files to users. Therefore, to use composite sensors in drone mapping systems, mapping accuracies from composite sensors should be examined. In this study, we analyzed the mapping accuracies of a composite sensor, focusing on the data acquisition area and pre-calibration effect. In the first experiment, we analyzed how mapping accuracy varies with the number of ground control points. When 2 GCPs were used for mapping, the total RMSE has been reduced by 40 cm from more than 1 m to about 60 cm. In the second experiment, we assessed mapping accuracies based on whether pre-calibration is conducted or not. Using a few ground control points showed the pre-calibration does not affect mapping accuracies. The formation of weak geometry of the image sequences has resulted that pre-calibration can be essential to decrease possible mapping errors. In the absence of ground control points, pre-calibration also can improve mapping errors. Based on this study, we expect future drone mapping systems using composite sensors will contribute to streamlining a survey and calibration process depending on the data acquisition circumstances.

드론 매핑 시스템은 재난 피해 조사, 국토 환경 모니터링, 건설 공정 모니터링 등 여러 분야에 응용 가능하다. 드론에 장착된 다양한 개별 센서를 통합하여 활용하려면 시간동기화 등 여러가지 절차가 필요했다. 최근, 영상 센서와 GPS/INS가 함께 내장된 복합센서가 다수 출시되었다. 복합센서는 여러 가지 센서 데이터를 내부적으로 통합하여, 위치/자세를 영상 파일에 바로 태깅하여 제공한다. 이러한 복합센서를 드론 매핑 시스템에 활용하려면 매핑 정확도를 확인해 볼 필요가 있다. 이에 본 연구에서는 다양한 데이터 취득 환경과 사전 캘리브레이션 여부를 중심으로 복합센서의 매핑 정확도를 확인하였다. 첫째, 매핑 정확도가 지상기준점의 개수에 따라 어떻게 변하는지 살펴보았다. 지상기준점 개수가 2개일 때부터 총 RMSE가 1 m 이상에서 약 60 cm로 40 cm가량 줄어드는 것을 확인할 수 있었다. 둘째, 데이터 취득 상황과 사전 캘리브레이션 여부에 따른 매핑 정확도를 확인하였다. 지상기준점이 있는 경우에는 개수가 적을지라도 사전 캘리브레이션의 영향이 크지 않은 것을 확인할 수 있었다. 영상의 중복도가 충분하지 않을 때는 사전 캘리브레이션 하는 것이 정확도 개선에 영향을 주는 것을 확인할 수 있었다. 지상기준점이 없는 경우에는 카메라, 탑재체 모두 사전 캘리브레이션 하는 것이 정확도를 개선시키는데 영향이 있음을 확인하였다. 본 연구를 기반으로, 향후 복합센서를 이용한 드론 매핑 수행 시 데이터 취득 조건에 따라 지상기준점 측량과 캘리브레이션 과정을 효율화 하는데 기여할 것으로 기대한다.

1. 서론

위성이나 유인항공기와 달리 드론은 비교적 좁은 지역에 대한 적시에 정밀하고 경제적인 감시가 가능한 플랫폼이다. 이러한 장점에 힘입어 드론은 재난 현장 감시와 수색, 국토와 환경 변화에 대한 모니터링, 건설 토공량 산출과 시공 현황 모니터링, 토목 구조물 안전과 유지 관리 등 여러 분야에서 유용하게 활용될 수 있다. 일반적으로 드론을 활용하는 개별 응용 분야에서는 드론으로 영상을 취득하고, 취득된 영상에 사진측량 처리 과정을 적용하여 정사영상, 메시모델 등을 생성하고 다른 정보들과 함께 분석하여 종합적인 판단을 도출한다.

최근 컴퓨터비전 기술 발달로 드론 사진측량 과정의 많은 부분이 자동화됐으며, 드론 매핑 시스템을 구축하여 모니터링하는 여러 가지 연구가 수행되었다. Choi et al. (2011)은 비행 중인 무인항공기에서 실시간으로 센서 데이터를 전송 받아 고속으로 처리하여 지상에서 실시간으로 공간정보를 생성하는 실시간 공중 모니터링 시스템을 구축하였다. 해당 시스템은 무인 헬리콥터에 디지털 카메라, GPS, IMU, 레이저 스캐너, 무선통신용 모뎀, 온보드 컴퓨터(on-board computer, OBC)를 장착하 였으며 2.5톤급 트럭을 개조한 이동형 지상국을 운영하여 실시간으로 공중에서 센서 데이터를 전송받은 후 처리하여 수치지형모델과 정사영상을 생성 및 표출하도록 구성했다. Jeon et al. (2015)은 무인 헬리콥터 대신 여러 가지 센서가 장착된 멀티콥터 드론을 이용하여 해당 시스템으로 고속 자동 매핑을 수행했다. 여러 가지 센서로부터 서로 다른 시간 주기로 취득된 데이터를 통합하기 위해 선형 내삽법에 의한 시간동기화를 수행했다. Cheon et al. (2018)은 멀티콥터 드론으로 취득한 영상을 공중에서 지상으로 실시간으로 전송받아 지오레퍼런싱을 수행하고 정사영상을 생성한 후 웹 상에 가시화하는 연구를 수행했다. 특히, 번들 조정(bundle adjustment, BA)에 의한 간접 지오레퍼런싱이 발생시키는 계산 부담을 경감하기 위해 직접 지오레퍼런싱을 적용했으며, 정밀한 수치표면모델(digital surface model, DSM)을 이용해 모자이크 정사영상을 생성하는 대신 평균고도면 에 개별정사영상을 생성하였다. Kim et al. (2019)은 대비, 예방, 대응, 복구 등 재난 관리 전 단계에서 드론 매핑을 적용하는 연구가 활발하게 이루어지고 있다고 언급하였으며 소형 드론을 이용하여 재난 피해 현장 영상을 취득한 후 사진측량 기법에 의해 3차원 공간정보를 생성하여 산사태, 제방 붕괴, 하천 범람 피해 분석을 수행하였다. Chung et al. (2020)은 장기체공 태양광 고정익 드론으로 산불 위험 요소를 모니터링하기 위해 무게가 매우 가볍고 전력 소모량이 적으며 영상 촬영, 통신이 모두 가능한 스마트폰을 활용하였다. 이상의 선행 연구에서 알 수 있듯이 재난, 해양 등 관심 지역 모니터링에 활용할 수 있는 여러 가지 드론 매핑 시스템이 제안되었다. 드론 매핑 시스템은 드론 뿐만 아니라 센서, 여러 센서를 통합적으로 제어하는 OBC, 통신장비, 매핑 소프트 웨어 등이 조화롭게 연계되어야 한다. 과거에는 영상센서, GPS, IMU 등 여러 가지 개별 센서를 통합하기 위해 OBC를 활용하였으며, 이들 센서 간의 상대적 위치/자세를 규명하기 위해 시스템 캘리브레이션을 별도로 수행하였다(Lee et al., 2012). 그러나 OBC를 개발하려면 임베디드 시스템 전문가 등이 필요하고 실험실 환경이 아닌 공중에서 높은 신뢰성을 얻기 위해서는 많은 시험과 설계 수정이 요구된다. 그리고 시스템 캘리브레이션을 수행하려면 지상기준점 측량이 필요하며, 좋은 시스 템 캘리브레이션 성과를 획득하려면 여러 차례 다양한 위치와 자세로 비행해야 한다. 특히, 취득 주기가 서로 다른 여러 센서에서 동시성이 뛰어난 자료를 취득하려면 시간동기화 과정이 필수적이다. 최근에는 사용자가 직접 시간동기화 등 여러 가지 교정 작업에 대한 부담을 줄일 수 있도록 카메라, GPS, INS 등을 일체형으로 통합한 복합센서가 다수 출시되었으며, 기존에 드론에 장착되던 센서 탑재체에 비해 무게와 크기가 줄어들어 간편해졌다. FLIR사에서는 광학 카메라, 열화상 카메라, GPS, INS가 통합된 드론용 센서 시스템인 Duo Pro R 등을 출시하였다. DJI사에서는 LiDAR 모듈, 광학 카메라, IMU를 통합한 센서 시스템인 Zenmuse L1을 출시하였다. 이러한 복합센서는 여러 가지 센서에서 생성한 데이터를 시간동기화 등을 통해 통합하는 과정이 내부적으로 이미 구현되어 있어 센서 데이터를 취득하면 영상 파일의 메타데이터에 위치, 자세 등이 자동으로 태깅된다. 이러한 특성으로 볼 때 복합센서를 이용한 직접 지오레 퍼런싱은 실시간 드론 매핑 시스템의 성능을 향상시키고 개발과 운용에 드는 비용을 줄이는데 큰 도움을 줄 것으로 기대된다. 이러한 장점을 살려 다양한 분야 실제 적용하려면 일단 복합센서의 매핑 정확도를 확인해야한다. 단지 제조사에서 제공하는 규격서에 명시된 수치를 이용하는 것보다는 실제 환경에서 운영하여 산출되는 정확도를 확인할 필요가 있다. 즉, 복합센서를 드론에 탑재하여 다양한 조건으로 데이터를 취득하고 처리하여 공간정보를 생성하고 이에 대한 정확도를 검증해야 한다.

그동안 여러 가지 드론 시스템의 매핑 정확도를 검증한 연구가 다수 이루어졌다. Sanz-Ablanedo et al. (2018)은 2 kg급 고정익 드론에 미러리스 카메라(삼성 NX500)를 장착하여 영상을 취득한 후 지상기준점의 개수와 분포에 따른 수직, 수평 위치 정확도를 산출하였다. 약 2500장 이상의 사진과 100개 이상의 지상기준점으로 여러 가지 조합을 평가한 결과, 100장 당 3개 이상의 지상기준점이 필요하다는 결론을 얻었다. Ferrer-Gonzalez et al. (2020) 역시 회전익 드론(DJI Phantom 4 Pro)을 이용하여 도로를 따라 선형 매핑(corridor mapping)을 수행했을 때 지상기준점의 개수와 분포에 따른 수직, 수평 위치 정확도를 산출했다. 그 결과 km당 4.3개 또는 5.2개 지상기준점을 선점했을 때 가장 효율적인 것으로 판단하였다. Aguera-Vega et al. (2017)은 면적이 17.64 ha인 장소에서 160개 드론 영상을 취득하여 정사영상과 수치지면모델을 생성하였고, 그 결과 지상기준점의 개수가 15개일 때 가장 좋은 위치정확도를 얻을 수 있었다. Martinez-Carricondo et al. (2018)과 Tahar (2013)은 ha당 0.5~1개 지상기준점을 사용했을 때 가장 좋은 위치정확도를 얻었으며, Reshetyuk et al. (2016)은 ha당 1.8개 지상기준점을 사용했을 때 가장 좋은 위치 정확도를 얻었다.

본 연구에서는 드론 매핑 시스템에 있어 복합센서를 활용할 때 다양한 조건에 따른 매핑 정확도를 확인하고자 다음과 같은 질문을 제기하였다.

Q1. 복합센서의 매핑 정확도는 어느 정도인가? 지상 기준점 개수에 따라 어떻게 달라지는가?

Q2. 복합센서의 매핑 정확도는 사전 캘리브레이션 여부에 영향을 받는가? 다음 3가지 조건에 따라 어떻게 달라지는가?

2-1. 지상기준점이 적은 경우

2-2. 영상의 중복도가 충분하지 않은 경우

2-3. 지상기준점 없이 직접 지오레퍼런싱을 수행하는 경우

첫 번째 질문에서 지상기준점의 개수를 달리해가며, 복합센서 매핑 정확도를 확인하는 실험을 수행하였다. 이 실험에서 얻은 캘리브레이션 파라미터로 두 번째 질문에 답하기 위한 실험을 진행하였다. 두 번째 질문에서는 지상기준점이 적을 때, 영상의 중복도가 충분하지 않을 때, 지상기준점이 없을 때에 따라 매핑 정확도를 확인하였다.

2. 연구 방법

1) 연구 개요

본 연구에서는 앞서 제기한 질문에 답하기 위해 다양한 조건을 구성하여 실험을 설계하였다(Table 1과 2). 첫 번째 실험(Exp. A)에서는 지상기준점 개수를 1~14개로 바꾸어가며 복합센서 매핑 정확도가 어떻게 변화하는지 살펴보았다. 또한, 다음 실험에서 이용할 캘리브레이션 파라미터를 구하였다. 두 번째 실험(Exp. B)에서는 실험 A에서 구한 캘리브레이션 파라미터로 사전 캘리브레이션 여부에 따른 매핑 정확도를 분석하였다. 실험 B는 세부 조건에 따라 다시 세 가지 실험으로 나누어진다. B-1에서는 적은 개수의 지상기준점을 이용했을 때도 사전 캘리브레이션이 필요한지 확인하였다. B-2에서는 영상의 중복이 많지 않도록 횡중복도가 전혀 없는 영상만 이용하여(weak geometry 형성) 복합센서의 매핑 정확도를 확인하고자 하였다. 앞선 실험에서 다른 고도에서 촬영된 영상을 이용한 것과 다르게 하나의 고도만 이용하고, 횡중복도를 낮추기 위해 하나의 스트립 영상만 이용하였다. B-3에서는 지상기준점 없이 직접 지오레퍼런싱을 수행하는 경우 복합센서 매핑 정확도를 확인하고자 하였다.

Table 1. Experiment A summary

Table 2. Experiment B summary (interior orientation parameters, IOP & mounting parameters, MP)

실험 B에서 사전 캘리브레이션 여부는 탑재변수 (mounting parameter, MP)와 카메라 내부표정요소(interior orientation parameter, IOP)를 사전에 캘리브레이션 하 지 않았는지 했는지를 의미한다. 탑재 변수를 사전에 캘리브레이션하지 않았다는 것은 기본 값을 고정으로 적용한 것을 의미하며, 했다는 것은 사전에 결정한 탑재 변수 값을 고정 적용한다는 것을 의미한다. 카메라 내부표정요소를 사전에 캘리브레이션하지 않았다는 것은 셀프 캘리브레이션(Faugeras et al., 1992)하는 것을 의미하고, 했다는 것은 캘리브레이션된 카메라 내부표정요소를 고정 적용하는 것을 의미한다. 탑재변수, 카메라 내부표정요소에 대한 캘리브레이션 유무 적용은 4가지 조합으로 이루어진다.

실험 A에서는 지상기준점 개수가 더 많은 Site A를 이용하여 실험을 진행하였다. 실험 B에서는 사전 캘리브레이션 파라미터를 사용하기 위해 Site A와 관련성이 낮은 새로운 영역인 Site B를 이용하여 실험하였다.

2) UAV 시스템

(1) 드론 M600

데이터 취득은 회전익 드론이면서 복합센서 탑재가 용이한 DJI M600으로 진행하였다(Table 3과 Fig. 1). DJI M600은 6개의 날개, 비교적 큰 중량과 크기 덕분에 타 소형 드론보다 비행이 안정적이다. 또한, 6개의 배터리는 페이로드가 없을 때 최대 35분까지 비행할 수 있으며, 해수면 기준 상공 2.5 km까지 비행이 가능하다. 이는 넓은 대상을 매핑할 때 적합한 것으로 볼 수 있다. 무엇보다도 M600은 다양한 타센서들과 호환이 가능하고, 10 kg 정도의 페이로드가 허용 가능한 장점이 있다. 본 실험에서는 활용 방면을 매핑으로 두었기 때문에, 사용자가 원하는 여러 가지 페이로드를 장착하기 용이한 M600을 데이터 취득 드론으로 선정하였다.

Table 3. Specification of M600

Fig. 1. M600

(2) 복합센서 Flir duo pro R 640

데이터 취득에 복합센서 Flir duo pro R 640센서를 이 용하였다(Table 4와 Fig. 2). Flir duo pro R 복합센서는 작은 사이즈와 가벼운 무게 덕분에 드론에 탑재가 용이하여, 다양한 산업, 상업 분야에 적용할 수 있도록 만든 센서다. 광학, 열화상 카메라, GPS/INS가 모두 통합되어 있어 광학, 열 영상 취득 동시에 GPS/INS 정보가 태깅된 영상 파일을 제공한다. 광학 영상과 열 영상을 동시에 이용할 수 있다는 점은 항공 사진 응용 분야에 적 용 가치를 생각해볼 수 있다. 하지만, 본 연구에서는 Flir duo pro R 복합센서가 제공하는 영상에 태깅된 GPS/ INS의 위치/자세 정보가 타당한지 평가하고자 하기 때문에 광학 카메라와 GPS/INS센서만 다루었다. Table 4의 제원은 Flir사에서 제공하고 있는 데이터시트를 기반으로 하고 있는데 GNSS와 IMU에 대한 정보는 센서 포함 여부만 나타나 있고, 상세한 정보는 포함하지 않고 있다.

Table 4. Specification of Flir duo pro R 640

Fig. 2. Flir duo pro R 640.

3) 데이터 준비

(1) 영상 및 지상기준점/검사점 취득

데이터 취득은 인천광역시 서구에 위치한 청라국제 도시 일대에서 수행하였다. 청라국제도시는 주거지구와 상업지구가 조화롭게 구성된 계획도시다. 건물이 많기 때문에 텍스처가 충분하고, 건물 사이의 간격이 일정하게 떨어져 있기 때문에 마커와 영상 취득 계획을 통제할 수 있어 실험 대상지역으로 선정하였다.

Leica Zeno GG04 GPS RTK장비를 사용하여 실험에 이용할 마커를 취득하였다. 취득 당시 설정한 수평/수직 위치 정확도는 평균 0.01 m/0.015 m였다. 대공표지 점을 일정한 간격으로 분포시켰고, 각 표지점의 간격은 좌우 기준으로 약 40 m에서 76 m에 이른다. 취득한 점은 총 48개, 실험 영역 선택에 따라 실제로 이용한 점은 32개다.

비행 취득 계획은 DJI M600과 연동되는 Pix4DCapture 앱을 이용하여 수립하였다. 중복도, 한 영상의 지상 범위 (Ground coverage dimension), 한 픽셀이 담는 실제 거리인지 지상표본거리(ground sampling distance, GSD)에 대한 요약은 Table 5에서 확인할 수 있다.

Table 5. Description of image acquisition

(2) 실험 데이터

취득한 데이터 중 이용할 지역 범위를 정하여 Site A, Site B로 분류하였다. 각 데이터는 비행고도 100 m, 130 m에서 촬영된 영상이 섞여 있으며, 실험 조건에 따라 전부 이용하거나 하나의 영상 고도만 이용하였다. 또한, 마커는 실험 조건에 따라 부분적으로 영상을 조정하는 데 이용하는 지상기준점으로 이용하거나 조정 결과를 검증하는 검사점으로 이용하였다. 각 Site에 대한 영상의 개수, 지상기준점과 검사점 개수, 전체 면적은 Table 6와 Fig. 3에서 확인할 수 있다.

Table 6. Description of Site A and Site B

Fig. 3. The location of Site A and Site B including markers.

4) 데이터 처리 방법

각 실험에서는 상용 사진측량 소프트웨어인 Photoscan (Agisoft, 2021)을 이용했다. Photoscan의 align photos 기능을 이용하여 복합센서가 태깅한 위치/자세 값을 초기값으로 영상 매칭과 번들 조정을 수행했다. 영상과 마커의 좌표계 기준은 중부원점(GRS80) 좌표계로 설정하였다. 좀 더 정확한 매핑 정확도를 얻기 위해서는 좌표계를 설정함과 동시에 카메라와 마커에 대한 추정 정확도가 필요하다. 추정 정확도는 사용한 카메라 혹은 마커를 취득할 당시에 예상되는 각각의 정확도를 의미한다. 마커는 취득 당시 설정한 수평/수직 위치 정확도를 입력하였다. 카메라 정확도는 제조사에서 제공하고 있지 않기 때문에 수평 정확도는 Photoscan의 기본 값 으로 설정하였고, 수직 정확도는 바람 등에 의한 영향으로 비행 고도가 5 m 이내로 차이가 나는 것을 고려하여 15 m로 설정하였다. 처리 과정에서 설정한 정확도는 Table 7에서 확인할 수 있다.

Table 7. The assumed measurement accuracies of a camera and markers

Align photos 단계 후 Optimize Cameras를 통해 최종적으로 조정된 결과를 얻는다. 이 과정은 Align photos로 얻은 결과를 처음 값으로 설정한 정확도에 기반해 다시 번들 조정하여 카메라 외부표정요소와 내부 표정요소 그리고 마커를 한번 더 조정한다.

매핑 후 검사점에 대한 RMSE를 구하여 실험 결과를 분석하였다. 처리 전 검사점 위치와 조정 후 검사점 차이 값을 동(east), 북(north), 고도(altitude) 값에 따라 RMSE 값을 산출한다. RMSE는각점 위치에 대해 초기와 조정된 값 차이를 제곱하여 더한 뒤 전체 개수로 나눈 것을 의미한다. 각 방향에 대한 RMSE와 총 RMSE는 다음의 수식 Eq. (1)과 Eq. (2)을 통해 구할 수 있다.

\(R M S E_{D}=\sqrt{\frac{\sum_{i=1}^{n}\left(D_{i, e n}-D_{i, i n}\right)^{2}}{n}}\)       (1)

\(R M S E_{\text {Total }}=\sqrt{\frac{\sum_{i=1}^{n}\left(X_{i, e s t}-X_{i, i n}\right)^{2}+\left(Y_{i, e s t}-Y_{i, i n}\right)^{2}+\left(Z_{i, e s t}-Z_{i, i n}\right)^{2}}{n}}\)       (2)

where n: number of check points.

D: East(X), North(Y) or Altitude(Z)

X_{i, in}, Y_{i, in}, Z_{i, in} : input value for X, Y and Z coordinate for i.

X_{i, est} , Y_{i, est} , Z_{i, est} : estimated value for X, Y and Z coordinate for i.

3. 실험 결과

1) 실험 A: 복합센서의 매핑 정확도

실험 A에서는 지상기준점의 개수에 따라 복합센서의 매핑 정확도가 어떻게 변화하는지 평가하고, 카메라 내부 표정요소와 탑재 변수의 캘리브레이션 파라미터를 구하고자 하였다. 지상기준점을 많이 확보할 수 있을수록 매핑의 정확도를 향상시킬 수 있다. 하지만 항 상 지상기준점을 많이 확보할 수 있는 것은 아니기 때문에 지상기준점이 최소 몇 개인 지점부터 정확도 변화 폭이 큰지 확인하고자 하였다. 14개를 최대 개수로 지상 기준점 개수를 1개, 2개, 3개, 6개, 9개, 14개로 점차 늘려나가며 실험을 수행하였다. 지상기준점이 1개인 경우에는 총 RMSE가 1.6796 m로 1 m 이상 넘는 수준을 보였다. 지상기준점을 1개 더 추가함에 따라(2 GCPs) 동/북/고도에 대한 RMSE가 모두 급격하게 줄어들었다. 지상기준점이 6개일 때부터 약 45 cm의 총 RMSE를 보였고, 9개, 14개까지 늘려나갔지만 총 RMSE는 큰 폭으로 감소하지 않았다. 본 실험을 통해 정밀한 측량을 요구하는 상황이 아니라면, 2개 이상의 지상기준점부터 1 m 이내의 총 RMSE를 얻을 수 있을 것으로 예상된다. 실험 결과는 Fig. 4에서 확인할 수 있다.

Fig. 4. A result of exp. A (according to the number of GCPs).

앞선 실험 중 지상기준점 14개를 이용했을 때의 결과를 이용하여 카메라, 탑재체의 캘리브레이션 파라미터를 구하였다(Table 8과 9). 마커의 위치 정확도에 큰 영향을 끼치는 초점 거리(focal length)는 4324.3243 pixel에서 4115.6581로 약 209픽셀 정도 변화한 것을 볼 수 있다. 이는 mm로 환산했을 때 0.0004 mm에 해당한다. 탑재 변수의 경우 pitch가 -90°에 가깝게 나오는 것을 확인할 수 있었다. 탑재 변수를 사전 캘리브레이션하지 않았을 때, pitch 값은 -90°로 고정하여 실험을 수행하였다.

Table 8. Estimated interior orientation parameters

Table 9. Estimated mounting parameters

2) 실험 B: 사전 캘리브레이션의 영향

(1) B-1 지상기준점이 적을 경우

실험 B는 복합센서의 매핑 정확도가 사전 캘리브레이션 여부에 영향을 받는지 확인하고자 하였다. 실험 B-1에 서는 적은 개수의 지상기준점을 적용하여 매핑 정확도를 확인하였다. 캘리브레이션 파라미터를 구한 Site A 와 분리되는 Site B를 이용하여 사전 캘리브레이션 여부에 대한 4가지 조합을 적용하여 처리하였다. MartinezCarricondo et al. (2018)과 Tahar (2013)의 ha당 0.5~1개 혹은 Reshetyuk et al. (2016)의ha 당 1.8개의 지상기준점으로 처리하는 것이 정확도를 개선시킬 수 있다는 결과를 바탕으로 3개의 지상기준점을 이용하였다. Site B는 1.8482 ha에 해당된다. 100 m, 130 m에서 취득된 영상 162장을 모두 사용하여 처리하였다. 사전 캘리브레이션 여부 4가지 경우에 대한 총 RMSE는 평균적으로 0.5101 m를 보였다. 또한, 4가지 경우 모두 동/북/고도에서 모두 1 cm 이내의 근소한 차이를 보였다. 실험 3 결과 Fig. 5에 따라 지상기준점이 있는 경우에는 사전 캘리브레이션 여부가 영향을 끼치지 않는 것으로 판단할 수 있다.

Fig. 5. A result of exp. B-1.

(2) B-2 영상의 중복도가 충분하지 않은 경우

이번 실험에서는 중복도가 충분하지 않은 상황에서 사전 캘리브레이션 여부에 따른 복합센서 매핑 정확도를 분석하였다. 영상의 중복도가 충분하지 않도록 하기 위해 앞선 실험과 달리 이번 실험에서는 100 m 단일 고도에서 매핑을 수행하였다. 이에 더하여 매핑 영역이 종 /횡 중복도를 충분히 포함하지 않도록 선형 비행 경로로 Site B에서 한 스트립 영상 18장을 선택하여 매핑을 수행하였다. 영상에 식별되는 전체 5개의 마커 중양 끝 지점 2개를 지상기준점으로 이용하였다.

실험 결과를 통해 모두 캘리브레이션되지 않은 경우, 탑재체만 캘리브레이션된 경우, 탑재체와 카메라 모두 캘리브레이션 된 경우, 카메라 캘리브레이션만 된 경우 순으로 정확도가 높아지는 것을 확인할 수 있다(Fig. 6). 우선, 모두 캘리브레이션 되지 않은 경우에서 모두 캘리브레이션된 경우와 카메라 캘리브레이션만된 경우 각각 약 0.57m, 0.69 m 만큼 총 RMSE가 줄어드는 것을 확인할 수 있다. 이 차이는 고도 100 m에서의 지상표본 거리가 0.0362 m임을 고려했을 때, 지상표본거리의 16배, 19배에 해당되기 때문에 정확도가 크게 향상된 것으로 볼 수 있다. 탑재변수 캘리브레이션만으로 혹은 카메라 캘리브레이션만으로도 정확도가 향상된 것을 확인할 수 있다. 주로 고도에서 오차가 감소하였고, 사전에 구한 yaw, pitch 혹은 초점거리에 대한 정보로 개선되었음을 유추할 수 있으며, 캘리브레이션에 따른 정확도 개선은 타 연구에서 확인되었다(Ellum and El-Sheimy, 2002; Xiufeng et al., 2020). 모두 캘리브레이션 되었을 때보다 카메라 캘리브레이션만 되었을 때, 총 RMSE가 약 0.12 m 차이가 나지만, 4가지 경우를 서로 비교했을 때 다른 결과에 비해 그 차이가 크지 않은 것으로 볼 수 있다. 결과를 종합해보았을 때, 모두 사전 캘리브레이션하는 것이 정확도가 가장 좋게 나오는 것이 아니라면, 중복도가 충분하지 않은 경우에는 카메라만 사전 캘리브레이션하는 것이 합리적인 것으로 해석할 수 있다.

Fig. 6. A result of exp. B-2.

(3) B-3 지상기준점이 없는 경우-직접 지오레퍼런싱

실험 B의 세 번째 실험에서는 지상기준점 없이 직접 지오레퍼런싱 했을 때 사전 캘리브레이션 여부에 따라 복합센서의 매핑 정확도를 확인하고자 하였다. 결과 분석을 위해 Site B의 전체 마커 10개를 검사점으로 이용하여 RMSE를 확인하였다. 지상기준점이 없는 경우 복합센서의 매핑 정확도는 평균적으로 약 3.7173 m의 총 RMSE를 보였다. RMSE가 북/고도 방향은 1.8 m 이내로 동쪽 방향에서 3 m 이상으로 보이며, 비교적 동에서 발생한 오차가 전체적인 매핑 정확도에 영향을 많이 끼친 것으로 보인다. 사전 캘리브레이션 여부에 따른 결과는 탑재 변수와 카메라 내부표정 요소가 모두 적용되었을 때 가장 총 RMSE가 낮은 것으로 보였다. 그 다음으로, 약 35 cm 차이로 사전 캘리브레이션을 하지 않았을 때가 총 RMSE가 낮은 것을 확인할 수 있었다. 이는 카메라 셀프 캘리브레이션이 더 잘 적용된 것으로 볼 수 있다. 카메라 내부 표정 요소나 탑재 변수 둘 중 하나만 사전 캘리브레이션이 적용된 경우에는 둘 다 하지 않은 경우보다 15 cm, 20 cm 차이가 나는 것으로 보였다. 실험 결과 Fig. 7에 따라 사전 캘리브레이션이 적용되었을 때 총 RMSE가 낮게 나오는 것을 확인할 수 있었지만 3 m 이상의 RMSE는 정밀한 매핑에서는 허용되는 수준으로 볼 수 없다. 그럼에도 불구하고, 재난 모니터링과 같은 신속한 매핑을 요구하는 상황에서 3 m 이상의 정확도를 허용한다면, 사전 캘리브레이션이 필요할 것으로 보인다.

Fig. 7. A result of exp. B-3.

4. 고찰

본 연구에서는 복합센서를 매핑 시스템에 활용하고자 다양한 조건에서 매핑 정확도를 확인하였다. 실험 A 에서는 지상기준점 개수를 달리해가며 복합센서 정확도를 살펴보았다. 지상기준점 2개부터 총 RMSE가 1 m 이상에서 약 60 cm로 40 cm가량 줄어드는 것을 확인할 수 있었다. 또한, 캘리브레이션 파라미터를 구하여 실험 B에서 사전 캘리브레이션 여부에 따른 매핑 정확도를 평가하였다. 실험 B-1에서 지상기준점이 적을 때 매핑 정확도를 평가하고자 지상 기준점 3개를 이용하여 실험을 수행하였다. 총 RMSE는 평균적으로 0.5101 m 정도 보였으며, 지상기준점이 있는 경우에 사전 캘리브레이션 여부는 큰 영향이 없는 것을 확인할 수 있었다. 기존 연구에서는 셀프 캘리브레이션이 잘 작동하는 것으로 여겨왔다(Jiménez-Jiménez et al., 2021). 하지만, 대부분의 경우가 지상기준점이 충분한 상태에서 확인한 결과였다. 실험 B-1결과를 통해 지상기준점 개수가 적을지 라도 셀프 캘리브레이션이 잘 적용될 수 있음을 확인할 수 있었다.

실험 B-2에서는 영상의 중복도가 충분하지 않은 환경을 구성하여 복합센서 매핑 정확도를 확인하였다. 100 m 단일 고도의 영상에서 횡중복도가 없도록 한 스트립 영상을 선택하여 실험을 수행하였다. 탑재체나 카메라 둘 중 하나만이라도 사전 캘리브레이션이 되었을 때 정확도가 개선될 수 있는 것을 확인할 수 있었다. 최근 도로, 선형 형태의 공장, 매설관, 터널 등을 관리하는 데 이용할 수 있는 corridor mapping의 관심이 증가하고 있다(Oh et al., 2018; Ferrer-Gonzalez et al., 2020). Corridor mapping에 관한 연구에서 주 관심사는 매핑의 정확도를 높이기 위한 지상기준점의 분포에 그쳤다. 실험 B-2 에서는 앞선 연구와 다르게 복합센서의 카메라뿐만 아니라 탑재체에 대한 캘리브레이션 영향도 확인하였으며, 영상의 중복도가 충분히 고려되지 않은 상황에서는 셀프 캘리브레이션이 항상 적용되지는 않다는 것을 확인할 수 있었다.

실험 B-3에서는 지상기준점이 없을 때 복합센서 매핑 정확도를 분석하였다. 지상기준점이 없는 경우에는 카메라와 탑재체 모두 사전 캘리브레이션하는 것이 RMSE개선에 영향을 주는 것을 확인할 수 있었다. Coveney and Roberts (2017)은 강 범람 지역에서 드론을 활용하기 위해 필요한 지상기준점 개수를 제시하는 연구를 수행하였다. 여기서, 지상기준점을 사용하지 않았을 때 매핑 정확도는 수용 범위 안에 들어오지 않는다고 평가하였다. 하지만, 이 연구는 카메라나 탑재체를 캘리브레이션 했을 때의 매핑 정확도 개선 가능성 여부는 언급하지 않았다.

Fig. 8은 실험 B-2와 B-3에서 가장 낮은 정확도와 높은 정확도를 보인 결과를 비교하기 위해 만든 수치표면 모델이다. Fig. 8(a)와 (b)을 비교해보면, 실험 B-2에서 카메라 셀프 캘리브레이션만 되었을 때와 카메라가 사전 에 캘리브레이션 되었을 때의 DSM품질 차이를 확인할 수 있다. Fig. 8(c)와 (d)에서는 실험 B-3에서 카메라 셀프 캘리브레이션만 되었을 때와 탑재체와 카메라가 사전 에 캘리브레이션 되었을 때의 DSM 품질 차이를 확인할 수 있다.

Fig. 8. Digital surface models from exp. (a) & (b) B-2 and (c) & (d) B-3, (a) MP(X) IOP(X), (b) MP(O) IOP(O), (c) MP(X) IOP(X), and (d) MP(X) IOP(O).

5. 결론

본 연구는 다양한 데이터 취득 환경에서 복합센서의 매핑 정확도를 평가하고자 하였다. 탑재체와 카메라의 비행 전 캘리브레이션 여부에 따라 매핑 정확도가 개선될 수 있는지 함께 확인하였다. 첫 번째로 지상기준점 개수가 적은 경우에도 셀프 캘리브레이션이 잘 적용될 수 있다는 것을 보였다. 두 번째로 영상의 중복도가 충분히 고려되지 않은 상황에서는 셀프 캘리브레이션이 항상 적용되지는 않다는 것을 확인하였다. 세 번째로 지상기준점이 없는 환경에서 탑재체와 카메라를 캘리브레이션 하는 것이 매핑 정확도 개선에 효과가 있음을 보였다. 근래 들어 드론과 복합센서가 통합된 플랫폼이 출시됨에 따라 더 다양한 어플리케이션이 나올 수 있을 것으로 기대된다. 더 나아가, RTK드론과 라이다 혹은 다중분광 같은 센서와 통합된다면, 재난 모니터링과 같이 지상기준점 없이 매핑을 수행해야 하는 경우에도 더 다양한 정보를 활용할 수 있을 것이다. 이에 따라 다양한 센서가 탑재된 복합센서의 사전 캘리브레이션 여부가 매핑 정확도에 영향을 끼치는지 확인하는 연구가 더 필요할 것으로 보인다.