Availability Evaluation of Object Detection Based on Deep Learning Method by Using Multitemporal and Multisensor Data for Nuclear Activity Analysis

핵 활동 분석을 위한 다시기·다종 위성영상의 딥러닝 모델 기반 객체탐지의 활용성 평가

Abstract

In order to monitor nuclear activity in inaccessible areas, it is necessary to establish a methodology to analyze changesin nuclear activity-related objects using high-resolution satellite images. However, traditional object detection and change detection techniques using satellite images have difficulties in applying detection results to various fields because effects of seasons and weather at the time of image acquisition. Therefore, in this paper, an object of interest was detected in a satellite image using a deep learning model, and object changes in the satellite image were analyzed based on object detection results. An initial training of the deep learning model was performed using an open dataset for object detection, and additional training dataset for the region of interest were generated and applied to transfer learning. After detecting objects by multitemporal and multisensory satellite images, we tried to detect changes in objects in the images by using them. In the experiments, it was confirmed that the object detection results of various satellite images can be directly used for change detection for nuclear activity-related monitoring in inaccessible areas.

접근불능지역에 대한 핵활동 모니터링을 위해서는 고해상도 위성영상을 이용하여 핵활동 관련 객체의 변화양상을 분석하는 방법론의 수립이 필요하다. 그러나, 위성영상을 이용한 전통적인 객체탐지 및 변화탐지 기법들은 영상 취득 시 계절, 날씨 등의 영향에 의하여 탐지 결과물들을 다양한 활용분야에 적용하기에 어려움이 있다. 따라서, 본 연구에서는 딥러닝 모델을 이용하여 위성영상에서 관심객체를 탐지하고, 이를 활용하여 다시기 위성영상 내의 객체 변화를 분석하고자 하였다. 이를 위하여, 객체탐지를 위한 공개데이터셋을 이용하여 딥러닝 모델의 선행학습을 수행하고, 관심지역에 대한 학습자료를 직접 제작하여 전이학습에 적용하였다. 다시기·다종 위성영상 내의 객체를 개별적으로 탐지한 후, 이를 활용하여 영상 내 객체의 변화양상을 탐지하였다. 이를 통해 접근불능지역에 대한 핵 활동 관련 모니터링을 위하여 다양한 위성영상에 대한 객체탐지 결과를 직접적으로 변화탐지에 활용할 수 있는 가능성을 확인하였다.

1. 서론

최초의 상업위성인 IKONOS가 발사된 이래로 1 m 이내의 공간해상도를 가지는 다양한 위성영상들이 활용되고 있으며, 최근에는 GeoEye, WorldView 등과 같이 0.5 m 이내의 공간해상도를 가지는 초고해상도(VHR, Very High Resolution) 위성영상도 제공되고 있다. 국내의 경우에도 1999년 최초의 다목적 원격탐사 위성인 KOMPSAT-1(KOrea Multi-Purpose SATellite)이 발사된 이후로 KOMPSAT-2, 3, 3A호가 운용되고 있다. 국내·외에서 취득할 수 있는 다양한 위성영상으로 인하여 측량, 국방, 환경 등 다양한 분야에서 원격탐사 자료들을 활용할 수 있게 되었다. 위성영상의 공간해상도와 분광해상도가 향상되면서 영상처리 및 원격탐사 기법들을 통한 지형지물 분석결과의 품질이 높아지고 있으며, 초고해상도 위성영상들은 항공사진과 같이 지형지물에 대한 세부적인 영상판독을 수행할 수 있는 단계로 발전되었다. 특히, 최근에는 인공지능 기법 중 딥러닝(deep learning) 기법이 빅데이터 기술과 GPU(Graphics Processing Unit)의 발전으로 인하여 영상 인식 등의 많은 분야에서 활용되고 있다. 따라서, 고해상도 위성영상들을 이용한 접근불능지역의 지속적인 모니터링에 대한 가능성이 높아지고 있으며 이와 함께 핵활동과 관련된 객체들을 분석하기 위한 활용성도 증대되고 있는 실정이다. 접근불능지역은 국내에서 접근하는 것이 불가능하기 때문에, 영상 내에 존재하는 다양한 객체들의 특성들을 활용하여 관련 활동들을 분석할 수 있는 방법론을 정립하는 것이 큰 의미를 가질 수 있다. 그러나, 접근 불능지역의 핵 활동 모니터링은 영상의 육안 판독으로 수행하는 것이 대부분이며, 대부분의 연구들은 접근불능지역에 대한 공간정보 구축 혹은 일부 광물탐지 등의 지형분석 등에 머무르고 있는 실정이다(Park, 2009; Kim and Park, 2021). 그리고 위성영상을 활용하는 대표적인 분야인 변화탐지는 대부분 화소기반 변화탐지 기법들을 이용하여 영상 내의 광역적인 변화나 재난/재해 등에 의한 피해지역의 분석에 국한되어 있는 것으로 판단된다(Choi et al., 2018; Song et al., 2020). 초고해상도 위성 영상 내에는 다양한 형태 및 크기를 가지는 객체들이 존재하기 때문에, 기존에 개발된 화소기반 원격탐사 기법들을 적용할 경우 영상의 분광 또는 방사 왜곡과 객체의 다양성으로 인하여 핵활동과 관련된 소규모 객체들을 탐지하기 어려운 문제가 발생한다. 또한, 객체기반 원격탐사 기법의 경우에도, 건물 등과 같은 객체 추출 기반의 변화탐지 연구들은 다양하게 존재하지만, 원격 탐사 기법들을 이용한 차량 단위의 소규모 객체에 대한 분석은 어려운 한계점이 존재한다(Shi et al., 2020; Song et al., 2020). 이로 인하여 차량 등 소형 객체에 대한 분석은 객체탐지 기법들을 통하여 이루어지는 것이 일반적이라고 할 수 있다.

따라서 이러한 기존의 원격탐사 기법의 한계점을 극복하기 위한 방안으로 딥러닝 기법에 대한 연구들이 증대되고 있으며, 특히, 딥러닝 기반의 객체탐지 기법들은 차량 등과 같은 소규모 객체들을 효과적으로 추출할 수 있는 장점을 지닌다. 딥러닝 기반의 객체탐지 기법들은 일반적으로 영상 내에 존재하는 의미가 있는 객체가 무엇인지 판단하는 분류 단계와 객체의 위치를 추정하는 지역화 단계를 통합하여 객체를 탐지하며, 대표적인 기법으로 YOLO(You Only Look Once)와 R-CNN(Regions with Convolutional Neuron Networks features) 기법을 들 수 있다. 첫 번째로 Redmon et al. (2016)이 YOLO를 개발한 이후로 YOLO를 기반으로 하는 다양한 알고리즘들이 개발되었다(Bochkovskiy et al., 2020). Chen et al. (2019)은 다중 스케일 기반의 객체탐지 알고리즘을 개발하고, 해당 알고리즘을 이용하여 운동장 탐지에 적용하였으며, Ophoff et al. (2020)은 YOLO 기반의 딥러닝 모델인 YOLOv2, YOLOv4, DYOLO, YOLT 기법들의 성능을 분석한 바 있다. 한편, Girshick et al. (2014)이 연구한 R-CNN 기법을 토대로 Fast R-CNN, Faster R-CNN 등의 다양한 기법들이 제안되었으며, Ren et al. (2017)은 개선된 Faster R-CNN 기법을 개발하고, 이를 이용하여 원격 탐사 자료 내에 존재하는 소형 객체를 탐지하였다. Han et al. (2021) 은 Mask R-CNN 기법을 활용하여 고해상도 위성영상 내에 존재하는 건물을 탐지하는 연구를 진행하였다.

그러나, 위성영상을 활용한 딥러닝 기반의 객체탐지 기법들을 활용하여 해당 객체들의 변화양상을 분석한 사례는 미흡하다고 판단된다. 따라서, 본 연구에서는 원격탐사 분야에서 적용할 수 있는 딥러닝 기법 중 대표적인 활용기법으로 알려진 객체탐지(object detection) 기법을 이용하여 핵활동과 관련된 객체를 탐지하고, 이를 변화탐지 분야에 활용해보고자 하였다.

2. 딥러닝 모델의 학습 및 평가를 위한 실험자료의제작

1) 실험지역 및 대상객체의 설정

본 연구에서는 객체탐지 기반 변화탐지의 활용성 평가를 위하여 핵활동과 관련된 대표적인 지역인 북한의 영변지역을 실험지역으로 선정하였다(Fig. 1). 한편, 본 연구에서는 관심지역의 핵활동이 발생할 경우, 관련 재료를 운반하기 위한 차량의 이동이 빈번할 것이라고 가정하였으며, 해당 지역 내에 연료 등을 저장하기 위한 저장탱크가 존재할 것으로 판단하였다. 이를 위하여 일반 소형차량과 트럭, 컨테이너 운반차량 등과 같은 대형차량, 저장탱크의 3종류의 객체를 관심대상으로 설정하고, 실험을 수행하였다. 소형차량 및 대형차량은 단일객체로 통합할 경우, 차량의 크기가 너무 다양해지기 때문에 객체탐지의 성능이 저하될 수 있어서, 크기를 기준으로 2개의 세부 클래스로 구분하였다.

Fig. 1. GeoEye satellite imagery of study area.

2) 학습데이터셋의 구성

본 연구에서는 딥러닝 모델을 이용하여 접근불능지역에 대한 객체탐지를 수행하고, 이를 이용하여 해당 관심지역 내의 변화분석에 직접적으로 활용할 수 있는지를 분석하였다. 이를 위하여, 딥러닝 모델의 학습을 위한 학습데이터셋을 구성하였다. 학습데이터셋은 딥러닝 모델의 초기학습을 위한 데이터셋과 딥러닝 모델의 전이학습(transfer learning)을 위한 학습데이터셋으로 구분하여 구성하였다.

첫 번째로, 초기학습을 위한 학습데이터셋은 한국지능정보사회진흥원이 운영하는 AIHub에 공개된 위성 영상 객체판독 자료를 활용하였다(AIHub, 2021). 위성 영상 객체판독 자료 내의 관심객체 검출 데이터는 차량, 선박 등을 포함한 15종의 객체에 대한 자료로 이루어져 있다. 해당 자료들은 KOMPSAT-3, 3A를 이용하여 제작되었으며, 3개 밴드로 구성된 1024×1024 크기의 8bit 자료로 제공된다. 앞서 언급한 것과 같이, 해당 자료들 중에서 소형차량, 대형차량, 저장탱크에 대한 3종류의 클래스를 추출하여 구축하였으며, 학습데이터 양을 늘리기 위하여 104화소씩 이동시킨 이동창(moving window)를 이용하여 일부 영역이 중첩된 416 ×416 크기의 학습 데이터를 제작하였다. 두 번째로, 전이학습을 위해 제작한 데이터셋은 GeoEye 위성영상 5장(2009년 4월 17일, 2009년 8월 10일, 2009년 8월 24일, 2009년 9월 17일, 2013년 3월 3일), WorldView-3, 4(2015년 4월 24일, 2018년 5월 26일) 및 SkySat(2020년 5월 5일) 위성영상을 이용하여 제작하였다.

학습데이터셋을 구축하기 위하여, 고해상도 전정색 영상 및 저해상도 다중분광영상 간의 영상융합을 수행하여 고해상도 다중분광 영상을 제작하였다. 영상융합 기법은 ENVI 소프트웨어에 탑재되어 있는 GS(Gram Schmidt)를 변형한 GSA(GS Adaptive) 기법을 활용하여 Fig. 1과 같이 생성하였다. 그리고 딥러닝 모델에 입력자료로 사용하기 위하여 각 영상의 밴드에 대하여 2% 명암대비확장(linear stretching)을 수행하여 8 bit 영상으로 변환하였다. 이에 대한 예는 Fig. 2와 같다.

Fig. 2. An example of a training dataset for transfer learning.

최종적으로 공개데이터셋을 이용한 학습자료 및 전이학습을 위하여 제작한 학습데이터셋, 해당 자료에서 추출한 과적합(overfitting) 문제를 해결하기 위한 검증 자료는 Table 1과 같다.

Table 1. Specifications of learning dataset

3) 평가 자료의 구성

본 연구에서 학습된 딥러닝 모델의 성능을 평가하기 위하여 객체탐지 결과분석을 위한 실험자료와 탐지된 객체를 이용한 변화양상 분석을 위한 실험자료를 개별적으로 구축하였다. 먼저, 객체탐지를 위한 실험자료는 관심객체가 있는 지역의 영상을 추출하여 설정하였으며, 다양한 위성영상의 평가를 위하여, Fig. 3와 같이 각각 2010년 10월 24일, 2013년 10월 26일, 2013년 11월 1일에 취득된 WorldView-2, QuickBird, IKONOS 위성영상을 활용하였다. 각 위성영상에는 다양한 크기의 차량 및 저장탱크가 포함되어 있다.

Fig. 3. Experimental data used for evaluation of deep learning model.

한편, 본 연구에서는 다양한 계절 및 센서를 통하여 취득된 다시기·다종 위성영상을 이용하여 객체변화 양상을 분석해보고자 하였다. 위성센서가 낮은 주기의 시간해상도를 가지고 있다면 실제 관심지역에 대한 모니터링 시에 제약이 따를 수 있으며, 높은 시간해상도를 가지는 위성 센서의 경우에도 운용 중의 특성에 따라서 동일 지역에 대한 다양한 영상을 취득하기 어려울 수 있기 때문이다. 객체탐지 결과를 활용한 변화탐지에의 적용성을 평가하기 위한 실험영상은 다양한 시기에 취득된 GeoEye, QuickBird, KOMPSAT-3A, SkySat 위성영상들을 이용하였으며 해당 영상의 전체적인 영역 및 취득 시기는 Fig. 4와 같다.

Fig. 4. Satellite image for visual reading of change detection results.

3. 연구방법

본 연구에서는 관심지역 내의 객체를 탐지하기 위한 딥러닝 모델로 YOLOv4를 사용하였다. KOMPSAT-3, 3A 위성영상으로 제작된 공개데이터셋을 이용하여 딥러닝 모델의 선행학습을 수행한 후, 관심지역에 대하여 직접 구축한 학습자료를 이용하여 전이학습을 수행하였다. 최종적으로 실험지역의 영상에 대한 객체탐지 결과 및 서로 다른 두 시기의 위성영상을 딥러닝 모델에 적용하여 탐지된 객체의 영역을 비교하여 변화탐지를 수행하고, 이에 대한 활용성을 분석하였다

1) YOLOv4 네트워크의 구성

YOLOv4 모델은 기존 YOLO 모델들이 가지는 빠른 처리속도의 장점을 유지하되, 딥러닝 모델의 연구에서 도출된 다양한 정확도 개선방법들을 조합하여 최적의 모델을 구성한 방법이다(Bochkovskiy et al., 2020). YOLOv4는 객체탐지 모델에 대하여 부분별 최적의 딥러닝 구조를 적용하여 객체탐지의 처리속도와 정확도를 향상시키고자 SPP(Spatial Pyramid Pooling) 블록이 추가된 Darknet53을 기본 CNN 구조로 활용하였으며, CNN 모델의 정확도를 향상시키기 위하여 neck 부분에는 기존의 FPN(Feature Pyramid Network) 대신에 PANet (Path Aggregation Network)을 적용하였다. Head 부분은 기존의 YOLOv3 모델에서 사용되는 모델을 활용하였으며, 추가로 BoF(Bag of freebies)와 BoS(Bag of specials) 기법들을 각 모듈에 추가하여 모델의 성능을 개선하였다.

2) 객체탐지 결과 정확도 평가

객체탐지 딥러닝 모델 성능의 분석은 오차행렬(confusion matrix)를 이용하여 수행하였으며, 딥러닝 모델에 의한 객체탐지 결과와 참조자료를 통한 오차행렬은 Table 2와 같이 구성된다.

Table 2. Confusion matrix for evaluation of deep learning model

Table 2를 통하여 딥러닝 모델 적용 결과에 대한 정밀도(precision), 재현율(recall), F1-score를 계산하였으며, 이에 대한 식은 식 (1)~(3)와 같다(Sokolova et al., 2006).

\(\text { Precision }=\frac{T P}{T P+F P}\)       (1)

\(\text { Recall }=\frac{T P}{T P+F N}\)       (2)

\(F 1-\text { score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}\)       (3)

식 (1)~(3)에서 정밀도는 모델 기준의 정확도, 재현율은 참조자료 기준의 정확도를 나타내며, F1-score는 정밀도와 재현율의 조화평균을 의미한다.

3) 객체탐지 결과를 활용한 변화탐지 적용성 평가

낮은 시간해상도를 보완하기 위한 다시기 위성영상의 변화탐지는 서로 다른 공간해상도로 이루어진 여러 위성을 사용하게 되는 것이 일반적이다. 그러나, 사용한 위성영상의 좌표체계, 공간해상도가 다르면 각각의 딥러닝 모델의 결과를 중첩하여 해당 객체의 변화 유무를 분석하지 못하는 문제가 발생할 수 있다. 따라서 영상에서 추출된 각 객체들을 비교하기 전에 다시기 위성영상의 좌표체계를 일치시키고, 각각에 대하여 학습된 딥러닝 모델을 적용하여 영상 내에 존재하는 객체를 탐지하였으며, 탐지된 객체들을 영상좌표에서 공간좌표로 변환하였다. 해당 객체들이 다시기 위성영상에 공통적으로 탐지될 경우에는 해당 객체는 변화가 없는 것으로 가정하고, 한 시기의 영상에 대해서만 객체가 탐지되는 경우만을 변화로 가정하여 변화탐지를 수행하였다. 변화탐지에 따른 결과는 육안판독을 통하여 제작된 참조 자료를 활용하여 평가하였다. 본 연구에서는 객체탐지 결과를 기반으로 변화탐지를 수행하므로 각 시기별 영상에 대한 딥러닝 모델의 예측 결과와 참조자료를 비교 평가하여 Table 2와 같이 오차행렬을 구하고, 그 결과를 이용하여 Table 3과 같은 재정의된 변화탐지 오차행렬을 작성하여 객체탐지를 기반으로 하는 객체 변화탐지의 활용가능성을 분석하고자 하였다. Table 3에서 A는 두 시기의 영상에서 같은 위치의 객체가 같이 탐지되는 미변화 객체 및 한 시기 영상에서 변화객체가 탐지되는 경우이다. B, C의 경우 미변화 객체가 한 시기 영상에서 객체탐지가 실패한 경우와 변화객체가 탐지되지 못한 경우이다. D의 경우는 미변화 객체가 두 시기 영상에서 모두 탐지가 안된 경우이다.

Table 3. Confusion matrix for evaluation of change detection by object detection results

4. 실험결과 및 분석

본 연구는 YOLOv4 네트워크와 공개데이터셋 및 생성된 훈련자료를 활용하여 딥러닝 모델의 학습을 수행하였으며, 훈련된 모델은 훈련자료에 포함되지 않은 평가자료를 이용하여 모델의 성능을 검증하고, 그 결과를 이용하여 변화탐지에 대한 활용성을 평가하였다.

1) 모델 학습 및 결과

YOLOv4 네트워크의 객체탐지에 대한 성능 평가를 수행하기 위하여 모델의 학습을 수행하였다. 모델학습은 linux OS에서 darknet를 이용하여 수행하였으며, 모델의 훈련에 사용된 하이퍼파라미터(hyperparameter)는 Table 4와 같이 설정하였다.

Table 4. Hyperparameter for deep learning model

Table 4에서 batch는 학습에 한 번 사용되는 데이터의 수, subdivision은 batch를 GPU로 보내 프로세스를 진행하는 단위의 수이다. width, height, channel은 입력 영상의 크기이다. saturation, exposure, hue는 YOLOv4 모델에서 모델의 성능을 향상시키고 학습을 효율적으로 진행하기 위하여 학습자료의 특성을 변환하여 내부적으로 학습자료를 증가시키는 데에 사용되는 파라미터이다. momentum, decay, learning rate는 학습속도를 조정하는 파라미터이다

2) 딥러닝 모델의 객체탐지 결과 및 분석

학습된 YOLOv4 모델을 활용하여 실제 실험지역에 대한 객체탐지를 수행하고, 이에 대한 결과를 분석하였다. Fig. 5와 Table 5는 WorldView-2 위성영상을 활용한 객체탐지 결과이다. 저장탱크와 대부분의 차량은 탐지하였으나, 차량이 겹쳐져 있는 부분에서 오탐지가 발생하였다. 실험에서 사용된 WorldView-2 위성영상은 초가을(2010년 10월 24일), 전이학습에 사용한 GeoEye 위성영상은 초봄(2013년 3월 3일)으로써 계절의 영향으로 배경색이 비슷하고 두 영상의 해상도가 비슷하여 객체탐지율이 높은 것으로 판단된다.

Fig. 5. Object detection result using WorldView-2 satellite imagery.

Table 5. Confusion matrix of object detection result using WorldView-2 satellite imagery

Fig. 6과 Table 6은 QuickBird 위성영상을 활용한 정량 및 정성적 평가이다. 일부 컨테이너 및 소형 건물과 유사한 모양을 가지는 차량에 대하여 미탐지가 발생하였다. 그러나 영상 내에 존재하는 대부분의 객체들은 효과적으로 탐지하는 것으로 확인하였으며, 다수의 군집된 객체들을 탐지하지 못하는 문제는 입력자료의 영상 품질 차이로 인하여 오탐지가 발생하는 것으로 판단하였다.

Fig. 6. Object detection result using QuickBird satellite imagery.

Table 6. Confusion matrix of object detection result using QuickBird satellite imagery

Fig. 7과 Table 7은 IKONOS 위성영상을 활용한 객체 탐지 결과이다. IKONOS 위성영상의 해상도는 전이학습에 사용된 학습자료의 해상도보다 낮아 객체의 크기가 상대적으로 작기 때문에, 일부 소형 객체들을 탐지하지 못하는 경우가 발생하였으나, 일정 크기 이상의 영상 내의 객체들은 효과적으로 탐지하는 것을 확인하였다.

Fig. 7. Object detection result using IKONOS satellite imagery.

Table 7. Confusion matrix of object detection result using IKONOS satellite imagery.

Table 5~7에서 확인할 수 있는 것과 같이, 전체적으로 정밀도, 재현율, F1-score 평가지표는 높게 나타났다. 하지만, QuickBird 위성영상을 사용한 실험 결과는 영상 상부에 차량으로 보이는 객체의 미탐지와, 중간의 차량이 아닌 것으로 보이는 객체의 오탐지로 인하여 정밀도와 재현율이 떨어졌으며, 이로 인해 F1-Score 값이 낮아졌다.

3) 딥러닝 모델의 객체탐지 결과를 이용한 변화탐지 결과

Fig. 4에서 언급한 위성영상들에 딥러닝 모델의 객체 탐지를 수행하고, 해당 결과로부터 얻어진 영상 내에 존재하는 객체의 변화양상을 분석하였다. 다시기 위성영상의 특성에 따라서 변화탐지 결과에 대한 평가는 세 종류의 위성영상을 이용하여 분석해보고자 하였다. 첫 번째 실험은 GeoEye 위성영상(2013년 4월 18일)과 QuickBird 위성영상(2013년 12월 13일)을 이용하여 객체탐지를 적용하고, 이를 이용하여 변화탐지를 수행한 결과이며, Fig. 8은 이에 대한 결과의 예이다. Fig. 8에서 각 시기의 영상에서 파란색 경계박스는 객체를 탐지한 부분이며, 변화 탐지 결과에서 파란색 경계박스는 시기 1에 있던 객체가 시기 2에서 사라진 경우이다. 반대로, 붉은색 경계박스는 시기 1에 없던 객체가 시기 2에서 새로 생긴 경우이다. Fig. 8에서 확인할 수 있는 것과 같이 QuickBird 위성영상에서 객체탐지를 하지 못하여 GeoEye 위성영상에서 탐지된 객체가 없어진 미변화 객체들이 변화로 일부 탐지되었으나, 차량의 경우에는 효과적으로 탐지한 것을 확인할 수 있었다. 영상 전체에 존재하는 객체들에 대한 변화 탐지 분석 결과는 Table 8과 같으며, 변화 전, 후의 영상에 대한 정밀도는 각각 0.5568, 0.6282로 나타났다.

Fig. 8. Qualitative evaluation of change detection result by GeoEye and QuickBird imagery.

Table 8. Quantitative evaluation of change detection result by GeoEye and QuickBird images

두 번째 실험은 QuickBird 위성영상(2013년 12월 13일)과 KOMPSAT-3A 위성영상(2021년 3월 3일)을 이용하여 수행하였다. Fig. 9와 같이, 해당 실험에서도 영상 내에 존재하는 소형객체의 변화들을 효과적으로 탐지할 수 있음을 확인하였으며, 변화 전, 후의 영상에 대한 전체지역의 정밀도는 각각 0.4902, 0.4310으로 나타났다(Table 9). 첫 번째 변화탐지 실험결과와 비교하여 정밀도가 상대적으로 낮은 수치를 가지는 것은 Fig. 9(b)와 같이 영상의 품질 차이로 인하여 KOMPSAT-3A 영상 내에서 일부 객체들이 효과적으로 추출되지 못한 것으로 판단된다.

Fig. 9. change detection by QuickBird and KOMPSAT-3A imagery.

Table 9. Quantitative evaluation of change detection result by QuickBird and KOMPSAT-3A imagery

마지막으로 KOMPSAT-3A(2021년 03월 03일) 위성 영상과 SkySat(2021년 06월 06일) 위성영상을 이용하여 실험을 수행한 결과는 Fig. 10 및 Table 10과 같다. Fig. 10의 결과에서도 Fig. 9와 마찬가지로 KOMPSAT-3A 위성영상에서 소형차량이 검출되지 않아서 일부 오차가 발생하였으나, 대형객체 일부는 효과적으로 탐지된 것을 확인할 수 있었다. 변화 전, 후의 영상에 대한 전체지역의 정밀도는 각각 0.6230, 0.5588으로 나타났으며, 세 종류의 다시기 위성영상에 대한 실험을 통하여 객체탐지 결과에 비해서는 정확도가 낮지만 차량 및 저장탱크의 일부에 대해서는 변화탐지 분야에 실제적으로 적용할 수 있음을 확인하였다.

Fig. 10. Qualitative evaluation of change detection by KOMPSAT-3A and SkySat imagery.

Table 10. Quantitative evaluation of change detection result by KOMPSAT-3A and SkySat imagery

5. 결론

본 연구에서는 다시기·다종 위성영상에서 취득된 위성영상을 딥러닝 모델에 입력자료로 사용하여 객체탐지를 수행하고, 그 결과를 활용한 변화탐지 기법의 적용성을 평가하고자 하였다. 이를 위하여 객체탐지 분야에서 대표적으로 사용되는 YOLOv4 모델을 효과적으로 학습하고, 훈련에 사용하지 않은 위성영상을 이용하여 객체탐지 결과를 평가하였다. 그리고 그 결과를 활용하여 서로 다른 두시기에 대한 비교를 통해 객체탐지 기반 변화탐지를 수행하였다. 실험 결과 서로 다른 시기에 대한 화소기반의 변화탐지를 수행하면 객체탐지 결과의 정확도와 비교하여 낮은 정확도를 보이기는 하지만, 변화하는 객체들을 탐지할 수 있는 가능성을 확인하였다. 다만 변화탐지 결과의 오차는 객체탐지의 오류가 누적되어 발생하므로 실제 활용하는 데에 있어서는 객체탐지 딥러닝 모델의 정확도를 높일 수 있는 방법의 연구가 필요할 것으로 판단된다.