DOI QR코드

DOI QR Code

Analysis of Change Detection Results by UNet++ Models According to the Characteristics of Loss Function

손실함수의 특성에 따른 UNet++ 모델에 의한 변화탐지 결과 분석

  • Jeong, Mila (Master Student, Department of Civil Engineering, Chungbuk National University) ;
  • Choi, Hoseong (Master Student, Department of Civil Engineering, Chungbuk National University) ;
  • Choi, Jaewan (Professor, Department of Civil Engineering, Chungbuk National University)
  • 정미라 (충북대학교 토목공학과 석사과정생) ;
  • 최호성 (충북대학교 토목공학과 석사과정생) ;
  • 최재완 (충북대학교 토목공학과 정교수)
  • Received : 2020.09.08
  • Accepted : 2020.10.07
  • Published : 2020.10.31

Abstract

In this manuscript, the UNet++ model, which is one of the representative deep learning techniques for semantic segmentation, was used to detect changes in temporal satellite images. To analyze the learning results according to various loss functions, we evaluated the change detection results using trained UNet++ models by binary cross entropy and the Jaccard coefficient. In addition, the learning results of the deep learning model were analyzed compared to existing pixel-based change detection algorithms by using WorldView-3 images. In the experiment, it was confirmed that the performance of the deep learning model could be determined depending on the characteristics of the loss function, but it showed better results compared to the existing techniques.

본 논문에서는 의미론적 분할을 위한 딥러닝 기술 중의 하나인 UNet++ 모델을 이용하여 다시기 위성영상의 변화지역을 탐지하고자 하였다. 다양한 손실함수에 대한 학습결과를 분석하기 위하여, 이진 교차 엔트로피, 자카드 변수에 의하여 학습된 UNet++ 모델에 의한 변화탐지 결과를 평가하였다. 또한, 딥러닝 모델의 결과는 WorldView-3 위성영상을 활용하여 기존의 화소기반 변화탐지 기법의 결과와 비교하여 평가하였다. 실험결과, 손실함수의 특성에 따라서 딥러닝 모델의 성능이 달라질 수 있음을 확인하였으나, 기존 기법들과 비교하여 우수한 결과를 나타내는 것도 확인하였다.

Keywords

1. 서론

국토 모니터링은 다양한 시기에 수집된 항공사진, 위성영상, DEM(Digital Elevation Model) 등의 공간정보에 변화탐지(change detection) 기법을 적용하여 국토의 변화를 감시하고, 이를 바탕으로 미래를 예측하여, 국토에 대한 정책 자료를 생산하는 것을 의미한다(Lee et al., 2004). 따라서, 변화탐지 기법은 다양한 시기에 취득된 다시기 위성영상을 활용하여 관심지역의 변화유무를 탐지할 수 있는 대표적인 원격탐사 활용 기법이라고 할 수 있으며, 도시계획, 토지피복의 변화 분석, 재난/재해 분석, 국방 분야 등에 적용되고 있다. 특히, 국내에서 발사 예정인 국토관측위성은 국내의 다양한 국토를 주기적으로 촬영함에 따라 국토모니터링을 위한 다량의 자료를 제공할 예정이기 때문에 최적의 변화탐지 기법의 개발은 국토관측위성의 활용도를 극대화시킬 수 있을 것으로 기대된다.

원격탐사 분야에서 전통적인 변화탐지 기법은 감독변화탐지(supervised change detection) 기법과 무감독 변화탐지 기법(unsupervised change detection)으로 구분할 수 있다. 감독 변화탐지 기법들은 훈련자료(training data)를 이용하여, 영상 분류를 수행한 후에 분류된 항목의 차이가 발생하는 영역을 변화지역으로 추정한다. 변화 지역에 대한 양상까지 분석할 수 있는 장점이 있지만, 사용자가 해당 지역에 대한 양질의 훈련자료를 구성해야 한다는 단점이 있다. 따라서, 영상의 다시기 영상의 분광적/공간적 처리 후에 임계치를 선정하여 변화지역을 추출하는 무감독 변화탐지 기법에 대한 연구가 활발하게 진행되었다(Lu et al., 2004; Lu et al., 2014). 특히, 최근에는 영상처리 분야에서는 딥러닝(deep learning) 기술이 활발하게 연구됨에 따라 원격탐사 분야에서도 의미론적 분할(semantic segmentation)을 위한 딥러닝 기법을 이용한 다양한 연구들이 이루어지고 있다.

딥러닝 기법의 경우, 네트워크의 학습을 위해서는 감독 변화탐지 기법들과 유사하게 훈련자료가 필요하다. 그러나, 딥러닝 모델의 학습 이후에는 무감독 변화탐지와 유사하게 입력자료만 활용하여 변화탐지가 이루어질 수 있으며, 이로 인하여 대부분의 딥러닝 기반의 변화탐지 기법들은 영상 내에서 변화지역을 탐지하여 이진영상(binary image)을 생성할 수 있다. Zhan et al. (2017)은 siamese CNN(Convolutional Neural Network)를 이용하여 다시기 항공사진에 적용가능한 모델을 생성하고, 이를 변화탐지에 적용하였다. Fang et al. (2019)도 이중 학습(dual learning) 기반의 siamese 네트워크를 제안하고, 이를 다양한 위성영상에 적용하여 변화탐지 성능을 평가하였으며, Zhang and Lu (2019)는 분광/공간적 특성을 모두 고려한 학습방법을 통하여 변화탐지를 위한 딥러닝 모델을 제안한 바 있다. 또한, Li et al. (2019)는 UNet 모델을 SAR 영상의 건물 변화탐지에 활용하기도 하였으며, Liu et al. (2020)은 광학 항공영상의 변화탐지를 위하여 CNN을 기반으로 하는 전이학습 기법을 제안한 바있다. Peng et al. (2019)은 변형된 UNet 모델인 UNet++모델을 변화탐지에 활용하고, 이에 따른 효용성을 분석하기도 하였다. 대부분의 딥러닝 기반의 변화탐지 연구들은 의미론적 분할을 위하여 개발된 인코더–디코더(encoder-decoder) 구조의 CNN(Convolutional Neural Network) 모델을 이용하였으며, SegNet, UNet, Deeplab 등이 대표적이라고 할 수 있다. 특히, UNet++ 모델은 망형태의 모델 구성과 다중 출력자료의 융합을 이용하여 기존의 네트워크 대비 우수한 성능을 보인다고 알려져 있다(Peng et al., 2019).

본 논문에서는 UNet++ 모델을 고해상도 위성영상의 변화탐지에 적용하여 보고, 이에 따른 결과를 분석해보고자 하였다. 특히, 딥러닝 모델을 구축함에 있어서 다양한 해상도 및 특성을 가진 영상을 이용하여 훈련자료를 생성하고, UNet++ 모델의 깊이를 증대시켜, 다양한 위성영상에 딥러닝 모델이 적용될 수 있는지를 분석해보고자 하였다. 또한, 해당 모델을 학습함에 있어서 대표적으로 사용되는 손실함수들을 적용하여 보고, 이에 따른 결과를 평가하였다. 이를 통하여, 모델학습 시에 손실함수가 미치는 영향을 분석하고 다양한 센서에의 적용가능성을 확인하고자 하였으며, 특히 본 연구에서 개발한 딥러닝 모델을 향후 국내에서 발사 예정인 국토관측위성과 같은 차세대중형위성에의 활용가능성을 검증하고자 하였다.

2. 연구 방법

1) UNet++ 모델

의미론적 분할은 영상 내에 존재하는 모든 화소들을 특정 클래스로 구분되는 영상을 산출하기 위하여 개발된 대표적인 CNN 기반의 모델로써, Badrinarayana et al.(2017)이 인코더–디코더 구조로 이루어진 SegNet을 개발한 이후로 다양한 모델들이 개발되었다. 일반적인 인코더 네트워크에서 합성곱 레이어를 통하여 추출된 영상의 특징정보들은 최대풀링(maxpooling) 과정을 거쳐 영상 내에 존재하는 전역적인 특징들로 결정되어진다. 인코더 네트워크를 통하여 생성된 전역적 특징은 디코더 네트워크 내의 합성곱 레이어와 업샘플링 레이어를 통하여 원 영상의 해상도와 동일한 해상도의 세부적인 특징들로 변환하게 된다. UNet은 SegNet과 구조는 유사하지만 인코더 네트워크에서 생성된 각 스케일(scale)별 특징맵(feature map)을 디코더 네트워크에 연결(concatenation)하여 영상 내에 존재하는 세부적인 특징을 효과적으로 추출하고, 의미론적 분할을 위한 모델의 성능을 향상시켰다. 이를 기반으로, UNet++는 UNet의 성능을 향상시키기 위하여 제안되었으며, 의료영상의 분할 및 고해상도 영상의 변화탐지를 위하여 사용된 바있다(Zhou et al., 2018; Peng et al., 2019). UNet++의 전체적인 구조는 Fig. 1과 같으며, UNet과 비교하여 UNet++는 인코더 네트워크의 각 단계별로 동일한 스케일을 가지는 특징맵들을 서로 통합하는 스킵 경로(skip connection)를 구성하여 망과 같은 형태를 구성하였다는 점에 있다. 이를 통하여, 특정 스케일에서 추출할 수 있는 영상 내의 특징들을 세분화하고 딥러닝 모델 내에서 의미있는 정보를 효과적으로 추출하고자 하였다. UNet ++의 스킵경로들은 Fig. 2와 같이 활성함수가 포함된 2차원 합성곱레이어(Conv2D) 와 배치 정규화(batch normalization, BN)로 구성된 이전의 모든 합성곱 유닛으로 구성되며, 합성곱 유닛의 입력 레이어에 추가(addition)하는 잔류 네트워크(residual network)의 형태로 구성하여 효과적으로 모델의 학습이 이루어지도록 구성되었다. 따라서, UNet++는 합성곱 유닛을 통하여 딥러닝 모델의 깊이를 증대시켜 모델의 성능을 향상시켰으며, 잔류 네트워크를 통하여 학습이 제대로 이루어지지 않는 문제를 제거하고자 하였다. 특히, 본 논문에서는 Fig. 2와 같이 3개의 Conv2D 연산으로 합성곱 유닛을 구성하여 네트워크의 깊이를 더욱 증가시켜 적용하고자 하였다. 또한, 영상에서 의미 있는 개체를 효과적으로 추출하기 위해 UNet++ 모델은 Fig. 1과 같이 각 스케일 단계에서 추정된 특징맵을 통합하는 MSOF(Multiple Side-Outputs Fusion) 방법을 활용하였다. 각 스케일별 특징맵들은 해당 자료 자체가 변화지역을 탐지한 결과가 될수있지만, 해당 네 종류의 특징맵을 융복합하고, 시그모이드(sigmoid) 함수를 적용하여 최종적인 출력영상을 생성한다. 이를 통하여, 각 스케일별 정보를 효과적으로 추정하는 장점을 가지고 있다.

OGCSBN_2020_v36n5_2_929_f0001.png 이미지

Fig. 1. Structure of the UNet++.

OGCSBN_2020_v36n5_2_929_f0002.png 이미지

Fig. 2. Structure of the convolution unit in UNet++.

본 논문에서는 Peng et al. (2019)의 연구와 마찬가지로, 변화탐지에 UNet++ 모델을 활용하기 위하여 모델의 입력자료로는 다시기 위성영상의 모든 밴드를 통합한 자료를 활용하며, 출력자료는 무감독 변화탐지의 결과물과 동일하게, 해당 화소가 변화지역으로 추정될 수 있는 0~1사이의 값을 가지는 확률맵으로 표현하였다. UNet++ 모델을 고해상도 위성영상에 적용하기 위하여, Fig. 2에서 언급한 바와 같이 합성곱 유닛의 합성곱 레이어는 3단계로 구성하여 네트워크의 깊이를 증대시켰다.

2) 훈련 자료의 생성

변화탐지를 위한 UNet++ 모델의 학습을 위하여 훈련자료를 제작하였다. 특히, 다양한 공간적/분광적 특성을 가지는 위성영상에 딥러닝 모델을 적용하기 위하여 본 연구에서는 KOMPSAT-2, 3, 3A호에서 취득된 영상들을 모두 활용하여 훈련자료를 제작하였다. 또한, 훈련자료 내에는 계절이 다른 시기에 취득된 다시기 영상도 포함하여 변화탐지 과정에서 발생할 수 있는 계절적 영향에 따른 오탐지를 감소시킬 수 있는 자료를 구성하고자 하였다. 특히, 세 종류의 센서에서 취득된 영상들을 훈련자료로 사용하였기 때문에, 이를 통해 생성된 딥러닝 모델은 KOMPSAT과는 다른 해상도를 가지는 위성영상에도 적용 가능할 것으로 판단되었기 때문에, 이에 따른 모델의 효용성을 평가하고자 하였다. Fig. 3은 KOMPSAT-3, 3A호 영상을 이용하여 제작한 훈련자료의 예이며, Fig. 3에서 확인할 수 있는 것과 같이, 변화 전/후에 대한 위성영상 및 해당 영상 내의 변화지역을 마스킹한 참조자료(reference data)를 제작하였다. 참조자료의 효과적인 생성을 위하여 딥러닝 모델에서 추출하고자 하는 변화지역은 인공구조물의 변화로 한정하고자 하였다. 따라서, 다시기 위성영상에서 판독될 수 있는 농경지와 같은 토지의 계절적 변화, 식생의 생장 등에 의한 변화, 차량과 같은 이동체 및 소규모 객체들의 변화는 미변화지역으로 가정하였다. 딥러닝 모델의 학습을 위하여, 생성된 훈련자료들은 256×256크기의 영상 패치(image patch)로 균등하게 분할하여 랜덤한 순서로 재구성하였으며, 총 2,336개의 영상 패치를 제작하였다.

OGCSBN_2020_v36n5_2_929_f0003.png 이미지

Fig. 3. Examples of KOMPSAT-3/3A satellite training dataset: (a) Image before change, (b) image after change, (c) reference data.

3) 손실 함수의 구성

생성한 훈련자료를 이용하여 UNet++ 모델을 학습하기 위해서는 손실함수(loss function)를 결정해야 한다. 손실함수는 딥러닝 모델 내의 변수를 최적화시킬 수 있는 기능을 가진 지표이며, 일반적으로, 평균 제곱 오차(mean squared error)와 교차 엔트로피 오차(cross entropy error) 등이 사용된다. 본 연구에서는 UNet++ 모델의 학습에 있어서 손실함수의 특성에 따른 영향을 분석하고자 하였다. 이를 위하여, 변화탐지를 위한 딥러닝 모델의 학습에 사용할 수 있는 대표적인 손실함수들을 모델학습에 적용하고, 이에 따른 결과를 비교평가하고자 하였다. 본 연구에서 사용한 손실함수는 이진 교차 엔트로피(binary cross entropy, BCE)와 자카드 계수(Jaccard coefficient, JC)를 사용하였다. 딥러닝 모델에 의한 결과 영상 x내 화소 i의 변화탐지 결과에 따른 화솟값을 xi라고 정의할 때, BCE는 식 (1)과 같이 계산된다.

BCE = – tilog(xi) – (1 – ti)log(1 – xi)       (1)

여기서 ti는 참조자료 내의 i번째 화소를 의미하며, 본 논문에서 변화지역의 화소는 1의 값, 미변화지역의 화솟값은 0의 값을 가지는 것을 가정한다. BCE는 참조자료의 화솟값 ti를 기준으로 로그함수에 의하여 계산되며, 딥러닝 모델에 의하여 변화지역을 추정한 결과가 참조자료에 근접할수록 0에 가까운 값을 가지게 된다. 자카드 계수 JC는 두 자료의 유사성을 측정하기 위하여 제안된 척도이며, 일반적으로 학습된 딥러닝 모델의 평가를 위한 지수로 활용된다. 딥러닝 모델에 의하여 생성된 결과영상을 X, 참조영상을 T라고 할 때, 자카드 계수는 식 (2)를 통하여 계산할 수 있다.

\(\mathrm{JC}=\frac{(X \cap T)}{(X \cup T)}=\frac{(X \cap T)}{(X)+(T)-(X \cap T)}\)       (2)

X, T는 모두 0∼1의 범위를 가지기 때문에, JC도 0~1의 범위를 가지며 1에 가까울수록 딥러닝 모델에 의하여 생성된 결과영상이 참조영상과 유사함을 나타낸다. 단, 손실함수는 딥러닝 모델 학습과정에서 작아지는 것으로 가정하기 때문에, JC를 손실함수로 사용하고자 할 때는 1–JC의 형태로 사용하였다.

3. 실험 지역 및 평가 방법

1) 실험 지역 및 자료

본 연구에서 생성된 훈련자료를 통하여 학습된 손실함수에 따른 UNet++의 성능을 비교평가하기 위하여, 평가자료를 구성하였다. 특히, 생성된 UNet++ 모델은 다양한 KOMPSAT 위성영상에서 취득된 훈련자료를 통하여 생성되었기 때문에, UNet++ 모델의 효용성을 검증하기 위하여, KOMPSAT 위성영상을 제외한 타 위성센서에서 취득된 영상을 활용하고자 하였다. 이를 통해, 향후 국토관측위성(CAS 500-1/2) 등과 같은 센서에 의하여 취득된 영상의 활용가능성을 검증하고자 하였다. 실험에 사용한 영상은 WorldView-3 센서를 이용하여 취득된 영상을 사용하였으며, 센서의 제원은 Table 1과 같다. WorldView-3 위성영상은 총 8개의 다중분광밴드를 가지고 있으나, 훈련자료는 4개의 밴드로 이루어져있기 때문에, 본 연구에서는 WorldView-3 영상 내에서 훈련자료와 동일한 분광파장대인 Red, Green, Blue, NIR 밴드를 추출하여 실험을 수행하였다. 연구지역은 광주광역시의 평동산업단지 주변지역이며, 2017년 5월 26일, 2018년 5월 4일에 촬영된 영상이다(Fig. 4(a) and 4(b)). 해당 지역의 촬영 기간 내에 산업단지 내의 개발로 인하여 산업단지를 포함한 다양한 토지피복을 포함하고 있다. 또한, 변화탐지 결과의 평가를 위하여 영상판독 기법을 활용하여 해당 지역의 변화유무를 나타내는 참조자료를 생성하였다(Fig. 4(c)).

Table 1. Specifications for WorldView-3 satellite sensor

OGCSBN_2020_v36n5_2_929_t0001.png 이미지

OGCSBN_2020_v36n5_2_929_f0004.png 이미지

Fig. 4. (a) WorldView-3 imagery acquired from May 2017, (b) WorldView-3 imagery acquired from May 2018, (c) reference data.

2) 평가 방법

학습된 딥러닝 모델의 변화탐지 성능 평가를 위하여, 본 연구에서는 생성된 훈련자료를 이용하여 UNet++모델의 학습을 수행하였다. 모델학습은 keras를 통하여 수행되었으며, 학습에 사용된 하이퍼파라미터(hyperparameter)는 Table 2와 같다.

Table 2. Hyperparameter for training

OGCSBN_2020_v36n5_2_929_t0002.png 이미지

한편, 학습된 네트워크의 성능을 평가하기 위하여, 본 연구에서는 대표적인 화소기반 변화탐지 기법들과의 비교평가를 수행하고자 하였다. CVA(Change Vector Analysis) 기법, PCA(Principal Component Analysis) 기법, IRMAD(Iteratively Reweighted Multivariate Alteration Detection) 기법을 WorldView-3 영상에 적용하고, 이에 따른 결과를 함께 비교하고자 하였다. CVA, PCA, IRMAD 기법의 경우에는 학습된 네트워크와 마찬가지로 변화탐지의 결과물은 변화가능성을 나타내는 지수(index)로 표현된다. 학습된 네트워크는 0~1 사이의 값을 가지기 때문에, 0.5 이상의 값을 가지는 지역을 변화지역으로 설정하여 이진영상(binary image)로 변환하였으며, 나머지 기법들은 변화탐지지수의 히스토그램에 대하여 평균과 표준편차를 이용한 임계치를 적용하여 이진영상으로 변환하였다. 생성된 변화탐지 결과영상에 대해서는 오차 행렬(confusion matrix)에 기반한 정량적 평가를 수행하였다. 오차 행렬은 학습된 네트워크가 예측을 수행하면서 얼마나 정확한지 보여주는 지표로 전체 영상의 픽셀에 대하여 참조자료와 비교를 통해 정확도를 평가하는 방법이다. 변화탐지 기법을 위성영상에 적용함에 있어, 결과영상과 참조자료에 대한 오차행렬은 Table 3과 같이 구성할 수 있으며, 본 연구에서는 이진분류 결과를 평가하기 위하여 F1-Score과 FPR(False Positive Rate)를 활용하였다.

Table 3. Confusion matrix for evaluation of changedetection result

OGCSBN_2020_v36n5_2_929_t0003.png 이미지

F1-score는 정밀도(precision)과 재현율(recall)의 조화 평균으로 표현된다. 정밀도는 변화탐지결과에서 변화 지역으로 탐지한 비율을 나타내며, 정밀도가 커질수록 오탐지율이 감소하게 된다. 정밀도는 식 (3)과 같이 정의된다.

\(\text { Precision }=\frac{T P}{T P+F P}\)       (3)

재현율은 참조자료 내의 변화지역 중에서 변화탐지 결과에서 변화지역으로 바르게 추정한 비율로 식 (4)와 같이 계산된다.

\(\text { Recall }=\frac{T P}{T P+F N}\)       (4)

따라서, 정밀도는 모델의 입장에서의 변화지역을 바르게 추정한 비율, 재현율은 참조자료를 기준으로 모델이 변화지역을 바르게 추정한 비율을 의미한다. 최종적으로, F1-score는 식 (5)와 같이 계산할 수 있다.

\(F 1-\text { score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}\)       (5)

FPR은 실제 미변화지역에 대한 자료 중에서 모델이 변화지역이라고 오탐지한 비율을 정량화한 척도이며, 식 (6)과 같이 계산할 수 있다.

\(F P R=\frac{F P}{T N+F P}\)       (6)

4. 실험 결과 및 분석

다시기 WorldView-3 위성영상에 학습된 딥러닝 네트워크와 CVA, PCA, IRMAD 기법을 적용하여 변화탐지를 수행한 결과는 Fig. 5와 같다. Fig. 5에서 확인할 수 있는 것과 같이, 화소기반의 변화탐지 기법들은 대부분 미변화지역을 과도하게 추출하는 것을 확인할 수 있다(Fig. 5(d)~5(f)). 변화지역을 과대평가(over-estimation)하는 경향은 임계치 조정을 통하여 일부 제거할 수 있지만, 변화지역이 탐지되지 않는 문제가 발생할 수 있다. 또한, 오탐지가 발생하는 대부분의 지역들은 화소기반 처리의 한계로 인하여 소규모 객체들이 추정되는 지역이 대부분이었다. 반면, UNet++을 통하여 추정된 변화지역은 화소기반의 변화탐지 기법들과 비교하여 소규모 객체에 대한 오탐지가 크게 줄어든 것을 시각적으로 확인할 수 있다(Fig. 5(g) and 5(h)). 특히, 실험 영상 내에 존재하는 공사현장 지역들을 매우 효과적으로 탐지한 것을 확인할 수 있었다. 다만, 딥러닝 네트워크에 의하여 추정된 변화지역도 WorldView-3 영상 내에 존재하는 일부 농경지 지역에 대한 변화지역들에 대해서는 일부 오탐지가 발생하였다. 해당 지역에 대한 오탐지는 본 실험에서 인공구조물에 대한 탐지를 중점적으로 수행하기 위하여 훈련자료 제작과정에서 다양한 토지피복에 대한 변화양상을 반영하지 못하여 학습된 네트워크도 이러한 부분을 완전히 반영하지 못한 것으로 판단된다. 그러나,전체적인지역내에존재하는변화지역은 UNet++이 효과적으로 추정한 것을 확인하였다. 또한, 학습에 사용된 손실함수에 따른 영향을 분석한 결과, Fig. 5(g) 및 5(h)에서 확인할 수 있는 것과 같이, JC를 이용하여 네트워크를 학습한 결과가 변화지역을 조금 더 과대 추정하는 것으로 생각되며, 일부 노이즈들도 더욱 발생한 것으로 판단된다. Table 4는 변화탐지 결과에 대하여 F1-score와 FPR을 계산한 결과이다. Table 4에서 확인할 수 있는 것과 같이, UNet++에 의한 변화탐지 결과는 모든 정량적 지표에서 화소기반의 변화탐지 결과와 비교하여 우수한 성능을 보이는 것을 알 수 있다. 다만, 재현율에 있어서 CVA 기법이 가장 우수한 결과를 보이는 것은 CVA 기법은 실험 지역 전체에 대하여 변화지역을 과대 추정하였기 때문에 상대적으로 높은 값을 가지는 것으로 보이며, 정밀도가 매우 낮은 것으로 과대추정의 결과임을 확인할 수 있다. 따라서, 딥러닝 모델을 이용하여 변화탐지를 수행하는 것이 기존의 화소기반 변화탐지 기법과 비교하여 우수한 결과를 얻을 수 있음을 확인하였다. 또한, 동일한 위성센서를 이용하여 훈련자료를 제작하지 않더라도, 유사한 분광/공간적인 특성을 가지는 위성영상에 학습된 모델을 활용할 수 있음을 확인하였다. F1-score 및 FPR에 있어서도 JC를 이용하여 학습한 네트워크보다 BCE를 이용하여 학습한 네트워크의 결과가 더욱 개선된 수치를 나타내었다. 특히, UNet++(BCE)는 FPR의 관점에 있어서도 가장 우수한 결과를 보였다. 따라서, 동일한 네트워크 및 훈련자료를 이용하여 모델을 생성하는 경우에 있어서도 최적의 손실함수를 결정하는 것이 중요함을 확인하였다.

OGCSBN_2020_v36n5_2_929_f0005.png 이미지

Fig. 5. Change detection results : (a) WorldView-3 image (2017/05/26), (b) WorldView-3 image (2018/05/04), (c) reference data, (d) result by CVA, (e) result by IRMAD, (f) result by PCA, (g) result by UNet++ (BCE), (h) result by UNet++(JC).

Table 4. Quantitative evaluation results of each method

OGCSBN_2020_v36n5_2_929_t0004.png 이미지

5. 결론

본 논문에서는 UNet++ 모델을 이용하여 다시기 위성영상의 변화지역을 탐지하고, 이에 따른 결과를 분석하고자 하였다. 특히, 다양한 손실함수에 대한 네트워크의 학습결과를 분석하고자 하였으며, 훈련자료를 이용하여 학습된 딥러닝 모델을 훈련자료에 포함되지 않은 지역 및 센서 특성에 대한 다시기 영상에 적용할 경우의 결과를 분석하여 딥러닝 모델의 활용성을 분석하고자 하였다. 실험결과, 본 연구에서 학습된 UNet++ 모델은 기존의 화소기반 변화탐지 기법과 비교하여 우수한 변화탐지 성능을 보이는 것을 확인하였다. 특히, 변화탐지 결과 영상에 발생하는 노이즈 및 소규모 객체의 과대추정 현상이 감소된 것을 확인하였다. 또한, 훈련자료와 유사한 분광/공간적인 특징을 지니는 다양한 위성 영상에도 학습된 모델을 활용할 수 있음을 확인하였다. 마지막으로 모델의 훈련과정에 있어서 손실함수에 따라 모델의 성능이 변화될 수 있음을 확인하였다. 향후 연구에서는 변화탐지를 위한 모델생성, 훈련자료 생성 등에 대한 추가적인 연구와 국토관측위성에 최적화된 모델 개발을 진행하고자 한다.

사사

이 논문은 과학기술정보통신부 및 정보통신산업진흥원의 ‘고성능 컴퓨팅 지원’ 사업으로부터 지원받아 수행하였으며, 국토교통부 위성정보 활용센터 설립 운영사업(과제명: 국토위성정보 수집 및 활용기술개발)의연구비지원(과제번호: 20SUIE-B148326-03)에 의해 수행되었음.

References

  1. Badrinarayanan, V., A. Kendall, and R. Cipolla, 2017. SegNet: A deep convolutional encoder-decoder architecture for image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495. https://doi.org/10.1109/TPAMI.2016.2644615
  2. Fang, B., L. Pan, and R. Kou, 2019. Dual learningbased siamese framework for change detection using bi-temporal VHR optical remote sensing image, Remote Sensing, 11(11): 1292. https://doi.org/10.3390/rs11111292
  3. Hou, B., Q. Liu, H. Wang, and Y. Wang, 2020. From W-Net to CDGAN: Bitemporal change detection vis deep learning techniques, IEEE Transactions on Geoscience and Remote Sensing, 58(3): 1790-1802. https://doi.org/10.1109/TGRS.2019.2948659
  4. Lee, S., H. Yoo, and M. Kim, 2011. Requirements analysis on the acquisition and sharing of land-monitoring data, Seoul Studies, 12(3): 185-201.
  5. Li, L., C. Wang, H. Zhang, B. Zhang, and F. Wu, 2019. Urban building change detection in SAR images using combined differential image and residual U-Net network, Remote Sensing, 11(9): 1091. https://doi.org/10.3390/rs11091091
  6. Liu, J., K. Chen, G. Xu, X. Sun, M. Yan, W. Diao, and H. Han, 2020. Convolutional neural network-based transfer learning for optical aerial images change detection, IEEE Geoscience and Remote Sensing Letters, 17(1): 127-131. https://doi.org/10.1109/LGRS.2019.2916601
  7. Lu, D., P. Mausel, E. Brondizio, and E. Moran, 2004. Change detection techniques, International Journal of Remote Sensing, 25(12): 2365-2401. https://doi.org/10.1080/0143116031000139863
  8. Lu, D., G. Li, and E. Moran, 2014. Current situation and needs of change detection techniques, International Journal of Image and Data Fusion, 5(1): 13-38. https://doi.org/10.1080/19479832.2013.868372
  9. Peng, D., Y. Zhang, and H. Guan, 2019. End-to-end change detection for high resolution satellite images using improved UNet++, Remote Sensing, 11(11): 1382. https://doi.org/10.3390/rs11111382
  10. Zhan, Y., K. Fu, M. Yan, X. Sun, H .Wang, and X. Qiu, 2017. Change detection based on deep siamese convolutional network for optical aerial images, IEEE Geoscience and Remote Sensing Letters, 14(10): 1845-1849. https://doi.org/10.1109/LGRS.2017.2738149
  11. Zhang, W. and X. Lu, 2019. The spectral-spatial joint learning for change detection in multispectral imagery, Remote Sensing, 11(3): 240. https://doi.org/10.3390/rs11030240
  12. Zhou, Z., M.M.R. Siddiquee, N. Tajbakhsh, and J. Liang, 2018. Unet++: A nested u-net architecture for medical image segmentation. In Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer, Cham, pp. 3-11.