Change Detection of Building Objects in Urban Area by Using Transfer Learning

전이학습을 활용한 도시지역 건물객체의 변화탐지

Abstract

To generate a deep learning model with high performance, a large training dataset should be required. However, it requires a lot of time and cost to generate a large training dataset in remote sensing. Therefore, the importance of transfer learning of deep learning model using a small dataset have been increased. In this paper, we performed transfer learning of trained model based on open datasets by using orthoimages and digital maps to detect changes of building objects in multitemporal orthoimages. For this, an initial training was performed on open dataset for change detection through the HRNet-v2 model, and transfer learning was performed on dataset by orthoimages and digital maps. To analyze the effect of transfer learning, change detection results of various deep learning models including deep learning model by transfer learning were evaluated at two test sites. In the experiments, results by transfer learning represented best accuracy, compared to those by other deep learning models. Therefore, it was confirmed that the problem of insufficient training dataset could be solved by using transfer learning, and the change detection algorithm could be effectively applied to various remote sensed imagery.

우수한 성능을 가지는 딥러닝 모델을 생성하기 위해서는 충분한 양의 학습자료가 필요하다. 하지만, 원격탐사 분야에서 충분한 양의 학습자료를 구축하기 위해서는 많은 시간과 비용을 필요로 한다. 따라서 적은 수의 학습자료를 활용한 딥러닝 모델의 전이학습(transfer learning)의 중요성이 증대되고 있다. 본 연구에서는 사전에 제작된 공개데이터셋을 기반으로 국내 정사영상 및 수치지도를 활용한 전이학습을 통해 국내 다시기 정사영상 내 존재하는 건물객체의 변화에 대한 탐지를 수행하였다. 이를 위하여, 변화탐지를 위한 공개데이터셋을 HRNet-v2 모델을 통하여 선행학습을 수행하고, 국내 정사영상 및 수치지도를 이용한 학습자료에 전이학습을 수행하였다. 전이학습에 대한 영향을 분석하기 위하여 두 곳의 실험지역에 전이 학습된 모델을 포함한 다양한 딥러닝 모델의 결과를 평가한 결과, 전이학습을 활용한 연구가 가장 우수함을 확인하였다. 이를 통하여, 전이학습을 활용해 부족한 양의 학습자료 문제를 해결하고, 다양한 원격탐사 자료에 대하여 효과적으로 변화탐지 기법을 적용할 수 있음을 확인하였다.

1. 서론

다양한 인공위성 및 고해상도 센서의 발전으로 원격 탐사 영상의 취득이 용이해짐에 따라 관심 지역에 대한 고품질 영상을 지속적으로 제공받을 수 있게 되었다. 이를 통하여 다양한 분야에서 원격탐사를 이용한 연구가 이루어지고 있다. 그중 변화탐지(change detection) 기법은 서로 다른 시기에 촬영된 동일 지역 내의 변화된 대상물 혹은 지형을 탐지하는 것으로 국토모니터링, 재난/재해의 피해 분석, 토지이용변화, 도시 계획 등 다양한 분야에서 활용되고 있다.

고해상도 영상을 활용한 변화탐지 기법은 전통적으로 변화 전/후의 다시기 영상에 어떠한 변화탐지 기법을 적용하는지에 따라 감독 변화탐지(supervised change detection)기법과 무감독 변화탐지(unsupervised change detection)기법으로 구분되며, 탐지단위에 따라 화소 기반 변화탐지(pixel-based change detection)기법과 객체 기반 변화탐지(object-based change detection)기법으로 분류된다.

먼저, 감독 변화탐지 기법은 사전에 학습자료를 이용하여 다시기 영상에 감독분류를 수행하고 그 결과를 이용해 변화탐지를 수행하는 기법이다. 이는 변화 전/후 영상을 모두 사전에 분류하기 때문에 각 시기의 토지 피복 현황을 알 수 있다는 장점이 있지만, 변화탐지의 결과가 사전 분류 결과에 좌우되고 학습자료의 구축 또한 어려운 단점이 있다(Volpi et al., 2013). 무감독 변화탐지 기법은 일반적으로 다시기 영상 간의 차분(differencing), 비율(ratio), 분광변환(image transformation) 등에 대한 결과영상에 임계치(threshold)를 설정하여 변화지역을 결정하는 기법이다. 이는 비교적 짧은 시간 안에 변화를 탐지할 수 있지만, 임계치의 설정이 변화 유/무에 큰 영향을 주는 단점이 있다(Liu et al., 2017). 화소 기반 변화탐지 기법은 다시기 영상 간 동일한 위치의 화소를 비교하여 변화를 탐지하는 기법으로, 각 화소와 인접한 화소 간의 공간적 상관성을 무시하기 때문에 미세한 변화에도 민감하게 반응하여 잡음이 발생할 가능성이 높아 주로 저해상도 영상에 활용된다. 고해상도 영상에는 인접한 화소 간의 유사한 분광 상관성을 가지는 화소들을 객체로 분류하여 이들에 대한 변화를 탐지하는 객체 기반 기법들이 주로 사용된다(Hussain et al., 2013).

최근 컴퓨터비전 분야에서는 빅데이터와 하드웨어의 발전에 힘입은 딥러닝(deep learning) 기법이 많은 주목을 받고 있다. 이에 따라 원격탐사 분야에서도 딥러닝 기법을 적용한 변화탐지 연구들이 진행되고 있다. Chen and Shi (2020)는 공간 및 시간에 대한 주목(attention)을 이용하여 다양한 크기의 변화를 탐지할 수 있는 STANet (Spatial-Temporal Attention Neural Network)을 제안하여 건물영역의 변화탐지를 수행하였고, Zhang et al. (2021) 은 모델 학습으로부터 학습된 특징 정보들을 낮은 단계에서부터 높은 단계까지 계층적으로 융합하는 HDFNet (Hierarchical Dynamic Fusion Network)를 제안하여 건물 영역 변화탐지를 수행하였다. Wang et al. (2021)은 주목과 융합 기법을 활용한 ADSNet(Attention-based Deeply Supervised Network)을 제안하여 건물영역의 변화탐지를 수행하였다. 하지만, 많은 딥러닝 기반 변화탐지 연구들은 건물영역의 변화탐지를 위해 제작된 공개데이터셋을 기반으로 딥러닝 모델의 성능을 개선하기 위한 기법 개발에 집중하고 있다. 또한, 공개데이터셋들은  두 외국의 특정지역에 국한되어 있기 때문에 국내 실정에 맞는 활용할 수 있는 학습자료가 부족한 상황이다(Ji et al., 2018; Chen and Shi, 2020; Tian et al., 2020; Yang et al., 2020). 이에 따라 기존에 개발된 모델들을 영상의 공간 해상도와 건물객체의 특성이 다른 국내 고해상도 영상에 바로 적용하기 어려울 수 있다.

이러한 문제점들을 해결하기 위해 딥러닝 기법 중 전이학습을 활용한 연구들이 진행되었다. 전이학습이란 사전에 학습된 딥러닝 모델의 가중치 값들을 이후 다른 학습자료로 학습할 딥러닝 모델의 초기 가중치 값으로 활용하는 학습 방법이다(Zhuang et al., 2020). CNN(Convolutional Neural Network)의 합성곱 레이어는 깊이에 따라 영상의 특징을 학습하는 수준이 다르다. 일반적으로 초기 합성곱 레이어는 학습자료에 특화되지 않은 일반적인 특징을 학습하고, 후기 합성곱 레이어는 학습자료에 특화된 상세한 특징을 학습한다(Chung and Chung, 2019). 건물객체를 예로 들면 초기 합성곱 레이어는 건물객체의 밝기값 성분, 외곽선 성분 등을 학습하고, 이후 합성곱 레이어는 앞서 학습된 성분들을 조합하여 건물객체의 형태를 학습하고, 점차 나아가 후기 합성곱 레이어는 앞서 학습된 특징들을 조합하여 건물객체를 학습한다. 이러한 점을 이용하면 건물객체들의 구성 및 특징은 다르지만, 건물객체를 추출하는 능력과 변화가 발생한 지역을 찾는 능력 등은 비슷하게 학습된다

2. 실험 자료

1) LEVIR-CD 데이터셋

본 연구에서는 부족한 학습자료의 문제를 극복하고, 국내지역에 대한 변화탐지 딥러닝 모델의 최적화를 위하여 사전 학습된 딥러닝 모델의 전이학습에 대한 연구를 진행하였다. 이를 위해 초기 딥러닝 모델의 사전 학습에 사용된 학습자료는 LEVIR-CD 데이터셋을 선정하였다(Fig. 1). LEVIR-CD 데이터셋은 건물영역의 변화 탐지를 수행하기 위해 제작된 학습자료로 미국 텍사스 지역 내 20개의 도시에 대한 Google Earth 영상을 이용하여 생성된 공간해상도가 0.5 m인 1024×1024 크기의 자료이다. LEVIR-CD 데이터셋 내에 존재하는 변화지역은 건물객체의 생성에 따른 변화지역으로 국한되어 있다. 따라서 본 연구에서도 건물의 생성에 따른 변화지역의 탐지에만 초점을 맞춰 연구를 진행하고자 하였다. 한편, 1024×1024 크기의 LEVIR-CD 데이터셋은 딥러닝 모델 구조의 크기와 GPU(Graphics Processing Unit) 메모리 사용량을 고려해 512×512 크기의 패치로 재구성하였으며, 총 2,548쌍의 패치 중 2,292쌍은 딥러닝 모델의 학습에 사용하였고 남은 256쌍은 검증(validation)에 사용하였다.

Fig. 1. Examples of LEVIR-CD training dataset: (a) Image before change, (b) Image after change, (c) Reference data.

2) 국내 정사영상 및 수치지도

국내 고해상도 다시기 영상의 건물객체의 변화탐지를 수행하기 위해 국토지리정보원에서 제공받은 공간 해상도가 0.25 m인 정사영상을 학습자료로 사용하였다. 학습자료는 국내 건물 객체의 특성인 고층 아파트와 밀집된 건물 등이 존재하는 인천, 수원, 안양 지역을 2014년, 2016년, 2018년에 촬영된 영상을 이용하여 제작하였으며, 이를 위해 Fig. 2와 같이 4쌍의 도엽을 선정하였다. 또한, 참조자료는 LEVIR-CD 데이터셋과 동일하게 건물객체의 생성에 초점을 맞추어 수치지도 레이어를 활용해 구축하였다. 이 또한 딥러닝 모델의 학습을 위해 512×512 크기의 패치로 영상을 재구성하였으며 이때 영상의 50%를 중첩하여 패치를 생성함으로써 부족한 학습자료의 양을 극복하고자 하였다. 총 5,847쌍의 패치 중 변화가 나타난 지역이 포함된 937쌍의 패치만을 학습자료로 사용하였다.

Fig. 2. Training dataset from orthoimage: (a) Image before change, (b) Image after change, (c) Reference data.

3. 연구방법

1) 건물객체 변화탐지를 위한 딥러닝 모델

본 연구에서는 공개 데이터셋인 LEVIR-CD 데이터셋으로 학습한 딥러닝 모델을 국내 정사영상으로 구축한 학습자료를 이용하여 전이학습을 수행하고자 하였다. 이를 위해 본 연구에서는 HRNet-v2 모델을 이용하여 학습을 진행하였다(Wang et al., 2020). HRNet-v2는 고해상도 영상의 의미론적 분할에서 좋은 성능을 보이는 모델로 국내 정사영상의 건물객체 추출에도 좋은 성능을 보이는 모델이다(Mo et al., 2021). 이 모델은 원본 입력영상의 크기를 유지해 나가면서 병렬적으로 영상의 해상도를 낮춰 4단계로 나뉘어 학습한다. 각 단계는 ResNet(He et al., 2015)의 구조를 가지고 있고, 각각의 블록 단위 하나는 3×3 합성곱 레이어(convolutional layer), 배치 정규화(batch normalization), 활성화 함수(ReLU), 스킵 연결(skip-connection)로 이루어져 있다. 각 단계의 추출 과정에서 특징 정보들을 학습하고, 융합 과정에서 학습된 특징 정보들을 공유하는 구조로 인해 많은 양의 학습된 특징 정보들을 손실 없이 활용할 수 있는 장점을 지닌다. 본 연구에서는 변화 전/후의 RGB 영상을 레이어 스태킹(layer stacking)을 통해 하나의 영상으로 합쳐 6개의 밴드로 재구성하여 딥러닝 모델의 입력자료로 사용하였다. 변화탐지를 위하여 사용한 HRNet-v2의 전체적인 구조는 Fig. 3과 같다.

Fig. 3. Structure of HRNet-v2.

2) 국내 정사영상 및 수치지도에 대한 전이학습

본 연구에서는 LEVIR-CD 데이터셋으로 학습한 딥러닝 모델의 가중치 값을 학습된 초기 딥러닝 모델로 정의하고, 국내 정사영상으로 구축한 소수의 학습자료를 이용하여 전이학습을 진행하였다. 한편, Fig. 1과 Fig. 2에서 볼 수 있듯이 두 학습자료 모두 다시기 고해상도 영상 내의 건물객체의 변화를 정의한 데이터셋이지만 건물의 형태, 구성, 크기, 모양 및 영상 간 공간해상도 차이가 존재한다. 따라서 사전 학습된 딥러닝 모델의 초기 가중치 값을 얼마나 전이해야 하는지를 결정해야 한다(Jason et al., 2014). 국내 정사영상으로 구축한 학습자료는 LEVIR-CD 데이터셋과 유사성이 부족하고, 학습자료의 양도 상대적으로 부족하다. 따라서, 본 연구에서는 사전 분석을 통하여 LEVIR-CD 데이터셋으로 사전에 학습된 딥러닝 모델의 60%에 해당하는 가중치 값을 국내 정사영상으로 구축한 학습자료로 새로 학습할 딥러닝 모델에 초기 가중치 값으로 전이하였다

3) 연구 대상지

학습된 딥러닝 모델의 성능을 평가하기 위해 학습자료에 포함되지 않은 국내 두 도엽에 해당하는 지역을 선정하였다. Fig. 4(a), (b)에 보이는 지역 1은 인천광역시 연수구 동춘동에 해당하는 지역으로 고층 아파트가 건설되는 변화가 발생하였고, Fig. 4(c), (d)에 보이는 지역 2는 경기도 시흥시 정왕동의 시화공업단지에 해당하는 지역으로 밀집된 낮은 높이의 건물객체들이 생성됨을 확인할 수 있다. 본 연구에서는 지역 1을 통해 고층 아파트에 대한 변화탐지 성능을 평가하고자 하였고, 지역 2를 통해 높이가 낮고 건물이 밀집된 지역에 대한 변화탐지 성능을 평가하고자 하였다.

Fig. 4. Test sites : (a) Image before change (site 1), (b) Image after change (site 1), (c) Image before change (site 2), (d) Image after change (site 2).

4) 전이학습의 성능 분석을 위한 비교평가 항목

본 연구를 통해 전이학습의 성능을 분석하기 위하여 세 종류의 형태로 학습된 HRNet-v2 모델에 의한 변화탐지 결과를 비교평가 하였다. case 1은 LEVIR-CD 데이터셋을 이용해 학습한 HRNet-v2 딥러닝 모델을 건물객체의 형태, 구성 및 영상의 해상도가 전혀 다른 국내 연구 대상지 영상에 적용한 경우이며, case 2는 국내 정사 영상으로 구축한 학습자료로 학습한 HRNet-v2 모델을 학습자료에는 포함되지 않은 연구 대상지에 적용한 결과이다. 마지막으로 case 3은 case 1에서 학습된 딥러닝 모델의 가중치 값을 국내 정사영상으로 구축한 학습자료로 학습할 딥러닝 모델에 전이학습을 진행하여 생성된 딥러닝 모델을 학습자료에 포함되지 않은 연구 대상지에 적용한 결과이다.

Table 1은 앞선 실험들을 정리하여 나열한 표이며, 이들을 비교평가 하기 위해 모두 동일한 환경에서 학습을 진행하였다. 딥러닝 모델 학습에는 Linux 환경에서 python의 Tensorflow 라이브러리를 이용하였다. 학습에 사용된 하이퍼파라미터(hyperparameter)는 학습의 반복 횟수를 의미하는 epoch (150), 학습 과정에서 한 번에 사용되는 데이터의 수를 의미하는 batch size (3), 모델 학습율에 해당하는 learning rate (0.0001)을 설정하였다. 손실함수는 건물객체의 변화 및 미변화의 이진 분류를 위해 BCE (Binary Cross Entropy)를 사용하였다(식 (1)). 식 (1)에서 y는 참조자료의 값, y′는 딥러닝 모델에 의한 결과값을 나타낸다.

Table 1. Specifications for deep learning training

BCE = –[ylog(y′) + (1 – y)log(1 – y′)]       (1)

5) 평가 방법

학습된 딥러닝 모델을 정량적으로 평가하기 위해 오차행렬(confusion matrix)을 통한 정밀도(precision), 재현율(recall), F1-score를 사용하였으며 이는 Table 2 및 식 (2)~(4)와 같다(Vakili et al., 2020).

Table 2. Confusion matrix for evaluation of deep learning models

정밀도는 딥러닝 모델이 참값으로 예측한 값 중에서 실제 참값에 해당하는 값의 비율을 의미하며 식 (2)와 같이 정의된다.

\(\text { Precision }=\frac{T P}{T P+F P}\)       (2)

재현율은 실제 참값 중에서 딥러닝 모델이 참값으로 예측한 값의 비율을 의미하며 식 (3)과 같이 정의된다.

\(\text { Recall }=\frac{T P}{T P+F N}\)       (3)

F1-score는 정밀도와 재현율의 조화평균으로부터 구해지는 값으로 식 (4)와 같이 정의된다(Tatbul et al., 2018).

\(F 1-\text { score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}\)       (4)

4. 연구 결과 및 분석

본 연구에서는 전이학습 성능의 효과를 평가하기 위해 세 종류의 학습된 딥러닝 모델을 비교평가 하였다. 이때 case 1과 case 2의 비교를 통해 두 학습자료 간의 건물객체의 형태, 구성, 크기, 높이 차이 및 영상의 해상도 차이가 결과에 미치는 영향을 비교하고자 하였고, case 2와 case 3의 비교를 통해 전이학습에 의한 변화탐지 결과의 영향을 비교하고자 하였다. 또한, 이 과정에서 다양한 종류의 건물객체 변화에 적용해 보기 위해 지역 1과 지역 2에 대해 실험을 진행하였다.

1) 지역 1(고층건물)에 대한 변화탐지 성능 평가

지역 1은 주로 고층 아파트가 새로 건설된 지역으로 딥러닝 모델이 변화된 건물객체를 잘 탐지할 수 있는지를 확인하고자 하였다. Fig. 5는 지역 1에 대한 세 종류의 딥러닝 모델의 변화탐지 결과이다. LEVIR-CD 데이터셋으로만 학습한 딥러닝 모델(case 1)에 대한 결과인 Fig. 5(d)는 변화가 일어나지 않은 건물객체들까지 변화가 일어났다고 잘못 탐지한 경우들이 많은 것을 확인할 수 있었다. 이는 LEVIR-CD 데이터셋과 국내 정사영상의 건물객체 특성 및 공간해상도가 맞지 않기 때문으로 판단된다. case 2에 대한 결과인 Fig. 5(e)에서 확인할 수 있듯이, 소수의 학습자료를 이용하여 학습을 수행한 딥러닝 모델은 비교적 변화된 건물객체들을 잘 탐지했지만 높은 건물에 의해 발생하는 그림자에 의한 미탐지 및 도로 등을 오탐지 하는 것을 볼 수 있었다. 전이학습을 통해 생성된 딥러닝 모델인 case 3에 의한 결과는 Fig. 5(f)와 같으며, 앞선 딥러닝 모델에서 발생했던 문제들이 보다 적게 나타났고, Table 3에서 확인할 수 있듯이 F1-score가 가장 우수한 값을 가지는 것을 확인할 수 있다. 따라서, 소수의 학습자료를 이용한 전이학습을 통하여 특성이 다른 원격탐사 자료에 대한 변화탐지를 효과적으로 수행할 수 있음을 확인하였다.

Fig. 5. Building change detection results of site 1: (a) Image before change, (b) Image after change, (c) Reference data, (d) Result by case 1, (e) Result by case 2, (f) Result by case 3.

Table 3. Quantitative evaluation of site 1

2) 지역 2(밀집된 건물)에 대한 변화탐지 성능 평가

지역 2는 높이가 낮고 비슷한 건물객체들이 밀집되어 건설된 지역이다. 지역 2에 대한 결과는 Fig. 6과 Table 4와 같으며 지역 1에 대한 결과에 비해 세 종류의 딥러닝 모델 모두 비교적 높은 정밀도, 재현율, F1-score 값을 나타냈다. 이는 지역 2의 건물객체들이 LEVIR-CD 데이터셋의 건물객체들과 비교적 비슷한 크기 및 특징을 보이기 때문에 이러한 결과가 나타난 것으로 확인된다. Fig. 6과 Table 4를 통해 확인할 수 있듯이 지역 2에 대한 실험도 case 3의 결과가 가장 우수한 것을 확인할 수 있다. 다만, case 3의 재현율이 case 2의 재현율보다 낮은 값을 보이는 이유는 case 3의 변화된 대형건물의 일부를 탐지하지 못했기 때문으로 이는 전이학습 과정에서 영상의 패치 크기보다 큰 건물 영역에 대한 학습이 원활히 이루어지지 않아서 발생하는 문제로 판단된다.

Fig. 6. Building change detection results of site 2: (a) Image before change, (b) Image after change, (c) Reference data, (d) Result by case 1, (e) Result by case 2, (f) Result by case 3.

Table 4. Quantitative evaluation of site 2

두 지역에 대한 실험을 종합해보면 case 1에 대한 실험 결과를 통해 공개데이터셋으로 학습된 딥러닝 모델은 국내의 건물객체 특성과 맞지 않기 때문에 직접적으로 사용하기 어려운 것을 확인하였고, case 2에 대한 실험 결과를 통해 소수의 학습자료를 이용하여 학습된 딥러닝 모델은 높은 성능의 결과를 기대하기 힘듦을 확인하였다. 또한 case 2와 case 3의 결과 비교를 통해 전이학습을 활용한 실험의 결과가 가장 우수한 것을 확인할 수 있었다. 따라서, 학습자료의 부족 및 구축의 문제는 목적에 적합한 소수의 학습자료에 의한 전이학습을 통하여 해결할 수 있으며, 국외 공개데이터셋을 이용하여 전이학습을 위한 초기 딥러닝 모델의 학습을 효과적으로 수행할 수 있었다.

5. 결론

본 연구에서는 국내 고해상도 정사영상에 딥러닝을 활용하여 변화된 건물을 탐지하고자 하였다. 이 과정에서 발생하는 학습자료의 부족한 양과 구축의 어려움을 공개데이터셋과 전이학습을 활용하여 극복하고자 하였다. 먼저 LEVIR-CD 데이터셋을 이용하여 HRNet-v2 모델의 학습을 진행하였다. 그 후 학습된 모델에서 건물객체 변화를 탐지할 수 있는 능력에 해당하는 가중치 값을 새로 학습할 딥러닝 모델의 초기 가중치 값으로 전이하였다. 전이된 가중치 값에 국내 정사영상 및 수치 지도로 구축한 학습자료로 학습을 진행하였고 이를 실험지역에 평가하였다. 그 결과 두 지역에 대해 세 종류의 학습된 딥러닝 모델을 적용하였고 전이학습을 활용한 딥러닝 모델의 결과가 가장 우수한 것을 확인할 수 있었다. 이로 인해 기본적인 딥러닝 모델의 학습은 연구하고자 하는 특성과 비슷한 공개데이터셋을 활용하고, 전이학습을 통해 국내 특성에 맞는 양질의 학습자료를 이용하여 국내 실정에 적합한 딥러닝 모델을 생성할 수 있음을 확인하였다. 한편, 본 연구는 건물객체가 생성된 변화에 대해서만 탐지를 수행하였기 때문에 건물객체가 소멸되고 변형되는 등의 변화에 대한 탐지에는 한계점이 존재한다. 추후 다양한 학습자료의 구성과 딥러닝 모델의 발전을 통해 건물객체의 생성만이 아닌 소멸 및 변형 등 다양한 사항을 고려한 변화탐지를 수행할 예정이다.