DOI QR코드

DOI QR Code

A Study on Deep Learning Optimization by Land Cover Classification Item Using Satellite Imagery

위성영상을 활용한 토지피복 분류 항목별 딥러닝 최적화 연구

  • Lee, Seong-Hyeok (Researcher, Center for Environmental Data Strategy, Korea Environment Institute) ;
  • Lee, Moung-jin (Research Fellow, Center for Environmental Data Strategy, Korea Environment Institute)
  • 이성혁 (한국환경정책.평가연구원 환경데이터전략센터 연구원) ;
  • 이명진 (한국환경정책.평가연구원 환경데이터전략센터 부연구위원)
  • Received : 2020.10.12
  • Accepted : 2020.10.27
  • Published : 2020.12.31

Abstract

This study is a study on classifying land cover by applying high-resolution satellite images to deep learning algorithms and verifying the performance of algorithms for each spatial object. For this, the Fully Convolutional Network-based algorithm was selected, and a dataset was constructed using Kompasat-3 satellite images, land cover maps, and forest maps. By applying the constructed data set to the algorithm, each optimal hyperparameter was calculated. Final classification was performed after hyperparameter optimization, and the overall accuracy of DeeplabV3+ was calculated the highest at 81.7%. However, when looking at the accuracy of each category, SegNet showed the best performance in roads and buildings, and U-Net showed the highest accuracy in hardwood trees and discussion items. In the case of Deeplab V3+, it performed better than the other two models in fields, facility cultivation, and grassland. Through the results, the limitations of applying one algorithm for land cover classification were confirmed, and if an appropriate algorithm for each spatial object is applied in the future, it is expected that high quality land cover classification results can be produced.

본 연구는 고해상도 위성영상을 딥러닝 알고리즘에 적용하여 토지피복을 분류하고 공간객체별 알고리즘의 성능 검증에 대한 연구이다. 이를 Fully Convolutional Network계열의 알고리즘을 선정하였으며, Kompasat-3 위성영상, 토지피복지도 및 임상도를 활용하여 데이터셋을 구축하였다. 구축된 데이터셋을 알고리즘에 적용하여 각각 최적 하이퍼파라미터를 산출하였다. 하이퍼파라미터 최적화 이후 최종 분류를 시행하였으며, 전체 정확도는 DeeplabV3+가 81.7%로 가장 높게 산정되었다. 그러나 분류 항목별로 정확도를 살펴보면, 도로 및 건물에서 SegNet이 가장 우수한 성능을 나타내었으며, 활엽수, 논의 항목에서 U-Net이 가장 높은 정확도를 보였다. DeeplabV3+의 경우 밭과 시설재배지, 초지 등에서 다른 두 모델보다 우수한 성능을 나타내었다. 결과를 통해 토지피복 분류를 위해 하나의 알고리즘 적용에 대한 한계점을 확인하였으며, 향후 공간객체별로 적합한 알고리즘을 적용한다면, 높은 품질의 토지피복분류 결과를 산출할 수 있을 것으로 기대된다.

Keywords

요약

본 연구는 고해상도 위성영상을 딥러닝 알고리즘에 적용하여 토지피복을 분류하고 공간객체별 알고리즘의 성능 검증에 대한 연구이다. 이를 Fully Convolutional Network계열의 알고리즘을 선정하였으며, Kompasat-3 위성영상, 토지피복지도 및 임상도를 활용하여 데이터셋을 구축하였다. 구축된 데이터셋을 알고리즘에 적용하여 각각 최적 하이퍼파라미터를 산출하였다. 하이퍼파라미터 최적화 이후 최종 분류를 시행하였으며, 전체 정확도는 DeeplabV3+가 81.7%로 가장 높게 산정되었다. 그러나 분류 항목별로 정확도를 살펴보면, 도로 및 건물에서 SegNet이 가장 우수한 성능을 나타내었으며, 활엽수, 논의 항목에서 U-Net이 가장 높은 정확도를 보였다. DeeplabV3+의 경우 밭과 시설재배지, 초지 등에서 다른 두 모델보다 우수한 성능을 나타내었다. 결과를 통해 토지피복 분류를 위해 하나의 알고리즘 적용에 대한 한계점을 확인하였으며, 향후 공간객체별로 적합한 알고리즘을 적용한다면, 높은 품질의 토지피복분류 결과를 산출할 수 있을 것으로 기대된다.

1. 서론

위성영상을 활용한 토지 피복 분류는 원격탐사의 발전과 함께 지속적으로 진행된 분야이다(Ma et al., 2017). 특히, 2000년대 초반 감독 및 무감독 분류에 2010년 이후, 기계학습 및 딥러닝을 적용하는 방향으로 발전하였다. 토지 피복 분류는 이러한 분류 기술의 발전이 가장 활발히 적용되는 대표적 분야이다 (Giles Foody, 2002; Zhang et al., 2015). 기존의 위성영상을 활용한 토지 피복 분류 기술의 발전의 선행 조건은 위성영상 전체 또는 특정 지역을 연구지역으로 선정하고, 선택된 지역의 영상 전체를 분류 항목을 선정하여 전체를 분류하는 것이다. 즉, 토지 피복 분류 항목을 선정하고 연구지역 위성영상 전체에서 이를 분류하고자 하는 것이다. 이러한 연구의 대표 분류 방법이 무감독 분류 기법, maximum likelihood classification(MLC) 등과 감독 분류, 머신러닝 및 딥러닝에 일괄적으로 적용되었다(Zhang et al., 2018).머신 러닝을 활용한 토지 피복 분류 결과는 대부분 높은 정확도를 산출하였으며 분류 항목들의 정확도는 모델별로 상이하게 나타났다(Rodriguez-Galiano et al., 2012). 또한 위성영상의 경우 밴드에 따라서 높은 정확도를 나타내는 모델이 차이가 났다(Rana and Suryanarayana, 2020). 그러나 머신러닝은 원본 형식의 데이터 처리 및 분류 항목 특징 추출 단계에서 필수적인 높은 수준의 전문가 지식 등 한계점이 존재하였으며, 이를 해결하기 위해 다양한 딥러닝 알고리즘이 등장하였다. (LeCun et al., 2015). 딥러닝에 위성영상을 적용하여 토지 피복을 분류하는 알고리즘의 대표적 사례는 Convolution neural network(CNN)을 이용한 연구가 다수 존재하였다(Kussul et al., 2017; Gaetano et al., 2018; Chen et al., 2019; Bhosle et al., 2019).

최근 딥러닝 알고리즘은 이미지에서 다양한 객체를 동시에 분할하고 분류하는 기능을 가진 CNN 기반의 Semantic segmentation 알고리즘이 등장하고 있다. Semantic segmentation은 감시, 의료, 자율주행과 같은 여러 물체 및 영상 인식에서 활용 중이다 (Anderson, 2017). Semantic segmentation의 대표적인 모델은 Fully convolutional network(FCN)으로 CNN 네트워크에 영상복원을 진행하는 upsampling이 결합된 형태이다(Long et al., 2015).

다양한 인공지능 알고리즘이 개발됨에 따라 높은 정확도를 산출하는 최신 알고리즘들이 등장 중이지만, 항목별 성능을 살펴보면, 항목에 따라 성능이 차이가 나타났다. 대부분 머신 러닝에 비해 딥러닝이 높은 성능을 나타내지만, 해안가 등 일부 항목에 따라 머신러닝 알고리즘이 높은 정확도를 나타내는 경우도 존재하였다 (Kemker et al., 2018). FCN계열의 알고리즘을 토지 피복에 적용한 연구에서 Patch-Based CNN(PB) (Paisitkriangkrai et al., 2015), FCN, 그리고 FCN과 Support vector machine (SVM) 앙상블 모델의 분류 정확도는 PB는 다른 모델에 비해 낮은 정확도를 나타내었지만, FCN은 건물 및 도로에서, FCN 앙상블 모델은 자동차, low vegetation에서 높은 정확도를 나타내었다(Kampffmeyer et al., 2016). 연구에서 제시한 새로운 알고리즘이 FCN 모델보다 높은 정확도를 나타내었지만, 항목별로 기존 FCN이 높은 연구 혹은 최근 발표된 모델보다 일부 항목에서 FCN이 높은 정확도를 나타낸 연구 또한 존재하였다(Zhang et al., 2017; Arief et al., 2018). Semantic segmentation 모델 중 대표적으로 많이 쓰이는 SegNet과 U-Net의 결과를 비교해보면 해안가의 경우 U-Net이 높은 정확도를 나타냈지만, 건물 및 적은 식생 지역의 경우 SegNet이 높은 성능을 나타내었다(Papadomanolaki et al., 2019). 다른 연구의 경우에도 모델별로 가장 높은 정확도를 나타내는 항목에 차이가 존재하였다(Volfi and Vittorio Ferrari, 2015; Zhang et al., 2019).

본 연구의 목적은 고해상도 위성영상 및 딥러닝 기법을 활용하여 토지 피복을 분류하고 공간 객체별 최적화를 평가하는 것이다. 구체적으로 살펴보면 첫째, 문헌 고찰을 통해 토지 피복 항목에 적용 가능하며, 분류 정확도가 높은 딥러닝 알고리즘을 선정하였다. 둘째, 선정된 딥러닝 알고리즘을 고해상도 위성영상 데이터셋에 적용하여 모델 최적화를 실시하였다. 최소 학습으로 최적화 할 수 있는 하이퍼 파라미터를 산정하였다. 셋째, 최적화된 딥러닝 알고리즘을 활용하여 토지 피복 항목에 대한 분류를 시행하였다. 분류 정확도 평가 및 항목별 정확도를 산출하여, 선정된 알고리즘이 최고 성능을 내는 항목을 평가하였다. 마지막으로, 알고리즘별 좋은 성능을 내는 토지 피복 항목 또는 낮은 정확도를 나타내는 토지 피복 항목에 대한 평가를 실시하였다

2. 연구 방법

1) 분류 방법

딥러닝 알고리즘의 구분과 발전은 컴퓨터 비전의 영상 인식 및 구분과 괘를 같이 한다 (Akhtar and Mian, 2018). 컴퓨터 비전에서의 영상 인식은 4가지로 구분되며, 분류(Classification). 객체 검출(Object Detection), 의미론적 분할(Semantic Segmentation), 객체 분할(Instance Segmentation)이다. 객체검출을 위한 알고리즘 중 가장 보편적인 알고리즘은 Yolo 계열이며, 객체의 특징을 바탕으로 “다름”을 구분하기 때문에 상대적 적용과 활용이 용이하다(Mao et al., 2019). 그러나 구체적 형상을 분류하기에는 한계가 있다. 대상 객체의 형태와 공간적 위치를 각각 구분하기 위한 딥러닝 알고리즘 중 대표적 사례가 CNN(Convolutional neural network) 계열이다 (Voulodimos et al., 2018). 객체 분할은 어려운 작업 중 하나이며, 대표적인 모델로는 Mask-RCNN이 있다(Liu et al., 2018). 그러나 동일한 객체별로 묶는 토지 피복 분류에는 적합하지 않다. 의미론적 분할의 대표적인 모델은 FCN이며, FCN등장 이후 의미론적 분할을 효율적으로 수행하기 위한 것으로 다양한 Semantic segmentation 모델들은 등장하고 있다 (Cao and Qiu, 2018).

OGCSBN_2020_v36n6_2_1591_f0001.png 이미지

Fig. 1. Comparison of semantic segmentation, classification and localization, object detection and instance segmentation (Li et al., 2017; Rieder and Verbeet, 2019).

2) SegNet

FCN 계열의 모델들 중 SegNet은 자율주행과 관련된 구조들을 의미론적 분할을 하기 위해 설계된 알고리즘으로, 학습의 효율성 및 정확도에서 높은 성능을 나타내고 있다(Badrinarayanan et al., 2017; Garcia-Garcia et al., 2017). SegNet모델의 아키텍쳐SMS 인코더 및 디코더 프로세스로 구성된다. 인코더 프로세스에서 압축 및 특징 추출 단계가 진행되며, 디코더 프로세스에서 영상 복원을 진행한다. SegNet은 기존Pooling layer를 디코더 프로세스에 활용함으로써 공간정보 소실의 문제점을 해결하였다(Badrinarayanan et al., 2017).

SegNet을 토지피복에 적용한 연구를 살펴보면, FCN 또는 FCN 계열의 유명한 알고리즘인 U-Net(Ronneberger et al., 2015)보다 농지와 같은 식생에서 낮은 성능이 나타 났다(Han et al., 2020; Li et al., 2020). SegNet과 U-net을 비교한 다른 연구는 주거지역과 건물, 과수원, 발굴된 땅에서 U-net에 비해 높은 성능이 나타난 것을 확인하였다(Ning et al., 2020). 특히 SegNet이 분류해낸 항목을 살펴보면, 나무와 같은 식생 항목에 비해 도로, 건물, 자동차와 같은 항목들의 정확도가 높게 산정되며, 특히 건물 항목에서 높은 성능을 보여주고 있다(Audebert et al., 2018; Lee et al., 2020; Kendall et al., 2016).

OGCSBN_2020_v36n6_2_1591_f0002.png 이미지

Fig. 2. SegNet Architecture in introduced by Badrinarayanan et al., 2015.

3) U-Net

U-net은 Ronneberger et al. (2015)가 제안한 모델로 적은 수의 의료 이미지 Segmentation에서 주로 적용되었으며, 모델의 구조가 알파벳 U와 유사한 구조를 가지고 있다(Liu et al., 2019). 모델의 Architecture를 살펴보면 크게 왼쪽은 contracting path, 오른쪽은 expansive path로 나뉜다. contracting path 단계에서는 NxNxC 크기의 C 채널을 갖는 이미지 패치를 입력 레이어로 사용한다. 각 단계별로 Convolution layer, ReLU 활성함수 및 Max pooling을 이용한 sub-sampling을 시행한다. Expansive path 단계에서 U-net은 두 가지 특징이 나타난다. 첫 번째는 skip connection 사용하여 contracting path 단계에서 사용된 원시정보를 가져오는 copy and crop 과정이다 (Stoian et al., 2019). 두 번째는 영상복원 단계에서 Fully connected layer 없이 convolution layer만 존재한다. network에서는 input image를 미러링하여 패치의 경계값을 예측한다(Soni et al., 2019). U-net의 경우 기존의 sliding window가 아닌 patch 단위로 input data를 사용함으로써, 기존 네트워크가 가진 느린 속도를 개선했다. Copyandcrop 을 이용한 concat을 통해 이미지의 context를 정확하게 포착하며, FCN 이 가지고 있는 localization 문제를 해결 하였다(Ronnebergeret al., 2015).

OGCSBN_2020_v36n6_2_1591_f0003.png 이미지

Fig. 3. U-Net architecure in introduced by Ronneberger et al. (2015).

4) DeepLabV3+

DeeplabV3+ 모델은 인코딩과 디코딩 구조로 나뉜다 (Peng et al., 2020). 먼저 인코더 과정에서 특징 추출 및 압축이 진행되며, DeeplabV3+는 convolution 중간에 공간을 비워두는 Atrous convolution을 사용하여 특징 추출을 진행하였다. Atrous convolution은 pooling 과정에서 상세한 정보의 유실 및 특징의 추상화를 방지함으로 모델의 성능을 높일 수 있다. 또한 pooling 과정에서 spatial pyramid pooling을 적용하여 다양한 크기의 정보를 담을 수 있게 구성하였다(Chen et al., 2018). 특징 추출 완료 후, 디코더 과정에서 원본 이미지와 동일한 해상도로 영상이 복원되며, 최종 결과를 예측한다. 디코더 과정은 U- net과 유사하게 concat을 적용하여 영상을 복원하는 방법을 사용한다(Peng et al., 2020).

OGCSBN_2020_v36n6_2_1591_f0004.png 이미지

Fig. 4. DeeplabV3+ architecture in introduced by Peng et al. (2018).

5) 연구 지역

본 연구의 평가대상 지역은 경상북도 봉화군 일대로 연구지역 선정을 위해 산림청 임상도 및 환경부 토지 피복 지도를 기본 자료로 사용하였다. 경상북도는 산림 면적이 19, 031 km2으로 넓은 산림면적을 가지고 있으며, 산림 벌채로 인한 피복의 변화가 가장 큰 지역이다 (산림청, 2019). 본 연구지역은 대부분 산림지역을 이루고 있어 모델의 토지 피복 분류 시, 상대적으로 적은 면적을 차지하게 되는 도로 및 건물 등의 항목이 높은 성능을 나타내는가에 대한 평가를 실행하기에 적합한 지역으로 판단된다.

OGCSBN_2020_v36n6_2_1591_f0005.png 이미지

Fig. 5. Study area of in this study.

6) 데이터 셋 구축

정밀한 딥러닝 데이터 셋 구축은 분류 항목의 정확한 분류를 보장하기 위해 필수적이다. 본 연구에서 사용된 고해상도 영상은 Kompasat-3 위성영상으로Pancromatic (PAN), blue, green, red, near infra red(NIR)의 5개 밴드로 구성된다. 영상은 2015년, 2016년 그리고 2018년 7월 18일, 9월 8일, 10월 30일, 11월 20일 자료를 사용하였다. 전처리 과정으로는 Kompasat-3 영상은 정사 보정 및 COST model(Chaves, 1996)을 통하여 대기 보정을 시행하였으며, 고해상도의 다중분광 영상을 사용하기 위하여 고해상도 PAN 영상을 상대적으로 낮은 다중분광 영상에 적용하는 Pan-sharpening을 활용하였다(Zhang and Mishra, 2012). 결과적으로 4개 밴드의 0.7 m 해상도 다중분광 영상을 본 연구에 활용하였다.

전처리 과정 이후, Semantic segmentation 모델에 적용하기 위한 딥러닝 데이터셋을 구축하였다. 데이터셋은 원본 영상 및 원본 영상과 동일한 지역 및 크기의 ground truth 데이터로 구성된다. 정밀한 ground truth 데이터 구축을 위해 임상도 및 토지 피복 지도를 기본 자료로 활용하였으며, 국토지리정보원의 수치 지형도를 참고자료로 사용하였다.

토지 피복 항목은 산림지와 비산림지로 1차 분류수행 후, 각각을 세분화하여 도로 및 건물을 포함한 총 13개의 항목으로 분류하였다 (Table1). 학습 데이터셋은 검수 시 95% 이상의 정확도를 확보하였으며, 이보다 낮을 경우 재수정을 실시하였다. 데이터 셋은 Kompasat-3영상을 활용한 이미지와 동일한 지역의의 ground truth 데이터로 구성하였으며, 두 데이터 모두 Geotiff 형식으로 구축하였다. 데이터는 학습용 및 테스트용 데이터셋으로 구분 지었으며, 학습용 데이터는 모델 학습 및 검증, 테스트 데이터는 최종 성능 평가에 사용하였다. 테스트 지역의 항목별 픽셀 갯수는 침엽수 675,816, 활엽수 136,352, 묘지 5,427, 건물 8,249, 도로 28,982, 논 19,613, 밭 427,740. 시설 재배지11,761, 나지 32,022, 초지 191,132, 그리고 수역 3,911이며, 분류를 위한 영상을 제외한 나머지 영상은 학습 및 검증에 사용되었으며 총 175장의 데이터셋이 훈련 및 검증에 사용되었다.

OGCSBN_2020_v36n6_2_1591_f0006.png 이미지

Fig. 6. Example of dataset. (a) is image, (b) is grayscale ground truth, and (c) is colored ground truth.

Table 1. Classification item and color index

OGCSBN_2020_v36n6_2_1591_t0001.png 이미지

7) Hyper-parameter tuning

구축된 데이터 셋을 활용하여, Semantic segmentation 모델 학습을 진행하며, Semantic segmentation 모델이 최적의 성능을 내는 hyper-parameter tuning을 실행하였다. Hyper-parameter는 컴퓨터가 아닌 사용자가 직접 설정하는 parameter로 모델의 최적화를 위한 필수적인 부분이다(Bardenet et al., 2013). 본 연구에서는 학습 반복 횟수(Iteration), 입력하는 영상의 크기를 의미하는 Patch size, 한번 학습 시 사용되는 영상의 개수를 의미하는 batch size 등을 고려하였다. Hyper-paremeter는 학습, 검증 정확도 및 손실값(loss)를 통하여 최적 hyper-parameter를 산출하였다.

3. 연구결과 및 토의

1) Hyper-parameter tuning result

구축된 데이터셋을 SegNet, U-net 및 DeeplabV3+ 모델에 적용하여 hyper-parameter 최적화 작업을 진행하였으며, 그 결과는 Table2와 같다. 학습 반복 횟수는 100,000회 학습을 진행하면서 손실 값이 떨어지지 않을 경우 20,000회씩 추가 학습을 진행하였으며, 그 결과 Segnet과 DeeplabV3+는 100,000회에서, U-Net은 180,000 가장 높은 정확도 및 낮은 손실 값을 산출하였다. Patch size는 컴퓨터 성능을 고려하여 세 모델 모두 256×256으로 고정하였다. Batch size는 모델의 성능 및 컴퓨터 성능을 고려하여 SegNet은 10, U-Net은 1, DeeplabV3+는 16에서 가장 높은 분류 정확도 및 낮은 손실 값을 나타내었다. 본 연구에서 산출된 hyper-parameter를 적용하여 최종 분류를 진행하였다.

Table 2. Hyper-parameter tuning result

OGCSBN_2020_v36n6_2_1591_t0002.png 이미지

2) 분류결과

최적화된 hyper-parameter를 사용하여 SegNet 모델 최종 학습 진행 후, 본 연구의 연구 대상 지역에 테스트 데이터를 통한 정확도 및 성능 평가를 진행하였다. 정확도는 픽셀 정확도를 기준으로 산출하였으며, 최종 분류 정확도는 SegNet 61.8%, U-Net 71.7% 그리고 Deeplab V3+ 모델이 81.8%로 세 모델 중 가장 높은 정확도가 산정되었으며, 분류 결과는 Fig.7과 같다.

OGCSBN_2020_v36n6_2_1591_f0007.png 이미지

Fig. 7. training loss value of three deep learning algorithm.

먼저 SegNet의 결과를 살펴보면 분류 항목 중, 가장 많은 면적을 차지하는 침엽수의 경우 77.4%로 모든 항목 중 가장 높은 정확도를 산출하였다. 두 번째로 많은 면적을 차지하는 활엽수의 경우, 침엽수 항목과 오분류가 많이 일어나, 많은 면적을 차지함에도 35%의 낮은 분류 정확도를 나타내었다. 비산림지 중 가장 많은 면적을 차지하는 밭의 경우 64.1%로 나타났으며, 도로의 경우, 상대적으로 적은 면적을 차지함에도 74.2%의 높은 분류 정확도를 산출하였다. 면적이 적은 건물의 경우, 나지와의 오분류는 일어나지 않았으나, 도로와의 혼동으로 51.6%의 낮은 정확도를 산출하였다. 도로 및 건물을 제외한 나머지 항목에서는 적은 면적을 차지함에 따라 모두 50% 이하의 낮은 정확도를 산출하였다.

OGCSBN_2020_v36n6_2_1591_f0008.png 이미지

Fig. 8. Classification result. (a) is Kompast image, (b) is ground truth, (c) is SegNet result, (d) is U-Net result, and (e) is DeeplabV3+ result

OGCSBN_2020_v36n6_2_1591_f0009.png 이미지

Fig. 9. Classification result of road and building area.

U-Net 의 분류항목별 정확도를 살펴보면, SegNet과 동일하게 가장 많은 면적을 차지하는 침엽수 항목에서 가장 높은 87.4%의 정확도가 산출되었다. 두 번째로 높은 정확도를 나타내는 항목은 밭 항목으로 84.9%의 정확도를 산출하였다. U-Net은 세 모델과 비교하여, 활엽수 항목에서 68.8%의 정확도로 가장 높은 정확도가 산출되었다. 다른 두 모델은 활엽수 항목에서 모두 50% 이 하의 낮은 분류정확도를 나타내었다. 또한 밭 이외에 논의 경우도 69.7%로 다른 모델에 비해 높은 정확도를 산출하였지만, 초지나 묘지, 도로 그리고 시설 재배지의 항목에서 두 모델보다 모두 낮은 정확도를 산출하였다.

OGCSBN_2020_v36n6_2_1591_f0010.png 이미지

Fig. 10. Classification result of hardwood areas.

DeeplabV3+의 분류정확도는 다른 세 모델에 비해 우수하게 나타났지만, 일부 항목에서 차이를 보였다. 다른 모델과 마찬가지로 가장 많은 면적을 차지하는 침엽수의 경우, 97.5%로 가장 높은 정확도를 산출하였다. U-Net과 동일하게, 두 번째로 높은 정확도를 나타내는 항목은 밭 항목으로, U-Net의 정확도보다 약 10% 이상의 높은 정확도를 나타내었다. 세 번째로 높은 정확도를 보인 항목은 시설 재배지 항목으로, 세 모델 중 70% 이상의 정확도를 보인 유일한 모델이다. 그러나 활엽수, 건물의 항목에서는 SegNet, U-Net 모델보다 부족한 정확도를 나타내었다. 상세한 정확도는 Table3과 같다.

OGCSBN_2020_v36n6_2_1591_f0011.png 이미지

Fig. 11. Classification result of facility cultivation and grassland.

Table 3. Accuracy of each classes

OGCSBN_2020_v36n6_2_1591_t0003.png 이미지

전체적으로 DeeplabV3+는 가장 높은 정확도를 산출하였지만, 토지피복 항목에 따라SegNet 및 U-Net 모델이 우수한 경우도 존재하였다. 항목별로 살펴보면, 침엽수 항목의 경우, 세 가지 알고리즘 모두 높은 정확도를 보였으나, DeeplabV3+가 그중에서 가장 높은 정확도를 보였다. 그러나 침엽수와 유사한 활엽수 항목의 경우, DeeplabV3+ 알고리즘보다 U-Net에서 더 높은 성능이 나타났다. 두 가지를 보았을 때, 침엽수와 활엽수의 구분에는 U-Net이 더 적합한 알고리즘으로 보인다. 기타산림, 묘지 그리고 고사목은 분류면적이 거의 존재하지 않은 항목으로 낮은 분류정확도를 나타냈다. 건물과 도로의 경우, SegNet 알고리즘이 가장 높은 분류정확도를 나타내었다. 이 결과는SegNet 알고리즘이 주거지역 및 건물 등에서 높은 정확도 및 식생에서 낮은 정확도를 나타낸 이전의 연구와 유사한 결과로 나타났다(Ning et al., 2020; Li et al., 2020). 논의 경우 U-Net과 DeeplabV3+ 알고리즘이 유사한 정확도를 산출하였지만 U-Net의 정확 도가 더 높게 산출되었으며, 밭의 경우, DeeplabV3+에서 더 높은 정확도를 산출하였다. 시설재배지 및 초지 항목은 DeeplabV3+에서 가장 높은 성능을 나타내었다. 수역의 경우 분류지역의 수역 면적이 적은 원인으로 세 알고리즘 모두 낮은 정확도를 보였다.

4. 결론 및 제언

본 연구에서는 고해상도 위성영상을 활용한 토지피복 구축 연구를 보다 효율적으로 진행하기 위하여 딥러닝을 적용하는 방안을 연구하였다. 기존의 토지피복 분류 연구는 단일 방법론에 위성영상을 적용하여 대, 중, 세분류 형태로 피복 분류를 다양하게 추출하는 것이 중점이었다면, 본 연구에서는 다양한 딥러닝 알고리즘을 적용하여 토지 피복 분류항목에 접합한 알고리즘을 선정하고, 향후 이를 확대하기 위한 연구이다. 이를 통하여 단일 방법론에 의존한 토지 피복 분류방식을 개선하고자 하였다.

연구결과를 위해, FCN 계열의 딥러닝 알고리즘에 적용 및 결과를 산출하고, 알고리즘들의 토지 피복 항목별 정확도를 평가하였다. 전체 정확도는 SegNet, U-Net, DeeplabV3+ 모델별로 산출하였으며, DeeplabV3+ 모델이 81.7%로 가장 높게 산정되었다. 그러나 결과를 항목별로 나누게 되면, 항목에 따라 높은 성능을 내는 알고리즘에 차이가 존재하였다. 도로 및 건물에서는 SegNet이 가장 높은 성능을 나타내었으며, U-Net은 논과 활엽수의 항목에서, DeeplabV3+는 밭, 시설 재배지, 초지의 항목에서 높은 성능을 나타냈다.

이러한 결과는 초기 FCN 계열의 망을 선정하는 과정에 고려된 사항이다. SegNet은 기본적으로 자율주행차량에 필요한 도로와 건물의 분류를 빠르게 진행하기 위하여 설계된 딥러닝 알고리즘이며, U-Net 등은 객체의 외각 경계보다는 속성이 유사한 사항을 추출하는 데 유리한 형식으로 설계되어 있다. 그렇기 때문에 논 및 활엽수 등 유사한 토지 피복 항목 분류에 정확도가 높았다. 이에 비하여 DeeplabV3+의 경우 최근 발표된 알고리즘으로 다른 두 알고리즘보다 면적이 많이 차지하는 항목, 시설재배지와 같은 항목 및 외각 경계에 높은 성능을 보였다.

이 결과는 항목별로 높은 성능을 나타내는 알고리즘에 차이가 존재하는 것으로 보이며, 하나의 알고리즘만 사용하는 것에 대한 한계점으로 예상된다. 세 가지 알고리즘 모두 넓은 면적을 차지하는 항목에서는 높은 성능을 나타내었으며, 이는 데이터 셋의 면적이 정확도에 영향을 미치는 것으로 사료된다. 향후 토지 피복 항목별로 가장 높은 성능을 보이는 알고리즘을 개별적으로 적용한다면, 고품질의 토지 피복 분류 결과를 산출할 수 있을 것으로 기대된다.

고해상도 위성영상을 활용한 토지 피복 분류는 윈격 탐사 연구에서 기반이 되는 주요 연구이다. 이를 보다 정밀하고, 효율적으로 분류하기 위하여 분류항목별 알고리즘 최적화는 도출하는 것은 향후, 지속적인 토지 피복 분류연구에 활용될 수 있을 것이다. 그러나 본 연구는 몇 가지 한계를 가지고 있다. 첫째, 산림 분야를 중심으로 딥러링 학습 데이터 셋을 구축하였다. 그렇기 때문에 연구 결과에서 면적인 가장 큰 지역이 침엽수, 활엽수 등이 분류되었다. 둘째, 보다 다양한 알고리즘 적용을 수행하지 못하였다. 이는 딥러닝을 구현하는 물리적 하드웨어 환경의 영향으로, 분석 장비를 보다 강화한다면 동일 데이터 셋을 활용한 다양한 알고리즘 적용이 가능할 것으로 사료된다.

사사

본 논문은 한국환경정책·평가연구원에서 수행한 한국항공우주연구원(KARI)의 ‘위성영상과 머신러닝을 활용한 산림 변화 정밀 분석 기술 개발’ 및 한국연구재단의 이 공학 개인 기초연구(NRF-2018R1D1A1B07041203)에 의해 수행되었습니다.

References

  1. Akhtar, N. and A. Mian, 2018. Threat of adversarial attacks on deep learning in computer vision: A survey, IEEE Access, 6: 14410-14430. https://doi.org/10.1109/ACCESS.2018.2807385
  2. Andersson, V., 2017. Semantic Segmentation: Using Convolutional Neural Networks and Sparse dictionaries Overview, https://www.diva-portal.org/smash/record.jsf?pid=diva2%3A1127291&dswid=-8672, Accessed on Aug. 14, 2020.
  3. Arief, H. A., G. Strand, H. Tveite, and U. G. Indahl, 2018. Land cover segmentation of airborne LiDAR data using stochastic atrous network, Remote Sensing, 10(6): 973. https://doi.org/10.3390/rs10060973
  4. Audebert, N., B. Le Saux, and S. Lefevre, 2018. Beyond RGB: Very high resolution urban remote sensing with multimodal deep networks, ISPRS Journal of Photogrammetry and Remote Sensing, 140: 20-32. https://doi.org/10.1016/j.isprsjprs.2017.11.011
  5. Badrinarayanan, V., A. Handa, and R. Cipolla, 2017. Segnet: A deep convolutional encoder-decoder architecture for image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495. https://doi.org/10.1109/TPAMI.2016.2644615
  6. Bardenet, R., M. Brendel, B. Kegl, and M. Sebag, 2013. Collaborative hyperparameter tuning, Proc. of 2013 International Conference on Machine Learning, Atlanta, USA, Jun. 16-21, pp. 199-207.
  7. Bhosle, K. and V. Musande, 2019. Evaluation of deep learning CNN model for land use land cover classification and crop identification using hyperspectral remote sensing images, Journal of the Indian Society of Remote Sensing, 47(11): 1949-1958. https://doi.org/10.1007/s12524-019-01041-2
  8. Cao, R. and G. Qiu, 2018. Urban land use classification based on aerial and ground images, Proc. of 2018 International Conference on Content-Based Multimedia Indexing (CBMI), La Rochelle, FRA, Sep. 4-6, pp. 1-6.
  9. Chavez, P. S., 1996. Image-based atmospheric correctionsrevisited and improved, Photogrammetric Engineering and Remote Sensing, 62(9): 1025-1035.
  10. Chen, L., Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation, Proc. of the European conference on computer vision (ECCV), Munich, GER, Sep. 8-14, pp. 801-818.
  11. Chen, Y., D. Ming, and X. Lv, 2019. Superpixel based land cover classification of VHR satellite image combining multi-scale CNN and scale parameter estimation, Earth Science Informatics, 12(3): 341-363. https://doi.org/10.1007/s12145-019-00383-2
  12. Foody, G. M., 2002. Status of land cover classification accuracy assessment, Remote Sensing of Environment, 80(1): 185-201. https://doi.org/10.1016/S0034-4257(01)00295-4
  13. Gaetano, R., D. Ienco, K. Ose, and R. Cresson, 2018. A two-branch CNN architecture for land cover classification of PAN and MS imagery, Remote Sensing, 10(11): 1746. https://doi.org/10.3390/rs10111746
  14. Garcia-Garcia, A., S. Orts-Escolano, S. Oprea, V. VillenaMartinez, and J. Garcia-Rodriguez, 2017. A review on deep learning techniques applied to semantic segmentation, Arxiv preprint, 1704.06857 (v1): 1-23.
  15. Kampffmeyer, M., A. Salberg, and R. Jenssen, 2016. Semantic segmentation of small objects and modeling of uncertainty in urban remote sensing images using deep convolutional neural networks, Proc. of the 2016 IEEE conference on computer vision and pattern recognition workshops, Las Vegas, NV, Jun. 27-30, pp. 1-9.
  16. Kemker, R., C. Salvaggio, and C. Kanan, 2018. Algorithms for semantic segmentation of multispectral remote sensing imagery using deep learning, ISPRS Journal of Photogrammetry and Remote Sensing, 145: 60-77. https://doi.org/10.1016/j.isprsjprs.2018.04.014
  17. Kendall, A., V. Badrinarayanan, and R. Cipolla, 2015. Bayesian segnet: Model uncertainty in deep convolutional encoder-decoder architectures for scene understanding, Arxiv preprint, 1511.02680 (v2): 1-11.
  18. Korea Forest Service Home Page Overview, http://forest.go.kr, Accessed on Feb. 30, 2019.
  19. Kussul, N., M. Lavreniuk, S. Skakun, and A. Shelestov, 2017. Deep learning classification of land cover and crop types using remote sensing data, IEEE Geoscience and Remote Sensing Letters, 14(5): 778-782. https://doi.org/10.1109/LGRS.2017.2681128
  20. LeCun, Y., Y. Bengio, and G. Hinton, 2015. Deep learning, Nature, 521(7553): 436-444. https://doi.org/10.1038/nature14539
  21. Lee, D. G., Y. H. Shin, and D. Lee, 2020. Land Cover Classification Using SegNet with Slope, Aspect, and Multidirectional Shaded Relief Images Derived from Digital Surface Model, Journal of Sensors, 2020: 1-21.
  22. Li, F., J. Johnson, and S. Yeung, 2017. Convolutional neural networks for visual recognition lecture notes Overview, https://sites.google.com/site/aidysft/lecturenotes, Accessed on Jun. 13, 2020.
  23. Liu, S., L. Qi, H. Qin, J. Shi, and J. Jia, 2018. Path aggregation network for instance segmentation, Proc. of the 2018 IEEE conference on computer vision and pattern recognition, Salt Lake City, UT, Jun. 19-21, pp. 8759-8768.
  24. Long, J., E. Shelhamer, and T. Darrell, 2015. Fully convolutional networks for semantic segmentation, Proc. of the 2015 IEEE conference on computer vision and pattern recognition, Boston, MA, Jun. 7-12, pp. 3431-3440.
  25. Ma, L., M. Li, X. Ma, L. Cheng, P. Du, and Y. Liu, 2017. A review of supervised object-based land-cover image classification, ISPRS Journal of Photogrammetry and Remote Sensing, 130: 277-293. https://doi.org/10.1016/j.isprsjprs.2017.06.001
  26. Mao, Q., H. Sun, Y. Liu, and R. Jia, 2019. Mini-YOLOv3: real-time object detector for embedded applications, IEEE Access, 7: 133529-133538. https://doi.org/10.1109/ACCESS.2019.2941547
  27. Ning, H., Z. Li, C. Wang, and L. Yang, 2020. Choosing an appropriate training set size when using existing data to train neural networks for land cover segmentation, Annals of GIS, 2020: 1-14. https://doi.org/10.1080/19475683.2020.1780313
  28. Paisitkriangkrai, S., J. Sherrah, P. Janney, and V. Hengel, 2015. Effective semantic pixel labelling with convolutional networks and conditional random fields, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Boston, MA, Jun. 7-12, pp. 36-43.
  29. Papadomanolaki, M., M. Vakalopoulou, and K. Karantzalos, 2019. A novel object-based deep learning framework for semantic segmentation of very high-resolution remote sensing data: Comparison with convolutional and fully convolutional networks, Remote Sensing, 11(6): 684. https://doi.org/10.3390/rs11060684
  30. Peng, H., C. Xue, Y. Shao, K. Chen, J. Xiong, Z. Xie, and L. Zhang, 2020. Semantic Segmentation of Litchi Branches Using DeepLabV3 Model, IEEE Access, 8: 164546-164555. https://doi.org/10.1109/ACCESS.2020.3021739
  31. Rana, V. K. and T. M. V. Suryanarayana, 2020. Performance evaluation of MLE, RF and SVM classification algorithms for watershed scale land use/land cover mapping using sentinel 2 bands, Remote Sensing Applications: Society and Environment, 19: 100351. https://doi.org/10.1016/j.rsase.2020.100351
  32. Rieder, M. and R. Verbeet, 2019. Robot-human-learning for robotic picking processes, Artificial Intelligence and Digital Transformation in Supply Chain Management: Innovative Approaches for Supply Chains, Proc. of 2019 Hamburg International Conference of Logistics (HICL), Hamburg, GER, Sep. 25-27, vol. 27, pp. 87-114.
  33. Rodriguez-Galiano, V. F., B. Ghimire, J. Rogan, M. Chica-Olmo, and J. P. Rigol-Sanchez, 2012. An assessment of the effectiveness of a random forest classifier for land-cover classification, ISPRS Journal of Photogrammetry and Remote Sensing, 67: 93-104. https://doi.org/10.1016/j.isprsjprs.2011.11.002
  34. Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, Proc. of 2015 International Conference on Medical image computing and computer-assisted intervention, Munich, GER, Oct. 5-9 pp. 234-241.
  35. Soni, A., R. Koner, and V. G. K. Villuri, 2020. M-UNet: Modified U-Net Segmentation Framework with Satellite Imagery, Proc. of the Global AI Congress 2019, Kolkata, IND, Sep. 12-14, pp. 47-59.
  36. Stoian, A., V. Poulain, J. Inglada, V. Poughon, and D. Derksen, 2019. Land cover maps production with high resolution satellite image time series and convolutional neural networks: Adaptations and limits for operational systems, Remote Sensing, 11(17): 1986. https://doi.org/10.3390/rs11171986
  37. Volpi, M. and V. Ferrari, 2015. Semantic segmentation of urban scenes by learning local class interactions, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Boston, MA, Jun. 7-12, pp. 1-9.
  38. Voulodimos, A., N. Doulamis, A. Doulamis, and E. Protopapadakis, 2018. Deep learning for Computer vision: A brief review, Computational intelligence and neuroscience, 2018: 1-14.
  39. Zhang, C., I. Sargent, X. Pan, A. Gardiner, J. Hare, and P. M. Atkinson, 2018. VPRS-based regional decision fusion of CNN and MRF classifications for very fine resolution remotely sensed images, IEEE Transactions on Geoscience and Remote Sensing, 56(8): 4507-4521. https://doi.org/10.1109/TGRS.2018.2822783
  40. Zhang, C., S. Wei, S. Ji, and M. Lu, 2019. Detecting large-scale urban land cover changes from very high resolution remote sensing images using cnn-based classification, ISPRS International Journal of Geo-Information, 8(4): 189. https://doi.org/10.3390/ijgi8040189
  41. Zhang, H., H. Lin, and Y. Li, 2015. Impacts of feature normalization on optical and SAR data fusion for land use/land cover classification, IEEE Geoscience and Remote Sensing Letters, 12(5): 1061-1065. https://doi.org/10.1109/LGRS.2014.2377722
  42. Zhang, Y., P. David, and B. Gong, 2017. Curriculum domain adaptation for semantic segmentation of urban scenes, Proc. of the 2017 IEEE International Conference on Computer Vision, Venice, ITA, Oct. 22-29, pp. 2020-2030.
  43. Zhang, Y. and R. K. Mishra, 2012. A review and comparison of commercially available pansharpening techniques for high resolution satellite image fusion, Proc. of 2012 IEEE International Geoscience and Remote Sensing Symposium, Munich, GER, Jul. 22-27, pp. 182-185.

Cited by

  1. 다목적실용위성 영상 활용 vol.37, pp.6, 2021, https://doi.org/10.7780/kjrs.2021.37.6.3.1
  2. Hue 채널 영상의 다중 클래스 결합을 이용한 객체 기반 영상 분류 vol.37, pp.6, 2021, https://doi.org/10.7780/kjrs.2021.37.6.3.9