Korean Journal of Remote Sensing (대한원격탐사학회지)

Korean Society of Remote Sensing (대한원격탐사학회)
권호 표지
DOI QR코드

DOI QR Code

The Accuracy Assessment of Species Classification according to Spatial Resolution of Satellite Image Dataset Based on Deep Learning Model

딥러닝 모델 기반 위성영상 데이터세트 공간 해상도에 따른 수종분류 정확도 평가

  • Park, Jeongmook (Forest ICT Research Center, National Institute of Forest Science) ;
  • Sim, Woodam (Department of Forest Management, College of Forest & Environmental Sciences, Kangwon National University) ;
  • Kim, Kyoungmin (Department of Forest Management, College of Forest & Environmental Sciences, Kangwon National University) ;
  • Lim, Joongbin (Forest ICT Research Center, National Institute of Forest Science) ;
  • Lee, Jung-Soo (Division of Forest Science, College of Forest & Environmental Sciences, Kangwon National University)
  • 박정묵 (국립산림과학원 산림ICT연구센터) ;
  • 심우담 (강원대학교 산림환경과학대학 산림경영학과) ;
  • 김경민 (강원대학교 산림환경과학대학 산림경영학과) ;
  • 임중빈 (국립산림과학원 산림ICT연구센터) ;
  • 이정수 (강원대학교 산림환경과학대학 산림과학부)
  • Received : 2022.12.08
  • Accepted : 2022.12.20
  • Published : 2022.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

This study was conducted to classify tree species and assess the classification accuracy, using SE-Inception, a classification-based deep learning model. The input images of the dataset used Worldview-3 and GeoEye-1 images, and the size of the input images was divided into 10 × 10 m, 30 × 30 m, and 50 × 50 m to compare and evaluate the accuracy of classification of tree species. The label data was divided into five tree species (Pinus densiflora, Pinus koraiensis, Larix kaempferi, Abies holophylla Maxim. and Quercus) by visually interpreting the divided image, and then labeling was performed manually. The dataset constructed a total of 2,429 images, of which about 85% was used as learning data and about 15% as verification data. As a result of classification using the deep learning model, the overall accuracy of up to 78% was achieved when using the Worldview-3 image, the accuracy of up to 84% when using the GeoEye-1 image, and the classification accuracy was high performance. In particular, Quercus showed high accuracy of more than 85% in F1 regardless of the input image size, but trees with similar spectral characteristics such as Pinus densiflora and Pinus koraiensis had many errors. Therefore, there may be limitations in extracting feature amount only with spectral information of satellite images, and classification accuracy may be improved by using images containing various pattern information such as vegetation index and Gray-Level Co-occurrence Matrix (GLCM).

본 연구는 분류(classification)기반 딥러닝 모델(deep learning model)인 Inception과 SENet을 결합한 SE-Inception을 활용하여 수종분류를 수행하고 분류정확도를 평가하였다. 데이터세트의 입력 이미지는 Worldview-3와 GeoEye-1 영상을 활용하였으며, 입력 이미지의 크기는 10 × 10 m, 30 × 30 m, 50 × 50 m로 분할하여 수종 분류정확도를 비교·평가하였다. 라벨(label)자료는 분할된 영상을 시각적으로 해석하여 5개의 수종(소나무, 잣나무, 낙엽송, 전나무, 참나무류)으로 구분한 후, 수동으로 라벨링 작업을 수행하였다. 데이터세트는 총 2,429개의 이미지를 구축하였으며, 그중약 85%는 학습자료로, 약 15%는 검증자료로 활용하였다. 딥러닝 모델을 활용한 수종분류 결과, Worldview-3 영상을 활용하였을 때 최대 약 78%의 전체 정확도를 달성하였으며, GeoEye-1영상을 활용할 때 최대 약 84%의 정확도를 보여 수종분류에 우수한 성능을 보였다. 특히, 참나무류는 입력 이미지크기에 관계없이 F1은 약 85% 이상의 높은 정확도를 보였으나, 소나무, 잣나무와 같이 분광특성이 유사한 수종은 오분류가 다수 발생하였다. 특정 수종에서 위성영상의 분광정보 만으로는 특징량 추출에 한계가 있을 수 있으며, 식생지수, Gray-Level Co-occurrence Matrix (GLCM) 등 다양한 패턴정보가 포함된 이미지를 활용한다면 분류 정확도를 개선할 수 있을 것으로 판단된다.

Keywords

1. 서론

산림은 토지에 있어 가장 중요한 생태이며 토지의 개발과 관리에 있어 필수적이다(Mohd and Abd, 2017). 경영 및 관리가 잘 이루어진 산림은 생물다양성 보호를 통해 안정적인 에너지 순환을 유지할 수 있고, 산림토양을 유지하여 토양 황폐화와 침식을 방지할 수 있다 (Cifuentes-Croquevielle et al., 2020). 이에 따라, 정확한 산림 수종 조사는 경영자 및 관리자에게 산림 종 구성, 산림 수종의 변화, 산림 자원량을 이해할 수 있도록 도움을 주기 때문에 산림정책 수립에 매우 중요한 요소 중 하나이다(Grabska et al., 2019). 하지만, 산림은 지형이 복잡하고 접근성이 용이하지 않아 전통적인 산림 수종 조사 방법으로는 비효율적이며 많은 인력이 소요되기 때문에, 산림유형을 맵핑하는데 있어 효율적이며 측정 시간을 단축시키고 적은 인력을 투입할 수 있는 원격탐사기법의 적용이 필요하다(Kükenbrink et al., 2022).

초기 원격탐사기법을 이용한 산림 수종 분류는 넓은 규모의 산림 분류에서 중해상도 위성영상인 Landsat을 사용했지만, 공간해상도가 상대적으로 낮기 때문에 개체목 단위의 수종 분류에는 어려움이 있다(Turlej et al., 2022). 원격탐사기법을 적용한 개체목 단위 수종 분류는 초분광 자료를 통해 결과를 도출하는 것이 적합하지만 초분광 자료는 대부분 항공 및 드론으로 수집해야 하기 때문에 비용이 높고 처리과정이 매우 복잡하다(Abbas et al., 2021). 한편,IKONOS, QuickBird, GeoEye, WorldView 등의 위성이 발사됨에 따라 고해상도 위성영상을 쉽게 취득할 수 있으며, 수종 분류 맵핑 시간과 비용을 절약할 수 있다(Yan et al., 2021). 하지만, 고해상도 위성영상은 분광(spectral) 및 방사(radiometric) 정보가 다양하기 때문에 지역적, 환경적, 시계열적으로 다양한 조건을 고려하여 산림 수종 분류에 적합한 위성영상을 검토하는 것이 필요하다.

한편, 원격탐사 기술을 활용한 수종분류 연구는 전통적으로 머신러닝 기반의 Random Forest (RF)와 Support Vector Machine (SVM) 알고리즘이 주로 사용되어 왔으며, 최근 딥러닝 기반의 Convolutional Neural Networks (CNNs) 알고리즘을 적용한 연구가 수행 중이다(Somers et al., 2014; Lee et al., 2016; Mishra et al., 2018). 원격탐사 기술에 머신러닝 기법을 적용하는 것은 일반적으로 분광특성, 질감정보, 식생지수 계산 등의 분류를 위한 연구자의 주관적인 설계가 필요하며, 이에 따라 분류의 정확도는 입력되는 인자의 설계와 분류 범주 선정의 합리성에 따라 결과가 달라지기 때문에 광범위한 전문지식이 요구된다(Moisen et al., 2016; Franklin andAhmed, 2018). 딥러닝 기반의 CNN 알고리즘은 머신러닝 기반의 알고리즘과 달리, 입력 인자를 주관적으로 설계하고 객체를 분류하는 엔지니어링이 필요하지 않으며, CNN 알고리즘의 컨볼루션 레이어(convolution layer)의 다층 구조를 이해하면 자료의 정보를 충분히 활용하여 객체를 자동으로 분류할 수 있다는 점에서 장점을 가지고 있다(Krizhevsky et al., 2017; Liu et al., 2018).

반면, 원격탐사 기술을 활용한 수종분류 연구에서는 머신러닝 및 딥러닝 모델의 아키텍처 개선에 관한 연구는 활발히 진행되고 있으나, 입력 이미지의 크기, 영상의 촬영시기에 등 학습 데이터세트의 구성에 따라 분류정확도를 평가하고, 분류모델을 개선한 연구는 미흡한 실정이다. 따라서, 본 연구는 서로 다른 시기에 촬영된 위성영상 자료를 활용하여 다양한 이미지 크기의 학습자료를 구성하였으며, CNN 알고리즘을 통해 우리나라 주요 수종분류에 적합한 모델 구축을 목적으로 하였다.

2. 연구대상지 및 자료

1) 연구대상지

연구대상지는 대한민국 경기도에 위치한 국립산림과학원의 광릉시험림(37°43′44.39″N, 127°09′50.40″E)으로 선정하였다. 광릉시험림은 32임반 569개 소반으로 구성되며, 산림분포는 침엽수림(약 51%) > 활엽수림(약 33%) > 혼효림(약 16%) 순으로 분포하고 있다. 지형분포는 표고가 약 55–601 m로 분포하며, 총 면적의 약 72%가 300 m 미만의 낮은 표고에서 분포하였으며, 경사는 최대 약 34°로, 대상지의 약 65%가 약 20° 미만의 완만한 경사로 분포한다(NIFS, 2016; Fig. 1).

OGCSBN_2022_v38n6_1_1407_f0001.png 이미지

Fig. 1. Boundary of the research area.

2) 연구자료

위성영상은 상업용 위성 중 서브미터(sub-meter)급의 공간해상도를 지닌 제공이 가능한 Wordveiw-3 (이하, W-3)와 GeoEye-1 (이하, G-1) 영상을 활용하였다(Yan et al., 2021). W-3와 G-1 위성영상은 공간해상도가 각각 1.24 m, 1.84 m이며, 4개의 멀티(multi) band와 팬크로매틱(panchromatic) band 1개로 구성된다(Fig. 2).

OGCSBN_2022_v38n6_1_1407_f0002.png 이미지

Fig. 2. Satellite images of the research area.

위성영상 자료를 이용한 수종 분류 시, 계절적인 차이로 인해 분광특성 및 식생분포 패턴이 다르기 때문에 촬영시기가 최대한 유사하도록 2016년 6월 26일에 촬영된 W-3와 2016년 4월 11일에 촬영된 G-1 자료를 활용하였다(Hutchinson et al., 2015; Karasiak et al., 2019). 한편, Zhao and Zhu (2012)는 위성영상을 활용한 식생분류 연구에서 Red, Near Infrared (NIR), Short Wave Infrared (SWIR) band의 영향력이 가장 크다고 연구되었으며, Red와 NIR band는 가장 널리 사용되는 식생지수인 Normalized Difference Vegetation Index (NDVI)를 계산할 때 활용된다. 또한, Motohka et al. (2010)과 Anderson et al. (2016)은 Red, Green band를 활용한 Green and Red ratio Vegetation Index (GRVI)를 산출하여 식생영역을 추출하는 연구를 진행하였다. 따라서, 식생영역 추출에서 가장 널리 활용되는 NIR, Red, Green band의 정보를 활용하였다.

딥러닝 학습에 활용된 수종별 라벨링 자료는 산림청에서 제공하는 대축척 수치임상도(1:5,000)를 사용하여 구축하였다. 수치임상도는 국내 산림자원의 분포현황을 나타내는 대표적인 공간주제도로서, 임종, 임상, 수종, 영급, 경급, 소밀도 등의 정보를 제공한다(Kim et al., 2009).

딥러닝 모델 구축을 위한 Personal Computer (PC) 환경은 하드웨어의 경우 Central Processing Unit (CPU)는 Intel (R) Core (TM) i7-7700K CPU @ 4.20 GHz, Random Access Memory (RAM)은 32.0 GB, Graphic은 GeForce GTX 1080으로 구성하였다. 또한, 딥러닝(deep learning) 모델을 구현하고 개발을 실행하기 위하여 구글(Google) 사에서 개발한 오픈소스 프레임워크인 텐서플로우 (Tensorflow)를 이용하였으며, 프로그램 코딩언어는 코드의 호환성이 용이한 파이썬(Python)을 사용하였다. 텐서플로우는 하드웨어 환경에 따라 CPU 버전과 GPU 버전을 제공하고 있어, 본 연구에서는 텐서플로우 1.8과 이에 부합하는 파이썬 3.6을 이용하여 분석하였다.

3. 연구 방법

딥러닝 모델에 적용한 수종분류를 위해 위성영상에 대한 전처리 작업을 수행하였으며, 분류할 수종을 선정하여 데이터세트를 구축하였다. 데이터세트는 이미지 크기에 따른 수종분류 정확도를 평가하기 위해 공간스케일 10 × 10 m, 30 × 30 m, 50 × 50 m의 이미지로 분할하여 학습데이터와 검증데이터를 구축하였으며, 수종 분류 정확도를 비교·평가하였다(Fig. 3).

OGCSBN_2022_v38n6_1_1407_f0003.png 이미지

Fig. 3. Overall research flowchart.

1) 영상의 전처리

W-3와 G-1 위성영상은 위성 탑제체의 높이의 차이 및 기울어짐 현상 등으로 생기는 오차와 지구의 곡률, 위성 진행방향, 지구의 자전 등으로 발생하는 기하학적 오차를 제거하기 위해 정사보정과 기하보정을 수행하였다(Jin et al., 2010). 정사보정은 제공된 Rational Polynomial Coefficient (RPC) 자료와 국토지리정보원의 Digital Elevation Model (DEM)을 활용하여 수행하였으며, 기하보정은 국토교통부의 연속지적도, 국토지리정보원 항공사진을 참조자료로 활용하여 도로의 교차점, 인공구조물 등을 지상기준점(Ground Control Point, GCP)을 기준으로 선정하여 수행하였다. 영상전처리는 Harris Geospatial Solutions사의 Envi 소프트웨어를 통해 수행하였다.

W-3와 G-1 위성영상은 공간해상도가 서로 다르기 때문에, Pan-sharpening 기법으로 공간해상도를 0.5 m로 일치시켰다. Pan-sharpening은 위성영상의 고해상도 팬크로매틱 영상을 이용하여 저해상도의 다중분광 영상의 해상도를 높이는 기법으로, 본 연구에서는 선명도를 최대화하고 색상 왜곡을 최소화하기 위해 Gram-Schmidt 방법을 적용하였다(Yuhendra et al., 2011).

2) 딥러닝기법을 활용한 수종분류

(1) 데이터세트 구축

딥러닝 모델 구축에 활용한 데이터세트는 딥러닝 학습 및 검증에 활용되는 입력 이미지와 이미지 각각의 ‘참값’에 해당되는 라벨링 자료로 구성된다. 데이터세트의 구축을 위해 위성영상 자료를 수치임상도와 각각 중첩하여 대상지 내 분포하는 33개의 수종 중 시각적 해석이 가능한 5개 수종(소나무, 잣나무, 낙엽송, 전나무, 참나무류)을 분류 범주로 선정하였다. 또한, 이미지 크기 별 수종 분류정확도를 비교하기 위해 위성영상의 격자망은 3개 크기(10 × 10 m, 30 × 30 m, 50 × 50 m)로 설정하였다. 우리나라 산림의 최소 면적 기준은 0.5 ha로 명시하고 있으나, 산림분야의 대표적인 주제도인 수치 임상도는 임분의 최소 구획면적을 인공림 기준 0.1 ha (30 × 30 m)로 설정하고 있기 때문에, 본 연구에서는 30 × 30 m 크기로 설정하였으며, 격자망의 크기에 따라 딥러닝 기반 수종 분류의 정확도의 증감유무를 검토하기 위해 추가적으로 10 × 10 m, 50 × 50 m의 격자망을 구축하였다. 5개 범주로 구분한 수치임상도와 3개 격자망을 중첩하여 ‘격자망 내 우점 수종의 면적비율이 80% 이상’인 지역을 랜덤으로 추출하여 데이터세트를 구성하였다.

데이터세트는 육안판독을 통해 시각적 해석이 가능한 수종별 이미지를 추출하고, 수동으로 각 이미지의 라벨링 작업을 수행하여 구축하였다(Briechle et al., 2021). 딥러닝모델은 데이터세트가 많을수록 정확도가 증가한다(Hartling et al., 2019). 하지만, 특정 수종의 훈련자료만 많이 구축한다면 상대적으로 학습정확도가 낮아질 수 있으며, He et al. (2020)은 수종별 최소 100개 이상의 학습자료 사용을 제시하였다. 이에 따라, 본 연구의 학습자료는 소나무는 460개, 잣나무, 낙엽송, 참나무류는 500개를 구축하였으며, 분포면적이 작은 전나무는 69개를 구축하여 총 2,029개의 학습자료를 구축하였다. 또한, Pearse et al. (2021)은 데이터세트 중 약 15% 이미지를 검증 이미지로 활용하여 본 연구에서도 이와 유사하도록 400개의 검증 이미지를 구축하였다.

(2) 딥러닝 아키텍처 구축

딥러닝 모델의 아키텍처는 Google사에서 개발한 Inception-V4와 2017년 Imagenet Large Scale Visual Recognition Challenge (ILSVRC)에서 우수한 성능을 보인 SENet의 아키텍처를 활용하였다. Inception 모델은 독립적인 4개의 층(Stem, Inception-A, Inception-B, InceptionC)으로 구성된 다층 네트워크로, 그 중 3개의 층은 합성곱층과 활성화 함수로 구성되며, 마지막 층은 합성곱층과 풀링층(pooling layer)으로 구성된다. Inception 모델은 일반적인 딥러닝 모델보다 깊은 네트워크망으로 구성되어 있기 때문에 기본구조는 병렬 형태로 구성되며, 1 × 1 크기의 합성곱층을 통해 매개 변수(parameter)의 양을 줄여 이미지 연산량을 감소시키고, 분석결과의 과적합문제를 완화시킨다(Spanhol et al., 2016). SENet은 Alexnet, VGGnet 등 일반적인 딥러닝 모델과는 달리, block 형태의 구조로 구성되며, 합성곱층의 연산결과를 바탕으로, 가중치를 조절하는 역할을 수행한다. SENet의 장점은 딥러닝 아키텍처 내의 어떤 층에도 유연하게 적용할 수 있으며, 추가적인 계산량에 비해 정확도 증가량이 높다는 장점이 있다(Hu et al., 2018).

본 연구에서는 Inception-V4 4개의 독립층에 SENet을 결합한 SE-Inception 모델을 활용하였다. 기존의 Inception-V4 모델은 입력 이미지의 크기를 299 × 299 pixel 크기로 구성하였으나, 본 연구에서 활용한 수종별 학습데이터의 이미지는 0.5 m급 해상도로 격자크기에 따라 각각 10 × 10 m, 30 × 30 m, 50 × 50 m 이미지이기 때문에 학습모델에 따라 입력이미지의 크기를 20 × 20 pixel, 60 × 60 pixel, 100 × 100 pixel로 설정하였으며, Softmax층의 출력값을 수종의 개수에 맞추어 5개로 수정하여 적용하였다(Fig. 4).

OGCSBN_2022_v38n6_1_1407_f0004.png 이미지

Fig. 4. Deep learning model architecture.

(3) 이미지 학습 및 검증

딥러닝의 학습 결과는 딥러닝 모델이 판단한 수종명과 각각의 확률 값이 출력된다. 이미지 학습 결과의 검증·평가는 학습자료로 활용하지 않은 검증된 수종별 이미지(검증 이미지)를 학습모델에 입력하고, 학습모델의 출력 결과를 바탕으로, 입력 이미지의 ‘참값’과 출력 결과의 확률값이 가장 높은 수종과의 혼동행렬(confusion matrix)을 작성하였으며, 수종별 정밀도(precision), 포괄성(recall), F1 (F-score), 정합성(또는 일치율)으로 학습모델을 평가하였다(Table 1). 정밀도는 딥러닝 모델의 분류결과가 육안 판독된 범주와의 얼마나 일치하는지를 평가하는 것을 의미하며(식(1)), 포괄성은 육안 판독된 범주가 딥러닝 모델이 분류한 결과와 얼마나 일치하는지를 평가하는 것을 의미한다(식(2)). F1은 정밀도와 포괄성을 조합한 값으로 가중 평균으로 해석되며, 정밀도와 포괄성 모두 높아야 값이 높아진다(식(3); Maxwell and Warner, 2020).

Table 1. Confusion matrix for accuracy evaluation

OGCSBN_2022_v38n6_1_1407_t0001.png 이미지

\(\begin{aligned}Precision = \frac{TP}{TP+FP}\end{aligned}\)       (1)

\(\begin{aligned}Recall = \frac{TP}{TP+FN}\end{aligned}\)       (2)

\(\begin{aligned}F_1 = 2\times \frac{Precision \times Recall}{Precision + Recall}\end{aligned}\)       (3)

\(\begin{aligned}Accuracy = \frac{TP+TN}{TP+TN+FP+FN}\end{aligned}\)       (4)

4. 연구 결과

1) 데이터세트의 수종별 시각적 형태 및 분광특성

데이터세트의 수종별 시각적 형태는 소나무의 경우, 타 침엽수종에 비해 수관의 형태가 크고 울폐율이 높으며, 가지가 사방으로 퍼진 별 모양의 형태의 특징을 가지고 있다. 잣나무는 수관의 형태가 원추형으로, 수관의 끝부분이 예리하고 눈송이처럼 보이는 형태를 보인다. 또한, 잣나무는 일반적으로, 식재열이 뚜렷한 형태를 지니고 있으며, 색조의 농도는 전나무와 함께 가장 짙다. 낙엽송은 가지가 하늘로 뻗치며, 침엽수종 중 가장 연한 색조를 보인다. 수관의 형태는 원추, 원통형 모양의 패턴을 지니며, 촬영시기가 4월인 G-1영상에서는 활엽수와 색조, 패턴이 유사한 경향을 보인다. 전나무는 잣나무와 유사한 수관형태를 지니며 청록색계열의 잣나무와 달리, 전나무는 녹갈색계열의 색조를 지닌다(Fig. 5).

OGCSBN_2022_v38n6_1_1407_f0005.png 이미지

OGCSBN_2022_v38n6_1_1407_f0006.png 이미지

Fig. 5. Dataset by image size.

수종별 분광특성 비교결과, W-3영상은 Red, Green, Blue 모두 수종별 분광값의 분포가 유사하였으나, NIR band 영역은 수종별 유의한 차이를 보였다. 특히, 참나무류는 NIR band에서 가장 높은 분광분포를 보였으며, 낙엽송, 소나무, 잣나무, 전나무 순으로 분광값이 높게 분포하였다. G-1은 W-3와는 달리, Red 영역과 NIR band 영역에서 수종별 유의한 차이를 보였다. 특히, NIR band에서는 잣나무의 분광값이 가장 높게 분포하였으며, W3영상에서 NIR band 분광값이 높았던 참나무류와 낙엽송은 낮은 분포를 보였다(Fig. 6).

OGCSBN_2022_v38n6_1_1407_f0007.png 이미지

Fig. 6. Spectral characteristics of datasets by satellite images.

2) 딥러닝모델의 학습결과

딥러닝 모델의 학습결과, W-3는 10 m, 30 m, 50 m 크기의 이미지 모두 200 epoch에서 약 80% 이상의 학습률을 달성하였으며, 700 epoch에서 약 90% 이상의 학습률을 달성하였다. 10 m 이미지는 epoch가 증가함에 loss의 값이 안정적으로 줄어들었으나, 700 epoch 이후에도 학습률이 10% 내외의 변동성을 보여 불안전한 학습결과를 보였으며, 마지막 1,000 epoch에서는 98%의 학습률을 달성하였다. 30 m 이미지는 122 epoch에서 loss값과 학습률의 변동이 최대 22%까지 높게 나타났으나, 400 epoch 이후 Loss값과 학습률의 변동이 줄어들어 마지막 1,000 epoch에서는 100%의 학습률을 달성하였다. 50 m 이미지는 10 m와 30 m의 이미지와 비교할 때, 가장 높은 변동을 보였으며, 234 epoch에서 최대 27%의 변동을 보였다. 400 epoch 이후에는 30 m 이미지와 동일하게 loss값과 학습률의 변동이 줄어들어 마지막 1,000 epoch에서는 98%의 학습률을 달성하였다.

G-1은 W-3영상과 유사하게 이미지 크기와 상관없이 200 epoch에서 약 80% 이상의 학습률을 달성하였다. 10m 이미지는 100 epoch 구간에서 loss와 학습률이 최대 12%의 변동을 보였으나, epoch가 증가함에 따라 loss의 값이 안정적으로 줄어들어 마지막 1,000 epoch에서는 99%의 학습률을 달성하였다. 30 m 이미지는 80–220 epoch에서 loss값과 학습률의 변동이 최대 25%까지 높게 나타났으나, 400 epoch 이후 loss값과 학습률의 변동이 줄어들어 마지막 1000 epoch에서는 99%의 학습률을 달성하였다. 50 m 이미지는 가장 높은 변동을 보였으며, 134 epoch에서 최대 78%의 변동을 보였다. 400 epoch 이후에는 30 m 이미지와 동일하게 loss값과 학습률의 변동이 줄어들어 마지막 1,000 epoch에서는 92%의 학습률을 달성하였다(Fig. 7).

OGCSBN_2022_v38n6_1_1407_f0008.png 이미지

Fig. 7. Learning and verification results of deep learning model.

3) 딥러닝모델의 정확도 평가

검증 이미지를 활용한 W-3의 정확도 평가 결과, 혼동행렬의 전체 정확도는 이미지 크기가 10 m > 30 m > 50 m 순으로 분포하였으며, 각각의 정확도는 78.0% > 75.0% > 40.0% 로 격자의 크기가 작을수록 분류 정확도가 높았다.

W-3의 수종별 분류 정확도 비교결과, 10 m 크기의 이미지에서 F1은 잣나무와 전나무, 참나무, 30 m 크기의 이미지에서는 전나무와 참나무가 약 80% 이상의 높은 정확도를 보였다. 특히, 참나무는 이미지 크기에 관계없이 약 85% 이상의 높은 정확도를 보였다. 한편, W-3영상에서는 잣나무의 F1이 가장 낮은 분포를 보였으며, 10 m 크기의 이미지에서는 잣나무와 낙엽송, 30 m 크기의 이미지에서는 잣나무와 소나무, 전나무가 혼동되었다. Xi et al. (2019)는 딥러닝 모델의 분류결과에서 유사한 분광특성을 가진 수종은 다른 수종으로 분류될 수 있다고 보고되고 있으며, W-3영상에서 잣나무는 낙엽송, 소나무와 유사한 분광특성을 가지고 있기 때문에 정확도가 타수종에 비해 정확도가 낮은 것으로 판단된다. 또한, W-3영상에서는 참나무류를 제외한 모든 침엽수종에서 이미지 크기가 증가할수록 오분류 사례가 증가하는 경향을 보였다. Fig. 5의 W-3영상의 수종별 분포패턴을 보면, 5개의 수종 모두 비슷한 녹색의 색조로 분포하였으며, Fig. 6의 수종별 분광특성도 G-1 영상과 비교해볼 때, 수종 별 차이는 거의 없었다. 이미지의 크기가 증가할수록 이미지 내 다수의 수종이 분포할 확률이 증가하였으며 이에 따라, 수종별 분포패턴이 유사한 W-3영상에서는 타 수종이 포함될 확률이 적은, 크기가 작은 이미지를 활용할수록 분류정확도가 높은 것으로 판단된다. W-3영상의 수종별 오분류 확률은 5% 이상이기 때문에 특히, 낮은 정확도를 보이는 잣나무와 낙엽송은 분류 정확도의 개선이 필요할 것으로 판단된다.

또한, 잣나무를 전나무로 오분류한 사례는 전나무의 학습 이미지의 수가 적기 때문에 오분류 된 것으로 판단되며, 추가적인 학습 이미지를 구축한다면, 정확도가 향상될 것으로 판단된다. 한편, 50 m 크기의 이미지는 참나무류를 제외한 모든 수종이 최대 32.7%의 낮은 정확도를 보였다. Zhang et al. (2020)은 딥러닝 모델의 분류 과정에서 입력 데이터의 영역이 너무 크면 추가적인 잡음(noise)을 발생시켜 정확도가 떨어질 수 있다고 하였으며, 이에 따라 50 m 크기의 이미지는 한 수종 내에 여러 수종의 정보를 포함하고 있어 분류 정확도가 낮은 것으로 판단된다.

G-1의 정확도 평가 결과, 혼동행렬의 전체 일치율은 W-3 분류 결과와는 달리, 30 m 크기의 이미지에서 84.0%로 전체 정확도가 가장 높았으며, 30 m > 50 m > 10 m 순으로 분포하였다. W-3의 분류정확도와 비교해볼 때, 50 m 이미지의 전체 정확도는 W-3가 약 40.0%, G-1이 약 80.8%로 약 40.8%의 큰 차이를 보였다. 한편, 50 m 이미지의 딥러닝 모델 학습률은 W-3와 G-1 각각 약 98%, 92%이기 때문에 분류 정확도가 낮은 50 m 크기의 W-3는 학습데이터의 과적합 문제로 판단되며, 차후 다양한 패턴을 지닌 데이터를 추가적으로 학습할 필요가 있다(Hawkins, 2004).

G-1의 수종별 분류 정확도 비교결과, 이미지 크기에 관계없이 공통적으로 낙엽송과 참나무류의 F1이 약 86%이상 높게 분포하였다. Fig. 6의 G-1 영상의 수종별 분광특성을 보면, 낙엽송과 참나무류는 타 수종과는 달리, 분광특성이 뚜렷하게 구분되기 때문에 분류 정확도가 특히 높은 것으로 판단된다. 또한, G-1 영상은 W-3영상과는 반대로 이미지 크기가 증가할수록 침엽수종의 오분류 사례가 감소하는 경향을 보였다. G-1 영상은 4월에 촬영된 영상이기 때문에, 수종별 분포패턴은 비생육기의 분포패턴과 유사하다. 따라서, 침엽수종을 제외한 대부분의 수종이 갈색의 색조로 분포하였으며, 이미지 크기가 증가할수록 갈색의 색조가 녹색의 색조인 침엽수종의 분포특성을 강조해주기 때문에 침엽수종의 오분류 사례가 점차 감소하는 것으로 판단된다. 한편, G-1 영상에서는 50 m 크기 이미지에서 전나무의 F1이 약 40.6%로 가장 낮은 정확도를 보였다. 특히, 전나무를 잣나무로 오분류한 사례가 전나무 오분류 사례 36건 중 35건이 발생하였다(Table 2, Table 3). Fig. 6의 G-1 영상의 수종별 분광특성을 보면, 소나무와 잣나무, 전나무의 분광특성이 유사한 분포패턴을 보였다. 소나무의 경우, 수관이 잣나무와 전나무에 비해 크고 울폐율이 높은 특성을 보이지만, 잣나무와 전나무는 공통적으로 수관이 비교적 작은 원추형의 형태이며, 색조도 유사한 분포패턴을 보였다. 따라서, 50 m 크기의 이미지에서는 전나무와 분포패턴이 가장 유사한 잣나무로 오분류 된 것으로 판단된다.

Table 2. Accuracy evaluation of species classification by satellite image

OGCSBN_2022_v38n6_1_1407_t0002.png 이미지

Table 3. Confusion matrix of label data and species classification results based on deep learning model

OGCSBN_2022_v38n6_1_1407_t0003.png 이미지

W-3와 G-1 영상의 수종별 분류정확도를 비교해보면, 공통적으로 유사한 분광 특성을 가진 수종들에서 오분류 사례가 다수 발생하였다. 이러한 문제를 해결하기 위해 Deur et al. (2020)은 딥러닝기법을 활용한 수종분류 연구에서 학습 이미지에 가시광선 및 NIR 정보 뿐만 아니라, GLCM을 산출하여 입력이미지로 활용하였다. 또한, Fayek et al. (2017)과 Zhong et al. (2019)는 학습데이터의 양이 적은 경우, 딥러닝 모델에서 많은 양의 컨볼루션 레이어가 필요하지 않다고 언급하였다. 따라서, 차후 연구에는 식생지수, GLCM 등 다양한 패턴정보가 포함된 이미지를 활용한 수종분류 연구와 딥러닝 모델의 아키텍처를 조절하여 수종분류에 맞는 최적의 딥러닝 모델 개발 연구가 필요할 것으로 판단된다.

5. 결론

본 연구는 분류 기반의 딥러닝 모델인 SE-Inception 모델을 기반으로 W-3와 G-1 영상에 적용하여 수종분류 정확도를 평가하였다.

영상의 촬영시기가 6월에 해당하는 W-3영상에서는 전체 정확도가 최대 약 78%이며, 4월에 해당하는 G-1 영상에서는 전체 정확도가 최대 약 84%로 분포하여 G-1 영상을 활용하였을 때 분류정확도가 더 높았다. G-1영상은 우리나라 생육기의 시작인 4월에 촬영된 영상이기 때문에 수종별 분포패턴이 비생육기와 유사하여 하층식생으로 인한 노이즈가 적고, 수종별 형태적 특성이 강조되어 정확도가 높은 것으로 사료된다.

입력 이미지의 격자 크기에 따라 분류 정확도를 비교·평가한 결과, W-3의 경우, 이미지 크기가 작을수록 분류 정확도가 높았으며, G-1은 30 m 크기의 이미지에서 전체 일치율이 80.7%로 가장 높았다. 특히, W-3영상에서는 50 m 크기의 이미지에서 낮은 정확도를 보였는데, 이는 딥러닝의 학습과정에서의 과적합이 발생한 것으로 판단되며, 추가적인 학습자료 구축이 필요할 것으로 판단된다.

본 연구에서 활용한 SE-Inception 모델은 50 m 크기의 W-3영상을 제외한 모든 영상에서 전체 정확도 약 75% 이상을 달성하여 수종분류에 우수한 성능을 보였다. 반면, 하나의 입력 이미지 내에서 2개 이상의 수종이 함께 분포하거나, 각 수종별 경계부에 해당되는 이미지를 분류할 경우, 믹셀(mixcell)로 인해 정확도가 감소하였다. 이러한 단점은 이미지 분류 딥러닝 모델의 구조적인 단점이기 때문에, 차후, 정확한 수종별 분포 면적 산출을 위해서는 semantic segmentation 기반의 딥러닝 모델의 활용이 필요할 것으로 판단된다. 또한, 딥러닝 모델의 입력 이미지에 식생영역 감지에 탁월한 NIR band 정보를 활용하였음에도 불구하고 소나무, 잣나무와 같이 분광특성이 유사한 수종에서는 오분류 사례가 많이 발생하였다. 수종별 분광분포 특성에서 유의한 차이가 있음에도 딥러닝 모델에서 NIR의 특성을 반영하지 못하는 것은 딥러닝 모델의 구조적인 문제로 판단되며 모델의 아키텍처 개선이 필요할 것으로 판단된다. 또한, 수종별 분포특성을 강조할 수 있는 식생지수, GLCM 등 다양한 패턴정보가 포함된 이미지를 활용한다면 분류 정확도를 개선할 수 있을 것으로 판단된다.

사사

본 연구는 국립산림과학원 연구과제 ‘산림자원 평가 및 모니터링을 위한 농림위성 융합 산출물 개발(FM0103-2021-04-2022)’과 산림청(한국임업진흥원) ‘산림과학기술 연구개발사업(2021359B10-2223-BD01)’의 지원에 의하여 이루어진 것입니다.

References

  1. Abbas, S., Q. Peng, M.S. Wong, Z. Li, J. Wang, K.T.K. Ng, C.Y.T. Kwok, and K.K.W. Hui, 2021. Characterizing and classifying urban tree species using bi-monthly terrestrial hyperspectral images in Hong Kong, ISPRS Journal of Photogrammetry and Remote Sensing, 177: 204-216. https://doi.org/10.1016/j.isprsjprs.2021.05.003
  2. Anderson, H.B., L. Nilsen, H. Tommervik, S.R. Karlsen, S. Nagai, and E.J. Cooper, 2016. Using ordinary digital cameras in place of near-infrared sensors to derive vegetation indices for phenology studies of High Arctic vegetation, Remote Sensing, 8(10): 847. https://doi.org/10.3390/rs8100847
  3. Briechle, S., P. Krzystek, and G. Vosselman, 2021. Silvi-Net-A dual-CNN approach for combined classification of tree species and standing dead trees from remote sensing data, International Journal of Applied Earth Observation and Geoinformation, 98: 102292. https://doi.org/10.1016/j.jag.2020.102292
  4. Cifuentes-Croquevielle, C., D.E. Stanton, and J.J. Armesto, 2020. Soil invertebrate diversity loss and functional changes in temperate forest soils replaced by exotic pine plantations, Scientific Reports, 10(1): 1-11. https://doi.org/10.1038/s41598-020-64453-y
  5. Deur, M., M. Gasparovic, and I. Balenovic, 2020. Tree species classification in mixed deciduous forests using very high spatial resolution satellite imagery and machine learning methods, Remote Sensing, 12(23): 3926. https://doi.org/10.3390/rs12233926
  6. Fayek, H.M., M. Lech, and L. Cavedon, 2017. Evaluating deep learning architectures for speech emotion recognition, Neural Networks, 92: 60-68. https://doi.org/10.1016/j.neunet.2017.02.013
  7. Franklin, S. E. and O. S. Ahmed, 2018. Deciduous tree species classification using object-based analysis and machine learning with unmanned aerial vehicle multispectral data, International Journal of Remote Sensing, 39(15-16): 5236-5245. https://doi.org/10.1080/01431161.2017.1363442
  8. Grabska, E., P. Hostert, D. Pflugmacher, and K. Ostapowicz, 2019. Forest stand species mapping using the Sentinel-2 time series, Remote Sensing, 11(10): 1197. https://doi.org/10.3390/rs11101197
  9. Hartling, S., V. Sagan, P. Sidike, M. Maimaitijiang, and J. Carron, 2019. Urban tree species classification using a WorldView-2/3 and LiDAR data fusion approach and deep learning, Sensors, 19(6): 1284. https://doi.org/10.3390/s19061284
  10. Hawkins, D. M., 2004. The problem of overfitting, Journal of Chemical Information and Computer Sciences, 44(1): 1-12. https://doi.org/10.1021/ci0342472
  11. He, T., Y. Lu, L. Jiao, Y. Zhang, X. Jiang, and Y. Yin, 2020. Developing deep learning models to automate rosewood tree species identification for CITES designation and implementation, Holzforschung, 74(12): 1123-1133. https://doi.org/10.1515/hf-2020-0006
  12. Hu, J., L. Shen, and G. Sun, 2018. Squeeze-and-excitation networks, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, Jun. 18-23, pp. 7132-7141.
  13. Hutchinson, J. S., A. Jacquin, S. L. Hutchinson, and J. Verbesselt, 2015. Monitoring vegetation change and dynamics on US Army training lands using satellite image time series analysis, Journal of Environmental Management, 150: 355-366. https://doi.org/10.1016/j.jenvman.2014.08.002
  14. Jin, C., S. Park, H. Kim, Y. Chun, and C. Choi, 2010. Comparison of High Resolution Image by Ortho Rectification Accuracy and Correlation Each Band, Journal of Korean Society for Geospatial Information Science, 18(2): 35-45 (in Korean with English abstract).
  15. Karasiak, N., J. Dejoux, M. Fauvel, J. Willm, C. Monteil, and D. Sheeren, 2019. Statistical stability and spatial instability in mapping forest tree species by comparing 9 years of satellite image time series, Remote Sensing, 11(21): 2512. https://doi.org/10.3390/rs11212512
  16. Kim, K., C. Kim, and E. Jun, 2009. Study on the standard for 1: 25,000 scale digital forest type map production in Korea, Journal of the Korean Association of Geographic Information Studies, 12(3): 143-151 (in Korean with English abstract).
  17. Krizhevsky, A., I. Sutskever, and G.E. Hinton, 2017. Imagenet classification with deep convolutional neural networks, Communications of the ACM, 60(6): 84-90. https://doi.org/10.1145/3065386
  18. Kukenbrink, D., M. Marty, R. Bosch, and C. Ginzler, 2022. Benchmarking laser scanning and terrestrial photogrammetry to extract forest inventory parameters in a complex temperate forest, International Journal of Applied Earth Observation and Geoinformation, 113: 102999. https://doi.org/10.1016/j.jag.2022.102999
  19. Lee, J., X. Cai, J. Lellmann, M. Dalponte, Y. Malhi, N. Butt, M. Morecroft, C. Schonlieb, and D.A. Coomes, 2016. Individual tree species classification from airborne multisensor imagery using robust PCA, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 9(6): 2554-2567. https://doi.org/10.1109/JSTARS.2016.2569408
  20. NIFS (National Institute of Forest Science), 2016. Field survey of forest resources in Kwangnung Experimental Forest, National Institute of Forest Science, Seoul, Republic of Korea. pp. 23-36.
  21. Liu, B., X. Yu, A. Yu, and G. Wan, 2018. Deep convolutional recurrent neural network with transfer learning for hyperspectral image classification, Journal of Applied Remote Sensing, 12(2): 026028. https://doi.org/10.1117/1.JRS.12.026028
  22. Maxwell, A.E. and T.A. Warner, 2020. Thematic classification accuracy assessment with inherently uncertain boundaries: An argument for center-weighted accuracy assessment metrics, Remote Sensing, 12(12): 1905. https://doi.org/10.3390/rs12121905
  23. Mishra, N.B., K.P. Mainali, B.B. Shrestha, J. Radenz, and D. Karki, 2018. Species-level vegetation mapping in a Himalayan treeline ecotone using unmanned aerial system (UAS) imagery, ISPRS International Journal of Geo-Information, 7(11): 445. https://doi.org/10.3390/ijgi7110445
  24. Mohd Zaki, N. A. and Z. Abd Latif, 2017. Carbon sinks and tropical forest biomass estimation: a review on role of remote sensing in aboveground-biomass modelling, Geocarto International, 32(7): 701-716. https://doi.org/10.1080/10106049.2016.1178814
  25. Moisen, G.G., E.A. Freeman, J.A. Blackard, T.S. Frescino, N.E. Zimmermann, and T.C. Edwards Jr., 2006. Predicting tree species presence and basal area in Utah: a comparison of stochastic gradient boosting, generalized additive models, and tree-based methods, Ecological Modeling, 199(2): 176-187. https://doi.org/10.1016/j.ecolmodel.2006.05.021
  26. Motohka, T., K.N. Nasahara, H. Oguma, and S. Tsuchida, 2010. Applicability of green-red vegetation index for remote sensing of vegetation phenology, Remote Sensing, 2(10): 2369-2387. https://doi.org/10.3390/rs2102369
  27. Pearse, G.D., M.S. Watt, J. Soewarto, and A.Y. Tan, 2021. Deep learning and phenology enhance large-scale tree species classification in aerial imagery during a biosecurity response, Remote Sensing, 13(9): 1789. https://doi.org/10.3390/rs13091789
  28. Somers, B. and G.P. Asner, 2014. Tree species mapping in tropical forests using multi-temporal imaging spectroscopy: Wavelength adaptive spectral mixture analysis, International Journal of Applied Earth Observation and Geoinformation, 31: 57-66. https://doi.org/10.1016/j.jag.2014.02.006
  29. Spanhol, F.A., L.S. Oliveira, C. Petitjean, and L. Heutte, 2016. Breast cancer histopathological image classification using convolutional neural networks, Proc. of 2016 International Joint Conference on Neural Networks, Vancouver, BC, Canada, Jul. 24-29, pp. 2560-2567. https://doi.org/10.1109/IJCNN.2016.7727519
  30. Turlej, K., M. Ozdogan, and V.C. Radeloff, 2022. Mapping forest types over large areas with Landsat imagery partially affected by clouds and SLC gaps, International Journal of Applied Earth Observation and Geoinformation, 107: 102689. https://doi.org/10.1016/j.jag.2022.102689
  31. Xi, Y., C. Ren, Z. Wang, S. Wei, J. Bai, B. Zhang, H. Xiang, and L. Chen, 2019. Mapping tree species composition using OHS-1 hyperspectral data and deep learning algorithms in Changbai mountains, Northeast China, Forests, 10(9): 818. https://doi.org/10.3390/f10090818
  32. Yan, S., L. Jing, and H. Wang, 2021. A new individual tree species recognition method based on a convolutional neural network and high-spatial resolution remote sensing imagery, Remote Sensing, 13(3): 479. https://doi.org/10.3390/rs13030479
  33. Yuhendra, T.S. Joshapat, and K. Hiroaki, 2011. Performance analyzing of high resolution pan-sharpening techniques: increasing image quality for classification using supervised kernel support vector machine, Research Journal of Information Technology, 3(1): 12-23. https://doi.org/10.3923/rjit.2011.12.23
  34. Zhang, B., L. Zhao, and X. Zhang, 2020. Three-dimensional convolutional neural network model for tree species classification using airborne hyperspectral images, Remote Sensing of Environment, 247: 111938. https://doi.org/10.1016/j.rse.2020.111938
  35. Zhao, L. and L. Zhu, 2012. Research on method of extracting vegetation information based on band combination, Proc. of 2012 20th International Conference on Geoinformatics, Hong Kong, China, Jun. 15-17, pp. 1-5. https://doi.org/10.1109/Geoinformatics.2012.6270287
  36. Zhong, L., L. Hu, and H. Zhou, 2019. Deep learning based multi-temporal crop classification, Remote Sensing of Environment, 221: 430-443. https://doi.org/10.1016/j.rse.2018.11.032