DOI QR코드

DOI QR Code

Classification of Natural and Artificial Forests from KOMPSAT-3/3A/5 Images Using Deep Neural Network

심층신경망을 이용한 KOMPSAT-3/3A/5 영상으로부터 자연림과 인공림의 분류

  • 백원경 (서울시립대학교 공간정보공학과) ;
  • 이용석 ((주)신한항업, 영상정보팀) ;
  • 박숭환 (한국해양과학기술원 해양재난재해연구센터) ;
  • 정형섭 (서울시립대학교 공간정보공학과)
  • Received : 2021.12.09
  • Accepted : 2021.12.14
  • Published : 2021.12.31

Abstract

Satellite remote sensing approach can be actively used for forest monitoring. Especially, it is much meaningful to utilize Korea multi-purpose satellites, an independently operated satellite in Korea, for forest monitoring of Korea, Recently, several studies have been performed to exploit meaningful information from satellite remote sensed data via machine learning approaches. The forest information produced through machine learning approaches can be used to support the efficiency of traditional forest monitoring methods, such as in-situ survey or qualitative analysis of aerial image. The performance of machine learning approaches is greatly depending on the characteristics of study area and data. Thus, it is very important to survey the best model among the various machine learning models. In this study, the performance of deep neural network to classify artificial or natural forests was analyzed in Samcheok, Korea. As a result, the pixel accuracy was about 0.857. F1 scores for natural and artificial forests were about 0.917 and 0.433 respectively. The F1 score of artificial forest was low. However, we can find that the artificial and natural forest classification performance improvement of about 0.06 and 0.10 in F1 scores, compared to the results from single layered sigmoid artificial neural network. Based on these results, it is necessary to find a more appropriate model for the forest type classification by applying additional models based on a convolutional neural network.

위성 원격탐사 기법은 산림 모니터링에 적극적으로 활용될 수 있으며 우리나라 독자 운영 위성인 다목적실용위성을 활용하였을 때 특히 의미 깊다. 최근 들어 위성 원격탐사 자료에 머신러닝 기법을 적용함으로써 산림 모니터링을 수행하는 연구가 다수 이루어지고 있다. 머신러닝 기법을 통하여 제작된 산림모니터링 정보는 기존 산림 모니터링 방법의 효율성을 향상시키는 데에 활용할 수 있다. 머신러닝 기법의 경우 관심 지역과 활용 데이터의 특징에 따라 분류 정확도가 크게 달라지므로 다양한 모델을 적용함으로써 가장 효과적인 분류 결과를 도출하는 것이 매우 중요하다. 본 연구에서는 우리나라 삼척 지역에 대해 심층신경망을 적용함으로써 인공림과 자연림의 분류 성능을 확인하였다. 그 결과 픽셀 정확도가 약 0.857, F1 Score가 자연림과 인공림에 대해 각각 약 0.917과 0.433로 확인되었다. F1 score를 보았을 때 인공림의 분류 성능이 절대적으로는 낮은 수준을 나타냈다. 하지만 기존의 인공림과 자연림 분류 성능에 대해 F1 score를 기준으로 약 0.06, 그리고 0.10 향상된 성능을 확인할 수 있었다. 이러한 결과를 바탕으로 볼 때에 합성곱신경망 기반의 추가적인 모델을 적용함으로써 보다 적절한 모델을 분석할 필요가 있다.

Keywords

1. 서론

1999년 12월 우리나라 최초의 독자적인 실용급 위성인 다목적 실용위성(Korea Multi-Purpose Satellite;KOMPSAT) KOMPSAT-1이 발사된 이후로 현재까지 총 4대의 다목적 실용위성(KOMPSAT-2, -3, -3A, 그리고 -5)을 발사되었다(Oh and Jung, 2012; Lee et al., 2020a). 현재 그중 3대의 위성(KOMPSAT-3, -3A, 그리고 -5)이 정상 운영 중이다(Lee et al., 2020a). 이중 KOMPSAT-3와 -3A는 고해상 광학위성으로 청색부터 근적외선 파장대역까지 총 네 장의 다중분광영상과 전정색 영상을 포함하고 있으며, 특히 KOMPSAT-3A는 중적외선 대역도 함께 촬영하여 그 활용도가 매우 높다. 한편 KOMPSAT-5는 X-밴드 레이더 위성으로 태양고도 및 날씨와 무관하게 동질의 영상을 취득하는 데에 효과적이다(Baek and Jung, 2019). 이들 위성영상은 각 센서가 가지고 있는 특징에 따라 국토 모니터링, 군사적 목적, 과학적 목적 등으로 다양하게 활용되고 있다(Park et al., 2017; Lee et al., 2017a; Lee and Lee, 2018; Oh and Jung, 2012; Oh and Jung, 2016).

국토 모니터링은 국토의 개발 계획과 정책 수립 등에 매우 중요한 원격탐사 기법의 활용분야이다. 특히 우리나라는 국토의 대부분이 산악지역으로 구성되어 있으므로 국토 모니터링 분야에서 산악지역에 대한 모니터링이 매우 중요한 부분을 차지하고 있다(Korea Forest Service, 2021; National Geographic Information Institute, 2020; Baek et al., 2021). 산악지역에 대한 모니터링을 위하여 항공사진 육안 판독과 현지조사 방법을 통해 매 5년마다 산림정보를 갱신하고 있다(Lee et al., 2018). 하지만 그 영역이 매우 넓고, 현장조사를 위한 접근에 어려움이 많아 효과적인 정보 수집이 어려운 한계가 있다. 이에 따라 우리나라의 산림 정보를 분석하기 위해 원격탐사 기술이 매우 다양하게 적용되고 있다(Lee and Lee, 2018; Kwon et al., 2021; Lim et al., 2019). 특히 KOMPSAT 시리즈를 활용한 산림 분석은 우리나라 독자 위성을 활용한다는 점에서 매우 의미가 깊다.

최근 들어 국내 지역에 대해 원격탐사 기술을 활용하여 산림의 정보를 취득하기 위해 머신러닝 기법이 활발하게 적용되고 있다(Kim et al., 2021; Masolele et al., 2021; Bjerreskov et al., 2021; Onishi and Ise, 2021). 머신러닝 기법을 활용하여 국내 산림의 정보를 취득하는 연구는 크게 세 가지로 정리될 수 있다. 첫 번째는 산림의 수직구조 분류 연구이다. Kwon et al. (2017)과 Yu et al. (2021)은 LiDAR 자료에서 취득한 수치표고모델에 더불어 항공 광학영상과 드론 광학영상을 각각 활용하여 수목 수직 구조를 매핑한 바 있다. 이때 Kwon et al. (2017)은 인공신경망을 활용하였으며 Yu et al. (2021)은 서포트 벡터 머신(Support vector machine), 랜덤 포레스트(Random forest), 그리고 XGboost 모델을 활용하였다. 이와 유사하게, Lee et al. (2019)는 광학위성인 KOMPSAT-2와 레이더 위성인 TerraSAR-X 위성영상을 인공신경망에 학습하여 수목수직 구조를 매핑한 바 있다. 두 번째는 수종 분류와 관련된 연구이다. Lim et al. (2019)와 Kwon et al. (2021)은 각각 Sentinel-2 위성 영상과 RapidEye 영상에 대해 GLCM(Gray-Level Co-occurrence Matrix) 기법을 적용하여 입력 자료를 생성한 뒤 랜덤 포레스트 기법을 적용하여 산림 수종 분류 모델을 개발한 바 있다. 또한, Jang (2021)은 항공위성 영상에 대해 합성곱 신경망 기법을 적용하여 산림 수종 분류를 수행한 바 있다. 마지막으로는 인공림과 자연림을 분류하는 연구가 있다. Kwon(2018)은 Sentinel-2 위성영상에 대해 인공신경망을 적용하여 인공림과 자연림을 분류하는 모델을 제시한 바 있다. 또한, Lee et al.(2018)은 현재 운용중인 3기의 KOMPSAT 위성으로부터 각각 데이터를 취득하여 인공신경망에 적용하였으며 인공림과 자연림을 분류하는 성능을 나타낸 바 있다.

이중 특히 마지막에 소개한 Lee et al.(2018)의 연구에서는 시그모이드 활성화 함수를 활용한 인공신경망으로 약 77%의 정확도로 인공림과 자연림을 분류하였다. 이 연구는 KOMPSAT 시리즈 영상을 활용하여 산림의 조성 방법을 분류하는 것이 가능하다는 사실을 밝힌 데 의의가 있다. 하지만 단일 계층으로 구성된 인공신경망을 활용하였으므로 각 입력자료가 가지고 있는 비선형적인 관계성을 효과적으로 도출하지 못하는 한계가 있었다(Lee et al., 2018; Baek et al., 2020). 또한, 머신러닝 기법은 적용 지역의 특성에 따라 모델 별 정확도가 상이하므로 다수의 모델을 적용하여 최적의 모델을 제시할 필요가 있다(Lee et al., 2017b; Lee et al., 2020bc).

따라서 본 연구에서는 기존 인공신경망 모델의 구조적 한계와 단일 모델을 적용한 한계를 고려하여 심층 신경망을 이용한 KOMPSAT-3/3A/5 영상으로부터 자연림과 인공림의 분류 성능을 확인했다. 이를 위하여 Lee et al. (2018)에서 활용한 것과 동일한 KOMPSAT-3/3A/5 영상을 수집하여 입력데이터를 생성하였다. 각 입력자료의 비선형적 상관관계가 반영될 수 있도록 6층의 심층 신경망을 설계하였다. 설계한 모델에 대하여 산림 유형 분류 모델을 학습하였으며, 최종 성능은 정밀도(precision), 재현율(recall), F1 Score, 픽셀 정확도, 그리고 AP(average precision)으로 나타냈다.

2. 연구 지역 및 연구자료

Fig. 1은 연구지역을 나타낸다. 연구지역은 강원도 삼척시 일원지역으로 침엽수와 활엽수가 고루 분포되어 있는 지역이다(Lee et al., 2018). 연구지역의 좌측부분과 우측 상단에는 논경지 및 건물을 포함하고 있으며 이외 지역은 산림으로 구성되어 있다(Fig. 1(a)). 연구지역 내의 산림 지역에는 자연림과 인공림이 함께 분포되어 있다. 그런데 인공림의 비율이 전체 숲 중 약 7.8%, 자연림의 비율이 92.2%로 지역적 불균형이 매우 크다. 심층신경망 모델의 분류 왜곡을 저감하기 위해서는 이러한 데이터 불균형에 대한 문제를 고려하여 학습할 필요가 있다(Baek and Jung, 2021). 하지만 이러한 데이터 불균형 문제를 고려하여 학습을 수행하더라도 데이터의 불균형이 심한 경우에 비율이 낮은 클래스가 그렇지 않은 클래스보다 상대적인 분류 성능이 저하될 수 있다(Baek and Jung, 2021).

OGCSBN_2021_v37n6_3_1965_f0001.png 이미지

Fig. 1. Study Area; (a) RGB map of KOMPSAT-3 acquisition (2017.10.31); (b) Forest type map from 1:5, 000 forest cover map.

Table 1과 Table 2는 본 연구에서 활용한 KOMPSAT-3,-3A 그리고 -5 원자료의 정보를 나타낸다. KOMPSAT-3와 KOMPSAT-3A영상은 각각 2017년 10월 31일, 2018년 2월 16일에 촬영된 영상이다. KOMPSAT-3와 -3A가 촬영된 시기가 약 6개월의 차이가 있어 그에 따른 식생의 변화가 영상 내에서 확인되는 것으로 알려져 있다(Yu et al., 2021; Lee et al., 2018). KOMPSAT-3와 -3A는 각각 가시광선대역과 근적외선대역 그리고 전정색 밴드를 공통적으로 촬영한다. 특히 KOMPSAT-3A는 중적외선 대역을 추가적으로 촬영하는 특징이 있다. 본 연구에서는 광학지수(Spectral index)를 생성하기 위하여 광학 영상 밴드 중 Green, Red, 그리고 Near-infrared (NIR) 대역을 공통적으로 활용했다. 추가적으로 KOMPSAT-3A의 중적외선 대역을 함께 활용하여 피복에 따른 지표 온도 차이를 함께 고려하고자 하였다. KOMPSAT-3와 -3A에서 제공되는 가시광선대역과 근적외선 대역의 해상도는 각각 2.8와 2.2 m이며 KOMPSAT-3A의 중적외선 대역 영상은 33 m로 열화되어 제공된 영상을 활용하였다. 각 촬영 시기의 태양 고도각은 36.13°과 36.53°로 큰 차이가 없었으나 태양 방위각은 각각 160.13° 그리고 150.09°로 KOMPSAT-3A가 촬영된 2018년 2월 16일에 약 10도 작았다. 본 연구에서는 지형에 따른 반사도의 왜곡을 저감하기 위하여 지형보정이 수행된 영상을 수집하여 활용했다(Park and Jung, 2019; Lee et al., 2018).

Table 1. Principal parameters of study data (KOMPSAT-3 and -3A)

OGCSBN_2021_v37n6_3_1965_t0001.png 이미지

Table 2. Principal parameters of study data (KOMPSAT-5)

OGCSBN_2021_v37n6_3_1965_t0002.png 이미지

위성레이더 영상은 촬영 입사각에 따라서 Foreshor tening, Layover, 그리고 shadow 등의 지형 왜곡이 발생한다. 이러한 지형왜곡은 상향궤도와 하향궤도에서 각각 촬영된 영상을 합성함으로써 저감할 수 있다(Baek and Jung, 2019; Lee et al., 2018). 본 연구에서는 이와 같은 지형 왜곡을 저감하기 위하여 위성의 상향궤도와 하향 궤도에서 2018년 2월 13일, 그리고 2017년 4월 7일에 촬영된 영상을 합성한 영상을 활용했다. 두 영상의 촬영 입사각은 각각 47.9°와 45.46°로 거의 유사한 수준을 보였으며 Azimuth와 Ground range 방향의 픽셀 크기도 거의 유사한 수준을 나타냈다. 다만 촬영 시기가 약 10개월 정도 차이가 나서 두 시기의 지표 특성이 혼재하는 한계가 존재한다. 이에 따라 각 영상이 가지고 있는 계절적인 특성은 잘 반영되지 않을 것으로 판단된다.

3. 연구 방법

Fig. 2는 전체적인 데이터 처리 절차를 나타낸다. 전체 데이터 처리 절차는 1) 입력데이터 생성, 2) 모델 설계 및 학습, 3) 결과 도출 및 검증으로 구분된다. Fig. 2에서 짙게 표시된 KOMPSAT-3, -3A, 그리고 -5는 각각 지형보정과 상향 및 하향궤도의 합성이 완료된 영상을 나타낸다.

OGCSBN_2021_v37n6_3_1965_f0002.png 이미지

Fig. 2. Overall data flow.

광학 영상에 대하여 지형보정을 수행하더라도 그림자 등의 효과는 여전히 남아 있을 수 있으며, 이는 모델을 학습할 때 오차 성분으로 작용할 수 있다(Park and Jung, 2019). 광학 영상을 활용한 많은 연구에서는 이러한 잔여 지형 왜곡 성분을 저감하기 위하여 광학 지수를 활용한다. 본 연구에서 역시 잔여 지형 왜곡 성분을 저감하기 위하여 정규식생지수(normalized difference vegetation index; NDVI)와 정규물지수(normalized difference water index; NDWI)를 각각 활용하였다. 정규식생지수와 정규물지수는 각각 식 (1), (2)에 따라 산출되었다.

\(N D V I=\frac{N I R-R e d}{N I R+R e d}\)       (1)

\(N D W I=\frac{\text { Green }-N I R}{\text { Green }+N I R}\)       (2)

각 입력데이터의 거칠기(texture) 영상을 활용함으로써 광학 지수의 공간적인 특성을 추가적으로 반영할 수 있다. 거칠기 영상을 제작하기 위해 각 광학지수 영상과 합성된 레이더 영상에 대해 5×5 커널의 중간값 필터를 적용하여 베이스 영상(base map)을 각각 생성하였으며 생성된 베이스 맵과 원본 영상 사이의 평균제곱근편차를 계산하여 거칠기 영상을 생성하였다(Kwon, 2018). 수식 (3)은 거칠기 영상을 생성하기 위한 산출식을 나타낸다. 여기서 IMGorig은 KOMPSAT-3와 -3A에서 생성한 광학지수 영상과 합성된 KOMPSAT-5 강도 영상을 나타내며, IMGbase는 중간값 필터를 통하여 생성된 베이스 맵, 그리고 IMGtexture는 최종 생성된 거칠기 영상을 나타낸다.

\(I M G_{\text {texture }}=\sqrt{\frac{\sum \Sigma\left(I M G_{\text {orig }}-I M G_{\text {base }}\right)}{n}}\)       (3)

또한, 레이더 강도 영상의 경우 레일리 분포를 따르므로 일반적인 영상과 분포 특성을 일치시키기 위하여 로그 변환을 추가적으로 수행하였다(Baek and Jung, 2019; Kwon, 2018). 최종적으로 전체 데이터를 0~1 사이의 값으로 정규화를 하여 입력자료를 제작하였다.

Table 3은 본 연구에서 활용한 심층신경망의 구조를 나타낸다. 입력데이터의 비선형정인 관계성을 반영하기 위하여 다층으로 구성하였다. 1번 노드는 입력 노드(input node)로 10개의 사이즈로 구성되어 입력데이터로 제작된 영상의 각 픽셀이 각 노드로 입력되도록 구성했다. 그 후 2~6번 노드는 모두 은닉 노드(hidden node)로 1024개의 노드부터 64개의 노드로 각 레이어를 지날 때마다 점차 감소하도록 설계하였다. 마지막 노드는 출력 노드로 인공림과 자연림을 분류하기 위하여 두 개의 노드로 구성하였다.

Table 3. Architecture of deep neural network model

OGCSBN_2021_v37n6_3_1965_t0003.png 이미지

Table 4는 본 연구의 학습을 위하여 설정한 주요 하이퍼파라미터를 나타낸다. 출력 노드를 제외한 모든 노드의 활성화 함수(Activation Function)는 ReLU(rectified linear unit)을 활용했으며, 출력 노드의 활성화 함수는 Softmax로 설정하여 인공림과 자연림 두 가지 클래스로 분류되도록 설정하였다(Baek et al., 2020). 손실함수(Loss function)는 교차 엔트로피(cross entropy) 함수로 두었고 최적화 함수(Optimizer)는 Adam으로 설정했다. 학습률(learning rate)은 0.01, 배치 사이즈(Batch size)와 학습횟수(Epoch)는 각각 2,000으로 결정하였다. 활성화 함수와 손실함수를 제외한 하이퍼파라미터는 모두 경험적으로 결정하였다.

Table 4. Principal hyperparameters for the model training

OGCSBN_2021_v37n6_3_1965_t0004.png 이미지

최종적으로 생성된 모델에 대해 학습에 사용하지 않은 독립적인 데이터셋을 적용하여 모델의 성능을 평가한다. 모델의 성능을 평가하기 위하여 픽셀 정확도, 정밀도, 재현률, 그리고 F1 Score를 활용한다(Baek and Jung, 2021). 식 (4)~(7)은 각 성능 평가 지수의 산출 식을 나타낸다.

\(\text {Pixel accuracy}=\frac{\text {True Positive + True Negative}}{\text {True Positive + True Negative + False Positive + False Negative}}\)       (4)

\(\text { Precision }=\frac{\text { True Positive }}{\text { True Positive }+\text { False Positive }}\)       (5)

\(\text { Recall }=\frac{\text { True Positive }}{\text { True Positive }+\text { False Negative }}\)       (6)

\(F 1 \text { Score }=2 * \frac{\text { Precision } * \text { Recall }}{\text { Precision }+\text { Recall }}\)       (7)

추가적으로 확률 분포상에서 각 클래스의 대비 수준을 평가하기 위하여 precision-recall (PR) 곡선을 활용했으며 곡선 아래 넓이에 해당되는 Average precision (AP)를 각 클래스별 분류 성능을 나타내는 지수로 함께 활용하였다.

4. 결과

Fig. 3은 정규화된 입력자료를 나타낸다. 모든 데이터는 0~1 사이의 값을 가진다. KOMPSAT-3와 -3A의 광학 지수로 생성된 입력데이터들에서 산림지역의 픽셀 밝기가 비산림지역보다 낮은 양상을 나타냈다(Fig. 3(a-d)). 한편, 중적외선 영상의 픽셀 밝기가 높은 지역에는 비산림지역이 넓게 포함되었지만 인공림 지역 역시 주변 자연림보다 높은 픽셀 밝기를 나타냈다(Fig. 3(e)). KOMPSAT-3와 -3A의 거칠기 영상으로 생성된 입력데이터들은 산사면에 의한 영향이 비교적 뚜렷하게 나타나는 것을 확인할 수 있었다(Fig. 3(f-i)). 한편, KOMPSAT-5의 강도 영상으로부터 생성한 거칠기 영상에서는 사면에 의한 영향이 뚜렷하지 않은 것을 확인할 수 있었다. 이는 광학 영상과 레이더 영상의 영상 취득 방법에 따라 확인되는 영상적 특징이라 할 수 있으나, 그보다는 상향 및 하향궤도의 강도 영상을 합성하는 과정에서 사면에 따른 영상의 지형 왜곡이 저감되었기 때문이라 판단된다.

OGCSBN_2021_v37n6_3_1965_f0003.png 이미지

Fig. 3. Normalized input data; (a) NDVI and (b) NDWI maps of KOMPSAT-3; (c) NDVI and (d) NDWI maps of KOMPSAT-3A; (e) mid-infrared map of KOMPSAT-3A; (f) NDVI and (g) NDWI texture maps of KOMPSAT-3; (h) NDVI and (i) NDWI texture maps of KOMPSAT-3A; (j) fused intensity texture map of KOMPSAT-5.

본 연구지역은 인공림과 자연림의 비율이 각각 약 7.8%와 92.2%로 자연림에 크게 치우쳐져 있다. 데이터 불균형에 의한 탐지 성능 저하를 개선하기 위해 손실함수의 가중치를 조절하거나, 학습데이터를 각 클래스 별로 동일하게 샘플링하는 방법이 많이 활용된다. 본 연구에서는 후자를 선택했다. 비산림 지역을 제외한 472,687개의 픽셀 중 인공림과 자연림에 해당되는 픽셀이 각각 36,939개와 435,738개였다. 이들 데이터에 대하여 학습데이터와 검증데이터를 서로 중복되지 않게 8:2의 비율로 무작위 선정하였다. 그 결과 학습데이터의 인공림과 자연림의 픽셀 수는 각각 29,543개, 그리고 348,606개였다. 학습데이터의 클래스별 비율을 맞추기 위하여 인공림 픽셀의 경우 29,543개의 픽셀로부터 50,000의 픽셀을 over-sampling했으며 자연림의 경우 sub-sampling하여 픽셀 수를 50,000개로 일치시켰다. 이에 따라 학습데이터는 총 100,000개의 픽셀로 이루어져 있으며 각 클래스의 비율은 5:5로 동일하게 설정하였다.

Fig. 4는 연구지역에 대해 학습한 모델을 활용하여 인공림과 자연림을 분류한 결과이다. 전체 영역에 대하여 인공림과 자연림을 명확하게 구분하는 것을 확인할 수 있다. 다만 자연림 영역에서 노이즈의 형태로 자연림을 인공림으로 오탐지하는 양상이 다수 확인되었다. 전체 인공림 데이터 중 80%가 그대로 학습데이터로 활용되었으므로 인공림의 경계가 뚜렷하게 나타난 것처럼 확인이 된 것이다. 따라서 실질적인 모델의 성능을 평가하기 위해서는 검증데이터를 활용한 정량적인 평가가 필요하다.

OGCSBN_2021_v37n6_3_1965_f0004.png 이미지

Fig. 4. Predicted forest type map via deep neural network.

Fig. 5에서 푸른색 붉은색 곡선은 자연림과 인공림에 대한 심층신경망 모델의 PR곡선을 나타낸다. 자연림과 인공림의 AP는 각각 0.985과 0.421로 자연림보다 인공림의 분류 성능이 크게 떨어지는 것을 확인할 수 있었다.

OGCSBN_2021_v37n6_3_1965_t0005.png 이미지

Fig. 5. Precision-Recall curve of deep neural network model.

Table 5는 검증데이터에 대하여 정량적 검증을 수행한 결과이다. 정량적 검증은 픽셀 정확도, 정밀도, 재현률, 그리고 F1 score로 수행하였다. 픽셀 정확도는 약 0.857로 기존 단일 계층의 시그모이드 인공신경망을 활용했을 때의 성능이 0.77이었는 것을 고려할 때 약 0.08의 성능향상을 확인할 수 있었다(Lee et al., 2018). 자연림에 대한 정밀도와 재현율은 각각 약 0.971과 0.870이었으며 F1 score는 약 0.918이었다. 즉, 자연림이라 탐지한 자료가 실제로 자연림일 확률이 0.971이었으며, 실제 자연림을 자연림이라 탐지할 확률이 0.870이라는 사실을 나타낸다. 다시 말하자면 비록 전체 자연림을 아주 높은 정확도로 분류해내지는 못하지만 탐지된 자연림 중 오탐지(False alarm)되는 비율은 0.029로 매우 낮았다. 한편, 인공림에 대해서 정밀도, 재현율, 그리고 F1 score가 각각 약 0.314, 0.698, 그리고 0.433으로 나타났다. 이는 실제 인공림인 지역에 대해서는 약 0.7의 정확도로 분류를 할 수 있으나 실제 인공림이 아닌 지역에 대해서 오탐지하는 경향성이 높음을 나타낸다. 공통적으로 인공림에 대한 분류 성능이 떨어졌는데 이는 데이터 불균형에 의해 발생한 문제라고 판단된다. 비록 데이터 불균형의 문제를 저감하기 위하여 학습데이터의 비율을 일치시켰으나 절대적인 데이터의 수는 변화하지 않으므로 인공림으로 고려될 수 있는 다양한 조건들이 충분하게 고려되지 않아 비교적 낮은 성능을 나타냈다

Table 5. Performance evaluation of deep neural network using precision, recall f1-score and pixel accuracy

OGCSBN_2021_v37n6_3_1965_t0006.png 이미지

비록 절대적인 분류 정확도가 높지는 않았으나 기존의 단층 시그모이드 신경망을 활용했을 때 자연림과 인공림에 대한 F1 Score가 각각 약 0.861과 0.338로 낮은 성능을 나타낸 것을 고려할 때, 자연림과 인공림에 대한 분류 성능이 F1 score를 기준으로 각각 약 0.06과 0.10 만큼 성능이 향상된 것을 확인할 수 있었다(Lee et al., 2018). 과거 연구에서의 모델 별 성능을 비교한 사례를 고려하면 이와 같은 성능 향상은 결코 적은 양이 아니다(Fan et al., 2019; Yu et al., 2021). 즉 모델이 달라짐에 따라 유의한 성능 향상을 확인할 수 있었다. 이러한 성능 향상은 우리나라 국토 관리의 효율성 향상에 중요한 영향을 미칠 수 있으므로 추가적인 딥러닝 모델에 적용하여 가장 효과적인 딥러닝 모델을 탐색해야 한다. 산림의 유형은 개체목의 거칠기 정보와 높은 상관도를 보인다(Yu et al., 2021). 따라서 다양한 딥러닝 모델 중 입력자료의 공간적 특징을 고려할 수 있는 패치 기반 혹은 의미적 분할 기법과 같은 합성곱신경망(Convolutional neural network) 모델에 대한 분류 성능 역시 추가적으로 실험할 필요가 있다

5. 결론

머신러닝 기법은 활용한 데이터나 연구지역의 특성에 따라 모델 별 성능이 상이하다. 또한 머신러닝 기법을 통하여 산출된 결과는 해당 활용 분야에 그대로 활용될 수 있으므로 다양한 모델을 적용함으로써 특정 활용 분야에 대해 가장 적절한 모델을 선정하는 것은 매우 중요하다. 기존의 다목적실용위성 기반 산림 유형 분류 연구에서는 KOMPSAT-3, -3A, 그리고 -5 영상에 대해 단일 계층의 시그모이드 인공신경망에 적용함으로써 인공림과 자연림을 분류하였다. 해당 연구에서는 다목적실용위성의 산림 모니터링 활용 가능성을 나타낼 수 있었으나 단일 모델에 대한 적용 결과로 추가적인 모델의 적용과 검증이 필요했다(Lee et al., 2018; Lee et al., 2020b).

이에 따라 본 연구에서는 심층신경망을 활용하여 우리나라 삼척지역의 인공림과 자연림을 분류하였다. 그 결과 전체 픽셀 정확도는 0.857이었으며 자연림과 인공림에 대한 F1 score는 각각 약 0.918과 0.433으로 절대적인 수치는 그리 높지 않았다. 하지만 기존의 단층 시그모이드 인공신경망을 적용했을 때 보다 픽셀 정확도는 0.08, F1 score는 자연림과 인공림에 대하여 각각 0.06, 그리고 0.10 만큼 향상되었다. 이 향상된 수준은 유의미하며 합성곱신경망 기반의 모델을 적용하여 보다 적절한 모델을 찾아나가는 연구가 추가적으로 수행되어야 한다. 산림에서부터 의미 있는 정보를 추출하고 관리하는 것은 국토 모니터링에 매우 중요한 요소이다. 위성 원격탐사 기술은 넓은 지역에 대해 시계열적인 데이터를 획득할 수 있다는 점에서 기존의 산림 관리 체계의 효율성을 향상할 수 있는 방법이다. 특히 우리나라가 독자 운영중인 다목적실용위성을 활용하여 산림 모니터링 관리체계의 개선 방향을 모색해 나간다면 국가의 기술적, 과학적 그리고 정책적 측면에 큰 기여를 할 수 있을 것이라 판단된다.

사사

이 연구는 2020년 대한민국 정부의 재원으로 한국연구재단(NRF-2020R1A2C1006593)의 지원을 받아 수행되었으며 이에 감사합니다

References

  1. Baek, W.-K. and Jung, H.-S. 2019. A review of change detection techniques using multi-temporal synthetic aperture radar images, Korean Journal of Remote Sensing, 35(5-1): 737-750 (in Korea wth English abstract). https://doi.org/10.7780/kjrs.2019.35.5.1.10
  2. Baek, W.-K. and H.-S. Jung, 2021. Performance Comparison of Oil Spill and Ship Classification from X-Band Dual-and Single-Polarized SAR Image Using Support Vector Machine, Random Forest, and Deep Neural Network, Remote Sensing, 13(16): 3203. https://doi.org/10.3390/rs13163203
  3. Baek, W.-K., H.-S. Jung, and D. Kim, 2020. Oil spill detection of Kerch strait in November 2007 from dual-polarized TerraSAR-X image using artificial and convolutional neural network regression models, Journal of Coastal Research, 102(SI): 137-144.
  4. Baek, W.-K., J.-W. Yu, Y.-W. Yoon, H.-S. Jung, and J. Lim, 2021. The Relative Height Error Analysis of Digital Elevation Model on South Korea to Determine the TargetVertical Accuracy of CAS500-4, Korean Journal of Remote Sensing, 37(5-1): 1043-1059 (in Korea with English abstract). https://doi.org/10.7780/KJRS.2021.37.5.1.17
  5. Bjerreskov, K.S., T. Nord-Larsen, and R. Fensholt, 2021. Classification of Nemoral Forests with Fusion of Multi-Temporal Sentinel-1 and 2 Data, Remote Sensing, 13(5): 950. https://doi.org/10.3390/rs13050950
  6. Fan, Q., F. Chen, M. Cheng, S. Lou, R. Xiao, B. Zhang, C. Wang, J. Li, 2019. Ship detection using a fully convolutional network with compact polarimetric sar images, Remote Sensing 11(18): 2171. https://doi.org/10.3390/rs11182171
  7. Jang, K., 2021. A Study on the Deep Learning-based Tree Species Classification by using High-resolution Orthophoto Images, Journal of the Korean Association of Geographic Information Studies, 24(3): 1-9 (in Korea with English abstract). https://doi.org/10.11108/KAGIS.2021.24.3.001
  8. Kim, J., C.-H. Lim, H.-W. Jo, and W.-K. Lee, 2021. Phenological Classification Using Deep Learning and the Sentinel-2 Satellite to Identify Priority Afforestation Sites in North Korea, Remote Sensing, 13(15): 2946. https://doi.org/10.3390/rs13152946
  9. Korea Forest Service, 2021. 2020 Foresty Statics, Korea Forest Service, Daejeon, KOR.
  10. Kwon, S.-K., 2018. Classification of Natural and Artificial Foretes from Sentinel-2 Images Using Artificial Neural Network, University of Seoul, Seoul, KOR.
  11. Kwon, S.-K., H.-S. Jung, W.-K. Baek, and D. Kim, 2017. Classification of forest vertical structure in south Korea from aerial orthophoto and lidar data using an artificial neural network, Applied Sciences, 7(10): 1046. https://doi.org/10.3390/app7101046
  12. Kwon, S.-K., K.-M. Kim, and J. Lim, 2021. A Study on Pre-evaluation of Tree Species Classification Possibility of CAS500-4 Using RapidEye Satellite Imageries, Korean Journal of Remote Sensing, 37(2): 291-304 (in Korea with English abstract). https://doi.org/10.7780/KJRS.2021.37.2.9
  13. Lee, K., E. Kim, and Y. Kim, 2017a. Orthorectification of KOMPSAT optical images using various ground reference data and accuracy assessment, Journal of Sensors, 2017: 6393278.
  14. Lee, K.-J., K.-Y. Oh, and W.-J. Lee, 2020a. Current Status of Application of KOMPSAT Series, Korean Journal of Remote Sensing, 36(6-2): 1485-1492 (in Korea with English abstract). https://doi.org/10.7780/KJRS.2020.36.6.2.1
  15. Lee, S., M.-J. Lee, and H.-S. Jung, 2017b. Data mining approaches for landslide susceptibility mapping in Umyeonsan, Seoul, South Korea, Applied Sciences, 7(7): 683. https://doi.org/10.3390/app7070683
  16. Lee, S., M.-J. Lee, H.-S. Jung, and S. Lee, 2020b. Landslide susceptibility mapping using naive bayes and bayesian network models in Umyeonsan, Korea, Geocarto international, 35(15): 1665-1679. https://doi.org/10.1080/10106049.2019.1585482
  17. Lee, S., W.-K. Baek, H.-S. Jung, and S. Lee, 2020c. Susceptibility Mapping on Urban Landslides Using Deep Learning Approaches in Mt. Umyeon, Applied Sciences, 10(22): 8189. https://doi.org/10.3390/app10228189
  18. Lee, W.-J., and C.-W. Lee, 2018. Forest canopy height estimation using multiplatform remote sensing dataset, Journal of Sensors, 2018: 1593129.
  19. Lee, Y.-S., S.-H. Park, H.-S. Jung, and W.-K. Baek, 2018. Classification of natural and artificial forests from KOMPSAT-3/3A/5 images using artificial neural network, Korean Journal of Remote Sensing, 34(6-3): 1399-1414 (in Korea with English abstract). https://doi.org/10.7780/KJRS.2018.34.6.3.7
  20. Lee, Y.-S., W.-K. Baek, and H.-S. Jung, 2019. Forest vertical Structure classification in Gongju city, Korea from optic and RADAR satellite images using artificial neural network, Korean Journal of Remote Sensing, 35(3): 447-455. https://doi.org/10.7780/KJRS.2019.35.3.8
  21. Lim, J., K.-M. Kim, and M.-K. Kim, 2019. The Development of Major Tree Species Classification Model using Different Satellite Images and Machine Learning in Gwangneung Area, Korean Journal of Remote Sensing, 35(6-2): 1037-1052 (in Korea with English abstract). https://doi.org/10.7780/kjrs.2019.35.6.2.2
  22. Masolele, R.N., V. De Sy, M. Herold, D.M. Gonzalez, J, Verbesselt, F. Gieseke, A.G. Mullissa, and C. Martius 2021. Spatial and temporal deep learning methods for deriving land-use following deforestation: A pan-tropical case study using Landsat time series, Remote Sensing of Environment, 264: 112600. https://doi.org/10.1016/j.rse.2021.112600
  23. National Geographic information institute, 2020. The National Atlas of Korea II, National Geographic information institute, Ministry of Land Infrastructure and Transport, Suwon, KOR.
  24. Oh, K.-Y. and H.-S. Jung, 2012. Automatic geometric calibration of KOMPSAT-2 stereo pair data, Korean Journal of Remote Sensing, 28(2): 191-202 (in Korea with English abstract) https://doi.org/10.7780/KJRS.2012.28.2.191
  25. Oh, K.-Y. and H.-S. Jung, 2016. Automated biascompensation approach for pushbroom sensor modeling using digital elevation model, IEEE Transactions on Geoscience and Remote Sensing, 54(6): 3400-3409. https://doi.org/10.1109/TGRS.2016.2517100
  26. Onishi, M. and T. Ise, 2021. Explainable identification and mapping of trees using UAV RGB image and deep learning, Scientific Reports, 11(1): 1-15. https://doi.org/10.1038/s41598-020-79139-8
  27. Park, S.-H. and H.-S. Jung, 2019. Band-based best model selection for topographic normalization of normalized difference vegetation index map, IEEE Access, 8: 4408-4417. https://doi.org/10.1109/access.2019.2963137
  28. Park, S.-H., G.-S. Lee and H.-S. Jung, 2017. Shadow detection and correction method for urban area using KOMPSAT-3 image, Korean Journal of Remote Sensing, 33(6-3): 1197-1213 (in Korea with English abstract). https://doi.org/10.7780/KJRS.2017.33.6.3.4
  29. Yu, J.-W., Y.-W. Yoon, W.-K. Baek, and H.-S. Jung, 2021. Forest Vertical Structure Mapping Using Two-Seasonal Optic Images and LiDAR DSM Acquired from UAV Platform through Random Forest, XGBoost, and Support Vector Machine Approaches, Remote Sensing, 13(21): 4282. https://doi.org/10.3390/rs13214282