Performance Evaluation of Deep Learning Model according to the Ratio of Cultivation Area in Training Data

훈련자료 내 재배지역의 비율에 따른 딥러닝 모델의 성능 평가

Abstract

Compact Advanced Satellite 500 (CAS500) can be used for various purposes, including vegetation, forestry, and agriculture fields. It is expected that it will be possible to acquire satellite images of various areas quickly. In order to use satellite images acquired through CAS500 in the agricultural field, it is necessary to develop a satellite image-based extraction technique for crop-cultivated areas.In particular, as research in the field of deep learning has become active in recent years, research on developing a deep learning model for extracting crop cultivation areas and generating training data is necessary. This manuscript classified the onion and garlic cultivation areas in Hapcheon-gun using PlanetScope satellite images and farm maps. In particular, for effective model learning, the model performance was analyzed according to the proportion of crop-cultivated areas. For the deep learning model used in the experiment, Fully Convolutional Densely Connected Convolutional Network (FC-DenseNet) was reconstructed to fit the purpose of crop cultivation area classification and utilized. As a result of the experiment, the ratio of crop cultivation areas in the training data affected the performance of the deep learning model.

차세대중형위성(Compact Advanced Satellite 500, CAS500)은 식생, 산림, 농업 등의 분야를 포함한 다양한 목적을 위하여 사용될 수 있으며, 다양한 영역에 대한 빠른 위성영상의 취득이 가능할 것으로 기대되고 있다. 차세대중형위성을 통하여 취득된 위성영상을 농업분야에서 활용하기 위해서는 위성영상 기반 작물재배지역 추출 기법에 대한 개발이 필요하다. 특히, 최근 들어 딥러닝 분야에 대한 연구가 활발해짐에 따라서, 작물재배지역 추출을 위한 딥러닝 모델의 개발 및 훈련자료 생성에 관한 연구가 필요한 실정이다. 본 연구에서는 PlanetScope 위성영상과 팜맵을 이용하여 합천군 지역의 양파 및 마늘 재배지역을 분류하고자 하였다. 특히, 효과적인 모델의 학습을 위하여 작물재배지역의 비율에 따른 모델 성능을 분석하고자 하였다. 실험에 사용한 딥러닝 모델은 Fully Convolutional Densely Connected Convolutional Network (FC-DenseNet)을 작물재배지역 분류의 목적에 맞도록 재구성하여 활용하였다. 실험결과, 훈련자료 내 작물재배지역의 비율이 딥러닝 모델의 성능에 영향을 미치는 것을 확인하였다.

1. 서론

원격탐사 자료는 광범위한 지역을 효과적으로 분석할 수 있으며, 주기적으로 촬영된 시계열 영상들은 재난, 산림, 농업, 토목 등의 다양한 분야에서 활용되고 있다. 특히, 국내의 경우에는 다목적실용위성의 개발이래로 고해상도 위성영상에 대한 활용이 이루어지고 있다. 국토, 산림, 농업, 수자원, 재난/재해 등 다양한 목적에 특화되어 활용하기 위한 차세대중형위성(Compact Advanced Satellite 500, CAS500)의 개발이 진행되고 있으며, 국토위성 1호기는 성공적으로 발사되어 운용 중에 있다(Lee et al., 2020; Lee and Kim, 2021). 빠른 재방문 주기를 통해 시계열 위성영상 자료를 효과적으로 취득하기 위한 초소형군집위성 등 다양한 인공위성 센서에 대한 관심이 증대됨에 따라서, 다양한 원격탐사 센서를 이용하여 동일지역에 대한 다시기 위성영상을 획득할 수 있는 가능성이 더욱 증대되고 있다. 특히, 농업 및 산림지역의 활용을 위하여 개발 중에 있는 차세대중형위성 4호는 최대 3일 이내에 국내 지역 전체를 촬영할 수 있는 장점을 가지고 있도록 설계되고 있기 때문에, 향후 국내 작물재배지역의 모니터링에 효과적으로 사용될 것으로 기대된다. 따라서, 다시기 위성영상을 이용한 작물재배지역 모니터링에 대한 연구가 지속적으로 이루어져야 할 것으로 판단된다.

국내의 경우, Lee et al. (2014)는 RapidEye 위성영상을 활용하여 북한의 벼 재배지역을 분석하였으며, Na et al. (2017)은 계층적 분류(hierarchical classification) 기법을 이용하여 동계작물의 구분을 수행하였다. Chung and Lee (2021)은 드론 영상을 통하여 월동 작물 분류를 수행하기 위하여 훈련자료의 해상도와 영상 크기에 대한 영향을 분석하였으며, Shin et al. (2021)은 딥러닝 모델은 Attention U-NET을 이용하여 옥수수 재배필지 추출에 관한 연구를 수행하였다. 또한, Seong et al. (2021)은 Fully Convolutional Densely Connected Convolutional Network (FC-DenseNet)과 attention module을 이용하여 양파 및 마늘재배지역에 대한 분류를 수행하고, 이에 대한 결과를 평가하였다.

국외의 경우, Arias et al. (2020)은 시계열 Sentinel-1 위성영상 자료를 이용하여 스페인 지역의 작물재배지역의 분류를 수행하였으며, Xie et al. (2019)는 딥러닝 모델을 이용하여 작물재배지역의 분류를 수행하고, 해당 기법이 기존의 기계학습과 비교하여 작물재배지역의 분류에 효과적임을 실험적으로 입증하였다. Bouguettaya et al. (2022)는 드론 영상을 이용하여 농경지를 분류하기 위한 다양한 딥러닝 모델들에 대한 분석을 수행하였으며, Ji et al. (2018)은 옥수수와 콩 등을 분류하기 위하여 3D-Convolutional Neural Networks (3D-CNN)을 적용하기도 하였다.

대부분의 국내외 연구를 통하여 작물재배지역의 추출 및 분류에 있어서 딥러닝 기법을 이용한 기법들이 기존의 분류 알고리즘들과 비교하여 우수한 성능을 보이는 것을 확인하였다. 그러나, 대부분의 연구는 고해상도 드론영상 혹은 다양한 분광파장대를 가지고 있는 영상을 활용하여 수행되었으며, 위성영상을 이용하여 작물재배지역을 추출하는 경우에는 대규모 경작지를 대상으로 하였다. 또한, 농업분야에의 활용을 위하여 개발되고 있는 농림위성은 Red, Blue, Green, Red-edge, Near InfraRed (NIR)의 5밴드를 가지고 있는데, 이와 유사한 위성영상을 이용하여 국내 주요 작물재배지경을 추출하기 위한 연구도 필요한 상황이다. 따라서, 본 연구는 국내의 대표적 밭 작물인 양파와 마늘에 대한 재배지역을 차세대중형위성 4호(농림위성)을 이용하여 추출하기 위한 선행연구로써 PlanetScope 위성영상을 이용하여 양파 및 마늘재배지역을 추출하고자 하였다. 특히, 딥러닝 기법을 이용하여 효과적으로 해당 재배지역을 추출하기 위하여 딥러닝 모델의 학습을 위한 효과적인 훈련자료 제작 방안에 대하여 분석하고자 하였다. 이를 위하여, 훈련자료 영상 패치(image patch) 내의 작물재배지역의 비율에 따른 딥러닝 모델 성능을 분석하고자 하였다. 영상 패치 내 작물비율에 따른 모델의 성능은 훈련자료 제작에 사용되지 않은 영상을 이용하여 평가함으로써, 실제 촬영영상에 대한 적용가능성도 함께 분석하였다.

2. 실험지역 및 자료

1) 실험자료의 제원

차세대중형위성 4호를 이용한 농림분야의 활용을 위하여 본 연구에서는 차세대중형위성 4호와 유사한 분광파장대를 가지고 있는 PlanetScope 위성영상을 실험자료로 사용하였다. PlanetScope은 2018년에 발사되기 시작되어 현재 3세대 위성이 운용되고 있으며, Table 1과 같이 총 8개의 밴드를 제공하고 있다. 그러나, 차세대 중형위성 4호는 5개의 밴드를 가지고 있기 때문에, 본 연구에서는 차세대중형위성 4호에 포함되어 있는 Blue, Green, Red, Red-edge, NIR 밴드만을 추출하여 실험에 사용하였다. Table 1은 실험에 사용한 PlanetScope 위성의 제원이다.

Table 1. Specifications of the PlanetScope satellite sensor

2) 실험지역의 선정

작물재배지역 추출 및 분석을 위한 딥러닝 모델 구성을 위해서는 효과적인 훈련자료의 제작이 필수적이다. 이를 위하여, 본 연구에서는 합천군의 초계면, 적중면, 청덕면 일대를 실험지역으로 선정하였다. 합천군은 국내의 대표적인 양파 및 마늘 주산지이며, 양파 및 마늘은 일반적으로 10월부터 이듬해 6월까지의 생육시기를 가지고 있다. 따라서, 본 연구에서는 양파 및 마늘의 생육시기를 고려하여 실험지역에 대하여 2021년 1월 27일 및 4월 11일에 촬영된 위성영상을 이용하여 훈련자료를 제작하고자 하였다. Fig. 1과 같이 4월에 촬영된 영상에서의 마늘과 양파의 분광정보는 확연하게 구분되어지는 것은 아니나, 1월에 촬영된 영상에서는 Red-edge, NIR 밴드에서 구분 가능한 것이 확인된다.

Fig. 1. Garlic-onion spectrum curve.

제작된 훈련자료를 바탕으로 딥러닝 모델을 이용하여 실제 작물재배지역을 예측하기 위한 자료는 2022년 1월 18일과 4월 10일에 촬영된 영상을 사용하였다. Fig. 2는 훈련자료를 제작하기 위하여 선정된 합천군 지역을 나타내며, Fig. 3는 합천군 초계면에 대한 2022년 1월 및 4월 영상이다.

Fig. 2. Experimental area.

Fig. 3. Experimental dataset for estimation of deep learning model: (a) PlanetScope imagery of 2022/01/18 and (b) PlanetScope imagery of 2022/04/10.

3. 연구방법

본 연구에서는 딥러닝 모델의 훈련에 사용되는 훈련자료가 모델의 성능에 미치는 영향을 분석하고자 하였다. 이를 위하여, 작물재배지역내의 비율에 따른 영향을 분석하고자 하였으며, 이를 토대로 훈련에 사용될 수 있는 영상패치를 제작하였다. 또한, 실험에 사용한 딥러닝 모델은 작물재배지역에 효과적인 모델을 사용하기 위하여 시계열 위성영상과 팜맵을 이용한 딥러닝 모델을 구성하였다.

1) 훈련자료의 제작

딥러닝 모델의 학습을 위하여 다시기 위성영상을 통한 훈련자료를 제작하였다. 작물재배지역의 분류를 위해서는 일관된 특성을 가지는 위성영상이 필요하며, 이를 위해서는 방사보정(radiometric normalization)이 적용된 지상반사율(surface reflectance, SR) 형태의 위성영상이 필요하다. 따라서, 본 연구에서는 전처리 과정을 거쳐 제공되는 SR 형태의 PlanetScope 위성영상을 사용하였다. 다만, SR 자료의 경우에도 다른 시기에 촬영된 위성영상의 경우에는 동일 객체에 대한 분광반사율 값이 상이할 수 있는데, 이를 위해서는 절대방사보정 및 대기보정의 적용이 요구되어 진다. 그러나, 실제 딥러닝 모델의 적용에 있어서 대기보정된 자료를 일관되게 사용하는 것이 현실적으로 어려우며, 양파 및 마늘 재배지역의 경우에는 영상 내에서 판독을 통하여 타 지역과 구분이 가능하다고 가정하였다. 따라서, SR 형태의 위성영상에 대하여 2% 선형 대비(2% linear stretching) 과정을 통하여 정규화된 영상을 사용하였다. 이를 통해, 딥러닝 모델의 훈련자료와 다른 시기에 취득된 영상에 대해서도 정규화과정을 거쳐 작물재배지역의 색상은 훈련자료와 유사한 특성을 가질 수 있도록 조정하였다.

정규화과정을 거쳐 생성된 다시기 위성영상을 이용하여 영상 패치 단위의 훈련자료를 제작하였다. 실험대상인 양파 및 마늘 재배지역은 타 지형과 비교하여 상대적으로 적은 면적을 차지하고 있기 때문에, 영상 패치 내 작물재배지역의 비율에 따라서 딥러닝 모델의 성능이 결정될 수 있다. 예를 들어, 대부분의 훈련자료들이 작물재배지역을 포함하고 있지 않을 경우에는 비작물지역에 대하여 과적합(overfitting) 될 수 있기 때문에, 실제 작물재배지역을 추출할 수 없는 문제가 발생할 수 있다. 따라서, 본 연구에서 훈련자료를 제작함에 있어서 반드시 영상 패치 내에는 양파 혹은 마늘 재배지역이 포함되도록 하였으며, 해당 작물재배지역의 비율에 따른 영향을 분석하기 위하여 영상 패치 내 작물재배지역의 비율을 5%, 10%, 20%로 조정하여 생성하였다. 다만, 비작물재배지역들이 작물재배지역으로 오분류되는 것을 방지하기 위하여, 추가적으로 비작물재배지역에 대한 훈련자료도 제작한 후, 이를 통합하는 방법을 사용하였다. 또한, 충분한 수의 훈련자료를 제작하기 위하여, 영상 패치를 생성함에 있어서 약 25%의 영역이 중첩되도록 자료 증강(data augmentation)을 수행하였으며, 수직/수평방향으로의 대칭을 통하여 자료 증강을 수행하였다. Table 2는 작물재배지역의 비율에 따라서 본 연구에서 생성된 훈련자료의 개수를 나타내며, 각 영상 패치의 크기는 256×256이다. 이중, 95%는 실제 딥러닝 모델의 학습에 사용하였으며, 5%는 모델의 검증(validation)에 사용하였다.

Table 2. Specifications of the training dataset for deep learning model

한편, 딥러닝 모델의 학습에 사용하기 위하여 위성영상 내의 양파 및 마늘 재배지역은 현장 관측을 통하여 참조자료(reference data)를 생성하였으며, 해당 지역의 필지정보를 딥러닝 모델에 활용하기 위하여 팜맵을 훈련자료에 추가하였다. 최종적으로 훈련자료의 영상 패치는 2021년 1월, 4월에 획득된 PlanetScope 위성영상 5밴드, 팜맵 1밴드로 이루어진 총 11개 밴드의 자료이며, 해당 자료와 동일 크기의 참조자료로 이루어져 있다. 이에 대한 예시는 Fig. 4와 같다.

Fig. 4. Example of training dataset: (a) image patch of 2021/01/27, (b) image patch of 2021/04/11, (c) farm map (gray: paddy area, white: field), and (d) reference data (gray: garlic, white: onion).

2) 작물재배지역 분류를 위한 딥러닝 모델의 구성

본 논문에서는 작물재배지역의 비율별 생성된 훈련 자료를 이용하여 딥러닝 모델의 훈련을 진행하였다. 실험에 사용한 모델은 Seong et al. (2021)에 의하여 제안된 attention gated FC-DenseNet이다. 그러나, 본 연구에서는 훈련자료로 생성된 다시기 위성영상을 효과적으로 활용하기 위하여 encoder 부분의 네트워크는 Siamese 형태로 재구성하였다. Fig. 5는 실험에 사용된 딥러닝 모델의 개요이다.

Fig. 5. The architecture of deep learning model for the extraction of the crop cultivation area.

딥러닝 모델에서 encoder 부분은 denseblock과 transition down 부분으로 이루어져 있다. Denseblock은 batch normalization, ReLU, 합성곱연산(convolution), dropout으로 구성되어 있으며, 이를 반복하여 딥러닝 레이어의 깊이를 깊게 구성하였다. Denseblock을 통하여 생성된 특징맵(feature map)은 transition down 과정을 거쳐 크기가 1/2로 축소된다. 특히, encoder 부분에서 다시기 위성영상은 Siamese network의 형태로 입력되어, 합성곱연산에서 동일한 가중치를 공유하며 처리된다. 3단계의 denseblock과 transition down 과정을 거쳐 1/8의 크기로 축소된 특징맵은 영상 패치 내의 전역적인 정보를 포함하게 되며, decoder 부분에서 denseblock과 transition up 과정을 통하여 원 영상패치와 동일한 크기로 복원되게 된다. 특히, decoder 부분에서는 encoder 부분에서 생성된 특징맵의 스킵연결(skip connection) 과정을 거쳐 공간적인 정보가 추가되게 되며, 이를 통해 영상 패치와 동일한 공간적인 특성을 가지도록 조정된다. 최종적으로 encoder-decoder 부분을 통하여 생성된 3밴드의 특징맵에 영상 패치 내 필지 정보인 팜맵의 정보를 추가한 후, 2번의 denseblock 및 1번의 합성곱연산을 통하여, 양파, 마늘, 비작물지역의 3개의 클래스로 구성된 특징맵을 생성하게 된다.

3) 딥러닝 모델의 성능 평가

학습된 딥러닝 모델의 성능 평가를 위하여 Table 3의 오차행렬(error matrix)을 기반으로 정밀도(Precision), 재현율(Recall), F1-score를 아래의 식을 이용하여 계산하였다(Kang et al., 2019).

Table 3. Error matrix

\(\begin{aligned}Precision=\frac{TP}{TP+FP}\end{aligned}\)       (1)

\(\begin{aligned}Recall=\frac{TP}{TP+FN}\end{aligned}\)       (2)

\(\begin{aligned}F1-score=2 \times \frac{Precision \times Recall}{Precision + Recall}\end{aligned}\)       (3)

단 , 정밀도, 재현율, F1-score는 이진분류 (binary classification) 결과를 기반으로 하기 때문에, 식(1)–(3)을 적용함에 있어서 대상 클래스의 결과를 1, 그 외의 클래스의 결과는 0으로 변환한 후, 각각의 클래스별 최종 수치를 계산하여 딥러닝 모델의 성능을 평가하고자 하였다.

4. 실험결과 및 분석

1) 모델 학습 및 결과

딥러닝 모델의 학습은 Pytorch를 이용하여 수행하였다. 훈련에 사용한 하이퍼파라미터(hyperparameter)는 Table 4와 같다.

Table 4. Hyperparameters for training of the deep learning model

2) 딥러닝 모델의 적용 결과 및 평가

훈련자료 내 각 작물재배지역의 비율에 따른 딥러닝 모델의 성능 평가의 결과는 Table 5와 같다. Table 5에서 확인할 수 있는 것과 같이, 영상 패치 내 작물재배지역의 비율이 10%일 때, 가장 높은 성능을 보이는 것을 확인할 수 있었다. 마늘과 양파에 대하여 F1 score는 각각 5% 이상일 때 보다 0.02, 0.11, 그리고 20% 이상일 때 보다 0.02, 0.07 높았다. 특히, 마늘지역과 비교하여 양파지역에 대한 성능이 차이가 크게 발생하는 것을 확인할 수 있었다. 이는 Fig. 6에서 확인할 수 있는 것과 같이, 양파지역이 비재배지역 및 해당 지역에 존재하는 밀 등의 타 재배지역과 분광특성의 차이가 크지 않기 때문으로 추정된다. 이로 인하여, 양파지역에서는 과대추정(over-estimation)으로 인한 오분류가 발생된 것으로 확인되었다. 특히, 이러한 과대추정은 작물재배지역의 비율이 감소되면 더욱 크게 발생하였다. 그럼에도 불구하고, 상대적으로 작물재배지역의 비율이 10%인 경우에는 이러한 과대오차의 경향이 최소화되는 것을 확인하였으며, 이러한 경향은 Fig. 6(e)에서도 확인할 수 있었다. 따라서, 작물재배지역의 분류에 있어서 영상 패치 내 해당 클래스의 비율을 최적화하는 것이 매우 중요한 것을 확인할 수 있었다.

Table 5. Comparative results corresponding to the ratio of crop cultivation area in the image patch

Fig. 6. Classification results of corresponding to the ratio of crop cultivation area in the image patch (gray color: garlic, white color: onion): (a) PlanetScope image (2022/01/18), (b) PlanetScope image (2022/04/10), (c) reference data, (d) classification result (the ratio: 5%), (e) classification result (the ratio: 10%), and (f) classification result (the ratio: 20%).

5. 결론

본 연구에서는 향후 차세대중형위성 4호를 위한 작물재배지역의 분류 및 모니터링을 위하여, 차세대중형 위성 4호와 유사한 특성을 가지는 PlanetScope 위성영상을 이용하여 훈련자료의 특성에 따른 딥러닝 모델의 성능을 분석하고자 하였다. 이를 위하여, 훈련 자료 내 영상 패치에 포함되는 작물재배지역의 비율에 따른 분류 결과를 평가하였다. 다시기 위성영상과 팜맵을 입력자료로 하는 딥러닝 모델을 이용하여 실험을 수행하였으며, 영상 패치 내 작물재배지역의 비율에 따라서 클래스 별 과대추정이 발생할 수 있음을 확인하였다. 훈련자료 내 작물 재배면적이 10% 이상일 때 가장 좋은 결과를 확인하였으며, 마늘과 양파 재배지역에 대하여 F1 score 모두 가장 높은 결과를 나타냈었다. 향후, 딥러닝 모델을 이용한 작물재배지역의 모니터링에 있어서 다수의 훈련자료를 생성하는 것이 가장 중요하지만, 훈련자료 내에 작물재배지역과 비작물재배지역의 최적비율을 결정하는 것도 딥러닝 모델의 성능을 향상시키기 위하여 필수적으로 이루어져야 하는 사항임을 확인할 수 있었다.