Performance Evaluation of Machine Learning and Deep Learning Algorithms in Crop Classification: Impact of Hyper-parameters and Training Sample Size

작물분류에서 기계학습 및 딥러닝 알고리즘의 분류 성능 평가: 하이퍼파라미터와 훈련자료 크기의 영향 분석

Abstract

The purpose of this study is to compare machine learning algorithm and deep learning algorithm in crop classification using multi-temporal remote sensing data. For this, impacts of machine learning and deep learning algorithms on (a) hyper-parameter and (2) training sample size were compared and analyzed for Haenam-gun, Korea and Illinois State, USA. In the comparison experiment, support vector machine (SVM) was applied as machine learning algorithm and convolutional neural network (CNN) was applied as deep learning algorithm. In particular, 2D-CNN considering 2-dimensional spatial information and 3D-CNN with extended time dimension from 2D-CNN were applied as CNN. As a result of the experiment, it was found that the hyper-parameter values of CNN, considering various hyper-parameter, defined in the two study areas were similar compared with SVM. Based on this result, although it takes much time to optimize the model in CNN, it is considered that it is possible to apply transfer learning that can extend optimized CNN model to other regions. Then, in the experiment results with various training sample size, the impact of that on CNN was larger than SVM. In particular, this impact was exaggerated in Illinois State with heterogeneous spatial patterns. In addition, the lowest classification performance of 3D-CNN was presented in Illinois State, which is considered to be due to over-fitting as complexity of the model. That is, the classification performance was relatively degraded due to heterogeneous patterns and noise effect of input data, although the training accuracy of 3D-CNN model was high. This result simply that a proper classification algorithms should be selected considering spatial characteristics of study areas. Also, a large amount of training samples is necessary to guarantee higher classification performance in CNN, particularly in 3D-CNN.

본 연구의 목적은 다중시기 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 비교에 있다. 이를 위해 전라남도 해남군과 미국 Illinois 주의 작물 재배지를 대상으로 기계학습 알고리즘과 딥러닝 알고리즘에 대해 (1) 하이퍼파라미터와 (2) 훈련자료의 크기에 따른 영향을 비교 분석하였다. 비교 실험에는 기계학습 알고리즘으로 support vector machine(SVM)을 적용하고 딥러닝 알고리즘으로 convolutional neural network(CNN)를 적용하였다. 특히 CNN에서 2차원의 공간정보를 고려하는 2D-CNN과 시간차원을 확장한 구조의 3D-CNN을 적용하였다. 비교 실험 결과, 다양한 하이퍼파라미터를 고려해야 하는 CNN의 경우 SVM과 다르게 두 지역에서 정의된 하이퍼파라미터 값이 유사한 것으로 나타났다. 이러한 결과를 바탕으로 모델 최적화에 많은 시간이 소요되지만 최적화된 CNN 모델을 다른 지역으로 확장할 수 있는 전이학습의 적용 가능성이 높을 것으로 판단된다. 다음 훈련자료 크기에 따른 비교 실험 결과, SVM 보다 CNN에서 훈련자료 크기의 영향이 큰 것으로 나타났는데 특히 다양한 공간특성을 갖는 Illinois 주에서 이러한 경향이 두드러지게 나타났다. 또한 Illinois 주에서 3D-CNN의 분류 성능이 저하되는 것으로 나타났는데, 이는 모델 복잡도가 증가하면서 과적합의 영향이 발생한 것으로 판단된다. 즉 모델의 훈련 정확도는 높지만 다양한 공간특성이나 입력 자료의 잡음 효과 등으로 오히려 분류 성능이 저하된 것으로 나타났다. 이러한 결과는 대상 지역의 공간특성을 고려해 적절한 분류 알고리즘을 선택해야 하는 것을 의미한다. 또한 CNN에서 특히, 3D-CNN에서 일정 수준의 분류 성능을 담보하기 위해 다량의 훈련자료 수집이 필요하다는 것을 의미한다.

1. 서론

최근 환경변화로 인한 국제 곡물가격의 상승과 관련하여 식량안보에 대한 중요성이 강조되고 있다(Prosekov and Ivanova, 2018). 이에 따라 농업환경 모니터링을 위한 다양한 연구가 시도되고 있는데, 현장조사 자료보다 상대적으로 넓은 규모로 주기적인 정보를 획득할 수 있는 원격탐사 자료가 많이 활용되고 있다(Zhang et al., 2017; Deng et al., 2018). 특히 원격탐사 자료의 분류 결과로 획득되는 작물 구분도는 생산량 예측, 생육 모델링 등에 활용될 수 있어 원격탐사 자료를 이용한 작물분류 연구가 활발히 진행되고 있다(Zhong et al., 2014; Skakun et al., 2017). 원격탐사 자료를 이용한 작물분류에는 MODIS, Landsat 등 중저해상도의 위성영상과 초고해상도의 무인기(UAV) 영상 등 다양한 원격탐사 자료가 활용되고 있다(Park and Park, 2015; Lee et al., 2016; Hall et al., 2018; Ishida et al., 2018). 특히 작물의 시계열 생육정보를 분석하기 위해 다중시기 원격탐사 자료가 많이 활용되어 왔다(Kim et al., 2017; Skakun et al., 2017; Cai et al., 2018).

작물분류를 위한 분류 기법으로 support vector machine(SVM), random forest(RF) 등의 기계학습 알고리즘이 주로 적용되어 왔으며(Kwak et al., 2017; Onojeghuo et al., 2018; Torbick et al., 2018; Xu et al., 2018), 최근 기계학습 알고리즘과 함께 딥러닝 알고리즘이 많이 적용되고 있다(Kussul et al., 2017; Kamilaris and Prenafeta-Boldú, 2018). 특히 딥러닝 알고리즘으로 인접한 화소 간의 공간 상관성을 고려하는 convolutional neural network(CNN)를 이용한 작물분류 연구가 많이 수행되고 있다(Castro et al., 2017; Dang et al., 2018; Gao et al., 2018). CNN을 이용한 작물분류 연구에 주로 2차원(2-dimensional)의 공간정보를 고려하는 2D-CNN이 적용되어 왔는데, 최근 Ji et al.(2018)은 공간정보와 함께 시간정보를 분류 과정에 고려할 수 있는 3차원(3-dimensional)의 CNN(3D-CNN)을 이용한 작물분류를 수행하였다.

일반적으로 비디오 인식, 신호처리 등의 분야에서 기계학습 알고리즘보다 공간정보 및 시간정보를 함께 고려하는 딥러닝 알고리즘의 분류 성능이 우수한 것으로 알려져 있다(Ji et al., 2013; Karpathy et al., 2014). 이와 관련하여 원격탐사 분야에서도 기계학습 알고리즘과 딥러닝 알고리즘의 분류 성능을 비교하는 연구가 다수 진행되고 있다. 대표적으로 기계학습 알고리즘에 SVM과 RF를적용하고, 딥러닝 알고리즘에 2D-CNN과 3D-CNN을 적용하여 분류 결과의 정확도 및 공간양상 등을 바탕으로 분류 성능을 비교하였다(Song and Kim, 2017; Wu and Prasad, 2017; Liu et al., 2018; Zhong et al., 2018). 그러나 기계학습 알고리즘과 딥러닝 알고리즘의 분류 성능을 비교하기 위해 단순히 분류 정확도의 비교뿐만 아니라 분류 성능에 영향을 줄 수 있는 훈련자료, 하이퍼파라미터(hyper-parameter) 등 분류 요소에 따른 분석이 필요하지만(Maxwell et al., 2018), 훈련자료와 하이퍼파라미터 등을 함께 고려하는 비교 연구는 미미한 실정이다.

이러한 한계와 관련하여 본 연구는 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 분류 성능을 비교하기 위해 (1) 하이퍼파라미터의 영향과 (2) 훈련자료 수의 영향을 분석하였다. 또한 지표의 공간특성에 따른 분류 성능을 비교하기 위해 공간특성이 다른 두 작물 재배지역을 대상으로 두 알고리즘의 비교 연구를 수행하였다. 비교 실험에는 기계학습 및 딥러닝 알고리즘으로 SVM과 CNN을 적용하였으며 특히, 공간정보를 고려하는 2D-CNN과 함께 공간 및 시간정보를 고려하는 3D-CNN을 적용하여 세 모형에 따른 작물분류 결과를 비교 분석하였다.

2. 대상 지역 및 사용 자료

연구 대상 지역으로 국내 배추 주산지인 전라남도 해남군과 미국의 옥수수 주산지인 Illinois 주를 선정하였다(Fig. 1). 먼저 해남군의 주요 작물인 배추는 수확 시기에 따라 가을배추와 겨울배추로 구분되는데, 11월 중순부터 수확되는 배추를 가을배추로 12월 말부터 수확되는 배추를 겨울배추로 한다. 해남군의 작물분류에는 NIR(850 nm), red(625 nm), green(550 nm)의 채널 자료를 획득할 수 있는 Cannon S110 카메라가 탑재된 고정익 무인비행체(Ebee, Sensefly, Swiss)로부터 촬영된 무인기 영상을 사용하였다(Fig. 1(a)). 또한 배추의 생육주기를 고려하여 2017년 10월부터 2018년 1월까지 촬영된 5개 시기의 영상을 사용하였다(Table 1). 수집한 무인기 영상의 공간해상도는 8 cm이지만, 본 연구에서는 자료 처리의 효율성을 고려하여 원자료의 해상도를 50 cm로 업스케일링(upscaling) 하여 사용하였다. 대상 지역에서는 배추 외에 감자, 고구마, 마늘, 벼 등을 함께 재배하지만 영상 촬영 시기에 해당 작물 재배지역이 나지로 보이기 때문에 모두 기타작물로 할당하여 분류를 수행하였다. 훈련자료와 검증자료에는 촬영 시기에 함께 획득된 현장조사 자료를 이용하였는데(Fig. 1(a)), 먼저 현장조사 자료로부터 훈련자료를 추출하고 훈련자료로 사용되지 않은 화소를 검증자료로 추출하였다. 검증자료로 대상 지역의 약 99%의 화소를 추출하였으며, 각 분류 항목별로 추출된 검증자료는 Table 2와 같다.

Table 1. Summary of pre-processed input data for Haenam-gun and Illinois State

Fig. 1. Study areas and materials. (a) Haenam-gun and (b) Illinois State.

Table 2. Number of validation sets of Haenam-gun and Illinois State

Illinois 주는 미국의 대표적인 옥수수 주산지로, 옥수수 외에도 콩, 겨울밀 등을 함께 재배하고 있다. 이 연구에서는 옥수수, 콩, 겨울밀을 재배하는 Illinois 주의 일부 지역을 대상 지역으로 선정하였다(Fig. 1(b)). 또한 작물과 함께 사료로 주로 사용되는 alfalfa나 hay와 같은 곡초 지역(grain)이 존재한다. 이를 고려해 Illinois 주를 대상으로 옥수수, 콩, 겨울밀, 곡초지역을 분류 항목으로 정의하였다. 고려하고 있는 항목의 분류를 위해 이 연구에서는 작물의 분광학적 구분이 용이하면서 대규모 영역의 작물분류에 많이 사용되어 왔던 Landsat 자료를 사용하였다(Fig. 1(b)). 2017년 Illinois 주의 작물분류를 위해 Landsat-8 OLI 자료를 사용하였으며, 구름의 영향이 없고 작물 구분에 용이한 3월부터 10월까지 촬영된 6개 시기의 영상을 사용하였다(Table 1). 특히 입력 자료의 효율성을 고려하여 사전 연구로부터 분류에 용이한 red, NIR, SWIR 채널을 선정하고, 이를 이용해 작물분류를 수행하였다. 훈련자료와 검증자료 추출에는 미국 USDA NASS에서 제공하는 작물구분도인 cropland data layer(CDL)를 사용하였다(Fig. 1(b)). 검증자료로 연구 대상 지역의 약 97%의 화소를 추출하였으며, 각 분류 항목별로 추출된 검증자료는 Table 2와 같다.

3. 방법론

1) 분류 모형

다중시기 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 분류 성능을 비교하기 위해 각 알고리즘의 분류 모형으로 SVM과 CNN을 적용하였다. 특히 CNN에서 입력 자료의 공간정보를 분류 과정에 고려하는 2D-CNN과 여기에 시간 차원을 확장한 구조의 3D-CNN을 적용하였다.

(1) SVM

SVM은 support vector와 margin의 개념을 이용해 분류 항목을 구분하는 최적의 선형 결정 경계(decision boundary)를 찾는 알고리즘이다(Melgani and Bruzzone, 2004). 여기서 support vector와 margin은 각각 결정 경계에 가장 가까이에 위치한 자료, support vector와 결정 경계 사이의 거리를 의미한다. 이를 이용해 SVM은 margin이 최대가 되는 결정 경계를 최적의 결정 경계로 찾는 알고리즘다. 그러나 입력된 자료가 선형의 결정 경계로 구분하 어려운 경우, SVM에서는 커널(kernel) 기법을 이용할 수 있다. 커널 기법은 입력 자료의 차원을 다차원 공간으로 투영(mapping)하여 투영된 다차원 공간에서 최적의 결정 경계를 찾는 방법이다(Hsu et al., 2003; Maulik and Chakraborty, 2017). 여기서 다양한 비선형의 커널 함수가 사용될 수 있는데, 다항식(polynomial) 커널과 RBF(radial basisfunction) 커널 등이 대표적이다. 커널 함수가 정의되면 다음 정의해야 하는 하이퍼파라미터로 규제 매개변수(C)와 커널 폭의 역수인 gamma가 있다(Hsu et al., 2003). C는 각 훈련자료의 중요도를 제한하는 역할을 하며, 그 값이 클수록 분류 항목을 구분하는 결정 경계가 비선형에 가까운 형태가 된다. gamma는 훈련자료가 미칠 수 있는 영향의 범위를 정의하며 그 값이 클수록 즉, 커널 폭이 좁아질수록 복잡한 모델을 생성하게 된다.

(2) CNN

CNN은 딥러닝 알고리즘의 대표적인 모형으로 뇌의 시각피질(visual cortex)에 대한 신경과학 연구에서 기반된 모형이다(LeCun et al., 2015). 시각피질에는 국소적인 특징 혹은 특정 패턴에만 반응하는 세포들이 존재하는데, CNN은 이러한 특징을 차용한 방법으로 컨볼루션 필터(convolution filter)를 사용해 공간적 특징을 추출하고 이를 기반으로 분류를 수행한다. 특히, 공간적 특징을 추출하기 위해 일반적인 기계학습 알고리즘과 달리 CNN의 입력 자료는 공간 영역(patch) 단위로 구성된다(Sharma et al., 2017). 즉 일반적인 기계학습 알고리즘은 화소 단위의 분광정보를 기반으로 분류를 수행하였다면, CNN은 patch 단위의 분광정보를 기반으로 분류를 수행하게 된다(Fig. 2). 일반적으로 2차원의 입력 자료에서 분광차원을 고려하는 CNN을 2D-CNN이라 하고, 여기에 시간 차원을 확장한 구조를 3D-CNN이라 한다(Ji et al., 2018). 즉 Fig. 2(a)와 같이 2D-CNN은 다중 분광 및 다중 시기의 차원을 구분하지 않고 하나의 차원으로 보는 구조인 반면 3D-CNN은 다중 분광과 다중 시기의 차원을 구분하여 시간 정보를 고려할 수 있는 구조이다(Fig. 2(b)).

Fig. 2. Architecture of CNN model. (a) 2D-CNN and (b) 3D-CNN.

Patch 단위로 구성된 입력 자료로부터 공간적 특징을 추출하기 위해 CNN은 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)을 사용한다(LeCun et al., 2015). 컨볼루션 계층은 컨볼루션 연산을 통해 입력된 자료를 변환시켜 공간적 특징을 추출한다. 특히, 컨볼루션 계층에서는 다수의 컨볼루션 연산을 통해 여러 형태의 공간적 특징 정보를 추출할 수있다. 이러한 공간적 특징 정보를 특징 영상(feature map이라 하는데, 추출된 특징 영상에서 인접한 화소는 서로 유사한 특징을 갖게 될 가능성이 높기 때문에 차원 축소를 목적으로 풀링 계층이 적용된다. 다음 전결합층(fully connected layer, FC)을 통해 추출된 특징 정보를 결합하고 결합된 정보로부터 분류를 수행하게 된다(LeCun et al., 2015).

2) 비교 방법

기계학습 알고리즘과 딥러닝 알고리즘의 비교를 위해 본 연구에서는 두 알고리즘을 이용한 다중시기 원격탐사 자료를 이용한 작물분류를 수행하고, 각 알고리즘의 하이퍼파라미터 및 훈련자료 수에 따른 영향을 비교하였다(Fig. 3). 각 분류 모형에서 적용된 하이퍼파라미터 및 훈련자료 수는 Table 3에 요약하여 제시하였다.

Fig. 3. Procedure for comparison experiment of SVM, 2D-CNN, and 3D-CNN.

Table 3. Summary of parameters in each model and each study area

(1) 하이퍼파라미터의 영향

먼저 SVM의 대표적인 하이퍼파라미터로 커널 함수, C와 gamma를 정의할 수 있다. 그러나 본 연구에서는 다양한 커널 함수 중 일반적으로 분류 성능이 높은 것으로 알려져 있는 RBF 커널을 적용하고(Hsu et al., 2003; Maulik and Chakraborty, 2017), Table 3과 같이 C와 gamma를 하이퍼파라미터로 정의하여 이에 따른 분류 성능을 분석하였다. 특히 C와 gamma 값을 정의하기 위해 grid search를 적용하였는데, grid search는 분석자가 정의한 값의 범위 안에서 두 파라미터의 다양한 조합을 탐색하고 k-겹(k-fold) 교차검증(cross-validation)을 통해 가장 최적의 조합을 갖는 파라미터 값을 찾아내는 방법이다(Hsu et al., 2003). 본 연구에서는 0.01에서 10000까지 C와 gamma의 범위를 정의하고, 3-fold 교차검증 기반의 grid search를 통해 최적의 C와 gamma의 조합을 선정하였다(Table 3).

CNN의 경우 SVM에 비해 상대적으로 정의해야 하는 하이퍼파라미터가 다양하다(Sinha et al., 2017). 분석자가 정의해야 하는 파라미터로는 입력 자료의 크기(patch 크기), 필터 크기, 각 계층에서 추출되는 특징 영상의 수(number of filters), 다중 계층의 수, 배치 크기, 활성화 함수, 반복 횟수 등이 있다. 본 연구에서는 다양한 파라미터 중에서 CNN 모델의 최적화에서 많이 고려되어 왔던 입력 자료의 크기(P), 필터 크기(k), 특징 정보의 수(F), 계층의 수, 반복 횟수를 하이퍼파라미터로 정의하고 그 영향을 분석하였다(Sameen et al., 2018) 먼저 영상의 공간해상도와 차원을 고려하여 해남군과 Illinois 주의 입력 자료 및 널의 크기를 Table 3과 같이 정의하였으며, 필터 수는 F₁, F₂의 두 단계로 정의하여 모델의 계층이 증가할수록 다양한 특징 영상을 추출할 수 있도록 정의하였다. 일반적으로 입력 자료의 분광 차원(혹은 시간 차원)보다 큰 값으로 필터 수를 정의하기 때문에 본 연구에서는 필터 수(F₁, F₂)를 (32, 64) 및 (100, 200)으로 정의하였다(Table 3). 이와 함께 CNN 모델에서 계층의 수를 다르게 정의하여 그 영향을 분석하였는데, 이 연구에서는 Fig. 4와 같이 컨볼루션 계층, 풀링 계층, 그리고 전결합층을 5개, 10개, 15개의 층으로 조합하여 분류 성능을 비교하였다. 마지막으로 모델의 가중치 갱신을 위한 반복 횟수를 다르게 정의하여 그 영향을 분석하였다(Table 3).

Fig. 4. CNN model architecture with multiple layers.

하이퍼파라미터의 영향을 분석하기 위해 두 지역에서 각 분류 모형에 사용되는 훈련자료의 수를 동일하게 정의하였는데, 해남군의 경우 전체 연구 지역에서 0.1%에 해당하는 화소를 훈련자료로 사용하였으며, Illinois 주의 경우 전체 연구 지역에서 0.5%의 화소를 훈련자료로 사용하였다. 또한 CNN에서 고려하는 하이퍼파라미터 외에 정의해 주어야 하는 파라미터(활성화 함수, 출력계층에서 손실함수 및 optimizer 등)를 모두 동일하게 적용하였다. 먼저 활성화 함수로는 적용이 간단하고 일정 수준의 성능을 낼 수 있는 것으로 알려져 있는 ReLU(rectified linear unit) 함수를 사용하였으며, 손실함수와 optimizer로 각각 cross-entropy와 stochastic gradient descent를 적용하였다.

(2) 훈련자료 크기의 영향

또한 본 연구에서는 분류 모형의 하이퍼파라미터에 따른 영향 분석과 함께 각 모형에서 훈련자료 수에 따른 분류 성능을 비교하였다. 훈련자료 수의 영향을 비교하기 위해 해남군과 Illinois 주를 대상으로 분류 항목의 비율을 고려해 훈련자료의 수를 증가시켜가면서 분류 성능을 비교하였다. 상대적으로 높은 공간해상도를 갖는 해남군의 경우 훈련자료의 수를 전체 지역의 0.02%부터 0.5%까지 증가시켜가면서 비교하였으며, Illinois 주의 경우 훈련자료의 수를 전체 지역의 0.1%에서 3%까지 증가시켜가면서 비교하였다(Table 3). 특히 가장 적은 훈련자료를 사용했을 때와 가장 많은 훈련자료를 사용했을 때, SVM, 2D-CNN, 그리고 3D-CNN에서 분류 성능의 향상 정도를 비교하였다.

3. 결과 및 토의

1) 하이퍼파라미터에 따른 분류 결과

(1) SVM

Fig. 5와 같 grid search를 통해 해남군과 Illinois 주를 대상으로 최적의 하이퍼파라미터 값을 정의하였다. 교차검 기반의 grid search 결과, 해남군 해남군은 35% ~ 73% 그리고 미국 Illinois 주에서는 36% ~ 94%의 분류정확도를 제시하였다. 이는 SVM의 분류 성능에 하이퍼파라미터의 영향이 큰 것을 의미하며, 대상 지역 및 자료에 따라 분석자가 적절한 하이퍼파라미터를 정의해야 한다는 것을 의미한다.

Fig. 5. Cross validated scores in grid search of SVM. The best case is shown with underline. (a) Haenam-gun and (b) Illinois State.

(2) CNN

CNN에서 하이퍼파라미터의 영향을 비교하기 위해 본 연구에서는 Table 1에 제시된 검증자료를 사용하여 전체 정확도를 계산하고 이를 비교하였다. 먼저 입력 자료와 커널 크기에 따른 적용 결과, Table 4와 같이 해남군과 Illinois 주에서 각각 최적의 입력 자료 크기가 다르게 나타났다. 일반적으로 입력 자료의 크기가 클수록 분류 성능이 높아지는 것으로 알려져 있는데(Sameen et al., 2018), 해남군의 경우 입력 자료의 크기가 작을수록 분류 성능이 높아지는 것으로 나타났다. 이는 해남군 지역의 공간특성의 영향으로 판단되는데, 해남군의 경우 상대적으로 유사한(homogeneous) 공간특성을 보이기 때문에 하나의 입력 자료 안에 단일 항목이 포함될 가능성이 높다(Fig. 1(a)). 그러나 입력 자료의 크기가 커질수록 다른 토지피복 항목이 들어갈 확률이 높아지게 되는데 이러한 영향이 분류 성능을 저하시킨 것으로 판단된다. 반면 Illinois 주의 경우 다양한(heterogeneous) 공간 특성을 나타내고 있어 하나의 입력 자료 안에 다양한 토지피복 항목이 들어가 있을 확률이 상대적으로 높다고 할 수 있다(Fig. 1(b)). 따라서 입력 자료의 크기가 커질수록 다중 분류 항목의 관계를 고려하기에 유리해지면서 분류 성능이 증가하게 된 것으로 판단된다. 또한 입력자료의 크기가 커질수록 커널 크기의 영향이 증가하는 것으로 나타났는데, 특히 커널 크기가 커질수록 분류 성능이 저하되는 것으로 나타났다. 이는 커널 크기가 작을수록 입력 자료로부터 상대적으로 상세한 특징 정보를 추출할 수 있지만, 크기가 커질수록 세밀한 정보를 얻기 어려워지면서 분류 성능이 저하된 것으로 판단된다.

Table 4. Accuracy obtained from 2D-CNN and 3D-CNN with different combinations of patch size and kernel size (The best case is shown in bold with underline, unit: %)

다음 필터 수의 영향을 분석한 결과, 일반적으로 필터 수 증가하면 입력 자료로부터 추출되는 특징 정보가 많아지게 되지만 본 연구 결과에서는 추출되는 특징정보가 많아더라도 분류 성능에 큰 영향을 주지 않는 것으로 나타났다(Table 5). 또한 추출되는 특징 정보를(32, 64)로 정의한 경우보다 (100, 200)으로 정의한 경우에서 처리 시간이 약 4배 증가하는 것으로 나타났다. 이는 다양한 특징 정보가 추출되더라도 항상 유효한 정보가 추출되는 것이 아님을 의미하며, 다량의 특징 정보를 추출하는 경우 처리 시간이 증가하기 때문에 처리에 효율성을 고려해 적절한 특징 정보의 수를 정의해야 함을 의미한다.

Table 5. Accuracy obtained from 2D-CNN and 3D-CNN with different number of filters (The best case is shown in bold with underline, unit: %)

세 번째 하이퍼파라미터로 계층의 수를 분석한 결과, 해남군과 미국 Illinois 주 모두 계층의 수가 증가할수록 분류 성능이 저하되는 것으로 나타났다(Table 6). 특히 15개의 계층을 사용했을 때 두 지역 모두 대상 지역에서 가장 많은 비율을 차지하는 항목으로 과대추정되는 경향을 확인하였다. 이는 다중 계층을 쌓아 갈수록 모델이 비선형화 되며 보다 복잡한 모델이 생성되는데, 이러한 영향으로 특정 항목으로의 과적합(overfitting)이 나타나면서 분류 성능이 저하된 것으로 판단된다.

Table 6. Accuracy obtained from 2D-CNN and 3D-CNN with different number of layers (The best case is shown in bold with underline, unit: %)

앞서 정의된 최적의 하이퍼파라미터 값을 이용해 해남군과 Illinois 주를 대상으로 반복 회수를 5에서 100까지 증가시켜가면서 분류 성능을 비교하였다(Fig. 6). 두 지역 모두 반복 횟수가 증가할수록 분류 성능이 향상되는 경향을 나타냈지만 그 향상정도는 해남군 보다 Illinois 주에서 더 크게 나타났다. 이는 입력 자료 및 커널의 크기를 비교한 부분과 같이 해남군과 Illinois 주의 공간특성의 차이에 따른 영향으로 판단된다. 상대적으로 공간특성이 일정하게 나타나는 해남군의 경우 가중치의 갱신 횟수가 적더라도 즉, 반복 횟수가 적더라도 일정 수준의 분류 성능을 보일 수 있었던 것으로 판단된다.

Fig. 6. Accuracy obtained from 2D-CNN and 3D-CNN with different number of epochs in Haenam-gun and Illinois State.

SVM과 비교했을 때 상대적으로 고려해야 하는 CNN의 하이퍼파라미터는 다양하지만, 일부 파라미터를 제외하고 그 영향은 상적으로 적은 것으로 나타났다. 또한 SVM과 다르게 두 지역에서 정의되는 최적의 하이퍼파라미터 값이 유한 것으로 나타났다. 이러한 결과를 바탕으로 특정 지역을 대상으로 최적화된 CNN 모델의 하이퍼파라미터를 이용해 다른 지역에 적용할 수 있는 전이학습(transfer learning)으로 확장시킬 가능성이 높을 것으로 판단된다.

2) 훈련자료 수에 따른 분류 결과

먼저 해남군에서 훈련자료 수에 따른 분류 결과를 살펴보면, 가장 적은 훈련자료를 사용했을 때와 가장 많은 훈련자료를 사용했을 때의 분류 향상 정도가 SVM,2D-CNN, 그리고 3D-CNN에서 각각 2.13%p, 3.03%p, 6.33%p로 나타났다. 또한 가장 많은 훈련자료를 사용했을 때 가장 많은 성능 향상을 보인 3D-CNN에서 분류 정확도가 상대적으로 높게 나타났고, 다음 2D-CNN과 SVM 순으로 나타났다(Fig. 7(a)). 세 모형의 분류 정확도 차이가 크지 않지만 McNemar 검정 결과, 유의수준 5%에서 세 모형의 분류 결과에서 유의미한 차이가 있는 것으로 확인하였다. 3D-CNN에서 상대적으로 분류 정확도가 높게 나타난 이유는 Fig. 8(a)에서 빨간색 박스에서와 같이 SVM과 2D-CNN에서 나타난 가을배추와 겨울 배추의 혼재 양상이 완화되었기 때문으로 판단된다.

Fig. 7. Accuracy obtained from SVM, 2D-CNN, and 3D-CNN with different training sample size. (a) Haenam-gun and (b) Illinois State.

Fig. 8. Classification results obtained from SVM, 2D-CNN, and 3D-CNN with different training sample size. (a) Haenam-gun (Significant differences are shown in red box) and (b) Illinois State.

다음 미국 Illinois 주를 대상으로 가장 적은 훈련자료를 사용했을 때와 가장 많은 훈련자료를 사용했을 때의 분류 향상 정도를 비교해 보면 SVM, 2D-CNN, 그리고 3D-CNN에서 각각 4.37%p, 25.82%p, 10.37%p로 나타났다(Fig. 7(b)). 해남군에 비해 2D-CNN과 3D-CNN에서 나타난 분류 향상 정도가 상대적으로 큰 것으로 나타났는데. 특히 2D-CNN에서 분류 정확도의 향상 정도가 상대적으로 크게 나타났다. 이는 Fig. 8(b)와 같이 가장 적은 훈련자료를 사용했을 때 옥수수가 과대추정되면서 분류 정확도가 상대적으로 낮게 나타난 영향으로 판단된다. 가장 많은 훈련자료를 사용했을 때, 분류 정확도는 해남군과 반대로 SVM, 2D-CNN, 3D-CNN 순으로 높게 나타났다(Fig. 7(b)). 해남군에 비해 Illinois 주의 우 전체 지역을 대상으로 분류 결과의 양상 차이가 상대적으로 크지 않은 것으로 나타나 이후 분석에서는 확대된 지역을 대상로 각 분류 결과의 양상을 비교 분석하였다.

3) 분류 모형의 비교 분석

(1) SVM과 CNN의 비교

해남군 지역의 경우 상대적으로 딥러닝 알고리즘인 CNN의 분류 성능이 높게 나타난 반면, Illinois 주의 경우 오히려 딥러닝 알고리즘의 분류 성능이 떨어지는 것으로 나타났다. 두 지역에서 나타난 분류 성능의 차이를 분석하기 위해 Illinois 주를 대상으로 입력 자료에서 나타나는 공간특성을 시각적으로 살펴보았다. 그 결과, Fig. 9와 같이 Illinois 주에서 같은 작물 재배지역이더라도 다른 공간특성이 나타났다. 이는 하나의 입력 자료 안에 콩(작물), 수계, 산림, 나지 등 다양한 토지피복이 포함될 가능성이 높은 것을 의미한다. 따라서 같은 작물이더라도 다양한 토지피복이 포함되면서 다른 공간 특성을 보이기 때문에 CNN의 경우 다른 분류 항목으로 오분류할 가능성이 높아지게 된다.

Fig. 9. Examples of spatial characteristics in Illinois State with false color composite multi-temporal Landsat images and reference data​​​​​​​.

또한 Illinois 주에서 훈련자료의 크기가 증가할수록 SVM 보다 2D-CNN과 3D-CNN에서 분류 성능의 향상 정도가 상대적으로 크게 나타났다. 2D-CNN과 3DCNN의 가장 적은 훈련자료를 이용한 Illinois 주의 분류 결과에서 오분류 양상이 두드러지게 나타났으며 훈련자료의 수가 증가하면서 이러한 오분류 양상이 줄어든 것을 확인할 수 있다(Fig. 10). 이러한 결과는 상대적으로 다양한 공간특성을 보이는 지역을 대상으로 CNN을 적용할 때 다양한 공간특성을 반영할 수 있도록 다량의 훈련자료가 수집되어야 한다는 것을 의미한다.

Fig. 10. Visual comparison of SVM and CNN results using the smallest and largest training samples with Landsat image (2017.07.29) in sub-areas. (a) 2D-CNN and (b) 3D-CNN​​​​​​​.

(2) 3D-CNN의 영향 분석

본 연구에서는 시간정보를 고려할 수 있는 3D-CNN을 적용하여 작물분류에서의 그 영향을 분석하고자 하였다. 연구 결과, 해남군의 경우 3D-CNN의 분류 결과에서 가을배추와 겨울배추의 오분류 양상이 완화된 것으로 나타났다(Fig. 8(a)). 반면 Illinois 주의 경우 3D-CNN의 분류 결과에서 옥수수와 겨울밀이 콩으로 오분류되면서 콩의 과대추정 양상이 나타났다. 이러한 영향으로 해남군에 비해 Ilinois 주에서 3D-CNN의 분류 성능이상대적으로 낮게 나타났다. 이를 분석하기 위해 입력 자료의 구조가 (1) 분광 및 시간을 하나의 차원으로 구성, (2) 분광 및 시간을 다른 차원으로 구성되었을 때, 오분류된 지역과 정분류된 지역의 시계열 분광패턴에 대한 비유사도(dissimilarity)를 비교하였다. 즉, (1)은 SVM과 2D-CNN에서의 입력 자료의 구조를 (2)는 3D-CNN에서의 입력 자료의 구조를 의미한다. 해남군의 경우 가을배추와 겨울배추가 주로 오분류되는 지역과 가을배추가 정분류된 지역에 대한 분광패턴의 비유사도를 측정하였고, Illinois 주의 경우 콩이 오분류된 지역과 콩이 정분류된 지역의 분광 패턴에 대한 비유사도를 측정하였다. 정분류된 지역의 시계열 분광패턴(X)과 오분류된 지역의 시계열 분광패턴(Y)에 대해 식 (1)을 이용해 교차상관성 정보(COR(X,Y))를 계산하고, 식 (2)를 이용해 교차상관성이 작을수록 비유사성이 커지는 형태로 비유사도를 계산하였다(Montero and Vilar, 2014).

\(\operatorname{COR}\left(X_{T}, Y_{T}\right)=\frac{\sum_{i=1}^{T}\left(X_{t}-\bar{X}_{T}\right)\left(Y_{t}-\bar{Y}_{T}\right)}{\sqrt{\sum_{i=1}^{T}\left(X_{t}-\bar{X}_{T}\right)^{2}} \sqrt{\sum_{i=1}^{T}\left(Y_{t}-\bar{Y}_{T}\right)^{2}}}\)       (1)

\(d_{C O R}\left(X_{T}, Y_{T}\right)=\sqrt{2\left(1-\operatorname{COR}\left(X_{T}, Y_{T}\right)\right)}\)​​​​​​​       (2)

여기서 T는 입력 자료의 다중시기를 의미하며, \(\bar{X}_{T}\)와 \(\bar{Y}_{T}\)는 각각 정분류된 지역과 오분류된 지역의 시계열 분광 패턴에 대한 평균을 의미한다

Table 7과 같이 해남군의 경우 분광 및 시간을 다른 차원으로 보는 구조에서 비유사도가 증가한 것으로 나타났으며 이를 통해 3D-CNN에서 분광학적인 구분력이 향상되면서 가을배추와 겨울배추의 오분류 양상이 줄어든 것을 설명할 수 있다. 반면 미국 Illinois 주의 경우 SWIR 채널을 제외하고 분광 및 시간을 하나의 차원으로 보는 구조와 비유사도가 유사하거나 오히려 떨어지는 것으로나타났다.

Table 7. Comparison of dissimilarity for two different structures of input data​​​​​​​

오분류된 지역과 정분류된 지역의 분광학적 구분력이 낮게 나타난 것은 입력 자료에 포함된 일종의 잡음에 의한 영향으로 간주할 수 있다. 이와 관련하여 GarciaGarcia et al.(2017)에서는 3D-CNN의 상대적으로 높은 복잡도로 훈련자료에 과적합되는 결과를 보이며, 잡음이 포함된 자료의 분류를 수행할 경우 오히려 잡음의 영향을 많이 받게 되는 것을 확인하였다. 이러한 결과와 같이 Illinois 주의 경우, 3D-CNN의 훈련 정확도는 97.4%로 매우 높은 정확도에 비해 대상 지역의 분류 정확도는 88.80%로 그 차이가 크다고 할 수 있다. 즉, 상대적으로 3D-CNN의 훈련 정확도는 높지만 오히려 훈련자료에 과적합되면서 분류과정에서 입력 자료의 잡음효과와 다양한 공간특성의 영향으로 분류 성능이 저하된 것으로 판단된다.

4. 결론

이 연구에서는 다중시기 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 분류 성능을 비교하였다. 이를 위해 모형의 하이퍼파라미터에 따른 영향과 훈련자료 크기에 따른 영향을 분석하였으며, 전라남도 해남군과 미국 Illinois 주를 대상으로 SVM과 CNN을 이용한 작물분류를 수행하였다. 특히 CNN에서 2차원의 공간정보를 고려하는 2D-CNN과 여기에 시간 차원을 확장한 구조의 3D-CNN을 적용하여 각 알고리즘의 분류 성능을 분석하였다.

하이퍼파라미터에 따른 실험 결과, 상대적으로 소수의 하이퍼파라미터를 고려하는 SVM의 경우 두 지역에서 정의된 최적의 하이퍼파라미터 값이 상이하게 나타난 반면, 다양한 하이퍼파라미터를 고려하는 CNN의 경우 두 지역에서 정의된 최적의 하이퍼파라미터가 유사하게 나타났다. 이러한 결과를 바탕으로 CNN에서는 하이퍼파라미터 최적화에 많은 시간이 소요될 수 있지만 최적화된 CNN 모델을 다른 지역으로 확장할 수 있는 전이학습(transfer learning)의 적용이 가능할 것으로 판단된다. 다음 훈련자료 크기의 실험 결과, SVM과 CNN 모두 훈련자료가 증가할수록 분류 성능이 증가하는 경향을 보였다. 특히 SVM 보다 CNN에서 향상 정도가 큰 것으로 나타났는데, 해남군의 경우 SVM, 2D-CNN, 그리고 3D-CNN에서 각각 2.13%p, 3.03%p, 6.33%p의 향상 정도를 보였으며 Illinois 주에서는 각각 4.37%p, 25.82%p, 10.37%p의 향상 정도를 나타냈다. 상대적으로 다양한 공간특성을 보이는 Illinois 주에서 두 CNN 알고리즘의 향상 정도가 크게 나타났다.

이러한 연구 결과를 바탕으로 대상 지역의 공간특성을 고려해 적절한 분류 알고리즘을 선택해야 할 것으로 판단된다. 또한 다양한 공간특성을 보이는 지역을 대상으로 CN을 적용할 때 이를 반영할 수 있는 다량의 훈련자료가 수집되어야 일정 수준의 분류 성능을 담보할 수 있을 것으로 판단된다. 그러나 3D-CNN의 경우, 다량의 훈련자료를 수집하더라도 분광학적 구분력이 낮게 나타나는 일종의 잡음 효과가 있을 경우 분류 성능이 저하될 수 있다. 이와 관련하여 향후 3D-CNN의 적용에서 훈련자료의 과적합 및 잡음의 영향 등을 분석할 예정이다.