DOI QR코드

DOI QR Code

Satellite-Based Cabbage and Radish Yield Prediction Using Deep Learning in Kangwon-do

딥러닝을 활용한 위성영상 기반의 강원도 지역의 배추와 무 수확량 예측

  • Hyebin Park (Department of Applied Artificial Intelligence, Seoul National University of Science and Technology) ;
  • Yejin Lee (Department of Applied Artificial Intelligence, Seoul National University of Science and Technology) ;
  • Seonyoung Park (Department of Applied Artificial Intelligence, Seoul National University of Science and Technology)
  • 박혜빈 (서울과학기술대학교 인공지능응용학과 ) ;
  • 이예진 (서울과학기술대학교 인공지능응용학과 ) ;
  • 박선영 (서울과학기술대학교 인공지능응용학과 )
  • Received : 2023.09.30
  • Accepted : 2023.10.16
  • Published : 2023.10.31

Abstract

In this study, a deep learning model was developed to predict the yield of cabbage and radish, one of the five major supply and demand management vegetables, using satellite images of Landsat 8. To predict the yield of cabbage and radish in Gangwon-do from 2015 to 2020, satellite images from June to September, the growing period of cabbage and radish, were used. Normalized difference vegetation index, enhanced vegetation index, lead area index, and land surface temperature were employed in this study as input data for the yield model. Crop yields can be effectively predicted using satellite images because satellites collect continuous spatiotemporal data on the global environment. Based on the model developed previous study, a model designed for input data was proposed in this study. Using time series satellite images, convolutional neural network, a deep learning model, was used to predict crop yield. Landsat 8 provides images every 16 days, but it is difficult to acquire images especially in summer due to the influence of weather such as clouds. As a result, yield prediction was conducted by splitting June to July into one part and August to September into two. Yield prediction was performed using a machine learning approach and reference models , and modeling performance was compared. The model's performance and early predictability were assessed using year-by-year cross-validation and early prediction. The findings of this study could be applied as basic studies to predict the yield of field crops in Korea.

인공위성은 시공간적으로 연속적인 지구환경 데이터를 제공하므로 위성영상을 이용하여 효율인 작물 수확량 예측이 가능하며, 딥러닝(deep learning)을 활용함으로써 더 높은 수준의 특징과 추상적인 개념 파악을 기대할 수 있다. 본 연구에서는 Landsat 8 위성 영상을 활용하여 다시기 영상 데이터를 이용하여 5대 수급 관리 채소인 배추와 무의 수확량을 예측하기 위한 딥러닝 모델을 개발하였다. 2015년부터 2020년까지 배추와 무의 생장시기인 6~9월 위성영상을 이용하여 강원도를 대상으로 배추와 무의 수확량 예측을 수행하였다. 본 연구에서는 수확량 모델의 입력자료로 Landsat 8 지표면 반사도 자료와 normalized difference vegetation index, enhanced vegetation index, lead area index, land surface temperature를 입력자료로 사용하였다. 본 연구에서는 기존 연구에서 개발된 모델을 기반으로 우리나라 작물과 입력데이터에 맞게 튜닝한 모델을 제안하였다. 위성영상 시계열 데이터를 이용하여 딥러닝 모델인 convolutional neural network (CNN)을 학습하여 수확량 예측을 진행하였다. Landsat 8은 16일 주기로 영상이 제공되지만 구름 등 기상의 영향으로 인해 특히 여름철에는 영상 취득에 어려움이 많다. 따라서 본 연구에서는 6~7월을 1구간, 8~9월을 2구간으로 나누어 수확량 예측을 수행하였다. 기존 머신러닝 모델과 참조 모델을 이용하여 수확량 예측을 수행하였으며, 모델링 성능을 비교했다. 제안한 모델의 경우 다른 모델과 비교했을 때, 높은 수확량 예측 성능을 나타내었다. Random forest (RF)의 경우 배추에서는 제안한 모델보다 좋은 예측 성능을 나타내었다. 이는 기존 연구 결과처럼 RF가 입력데이터의 물리적인 특성을 잘 반영하여 모델링 되었기 때문인 것으로 사료된다. 연도별 교차 검증 및 조기 예측을 통해 모델의 성능과 조기 예측 가능성을 평가하였다. Leave-one-out cross validation을 통해 분석한 결과 참고 모델을 제외하고는 두 모델에서는 유사한 예측 성능을 보여주었다. 2018년 데이터의 경우 모든 모델에서 가장 낮은 성능이 나타났는데, 2018년의 경우 폭염으로 인해 이는 다른 년도 데이터에서 학습되지 못해 수확량 예측에 영향을 준 것으로 생각되었다. 또한, 조기 예측 가능성을 확인한 결과, 무 수확량은 어느 정도 경향성을 나타냈지만 배추의 경우 조기 예측 가능성을 확인하지 못했다. 향후 연구에서는 데이터 형태에 따라 CNN의 구조를 조정해서 조기 예측 모델을 개발한다면 더 개선된 성능을 보일 것으로 생각된다. 본 연구 결과는 우리나라 밭 작물 수확량 예측을 위한 기초 연구로 활용될 수 있을 것으로 기대된다.

Keywords

1. 서론

기후변화와 극기상 등의 영향으로 작물 수확량에 변동성이 전 세계적으로 커지고 있다. 지속적인 세계 농업 생산의 발전에도 불구하고 다양한 요인들로 인해 여전히 작물 생산량 예측에는 한계가 있다(Fritz et al., 2019). 정확한 작황 면적 산출과 작물 수확량 예측을 통한 국가 식량 안보 강화는 중요하다(Khaki and Wang, 2019). 생산량의 변동성은 큰 사회적 혼란을 초래할 수 있기에 지속적인 작물 모니터링이 필요하다. 우리나라의 경우 국립농업과학원, 통계청, 환경부 등에서 작황면적과 수확량 정보를 제공하고 있지만, 논, 밭, 시설재 배지 단계로만 지도가 제공되며, 작물별 상세 지도는 제공되고 있지 않은 상황이다. 따라서 이와 같은 정보를 이용하여 작물별의 수확량 예측에는 여전히 한계가 많은 상황이다. 생산량이 많은 작물은 주로 노지에서 재배된다. 노지에서 재배되는 작물은 기후, 날씨 등의 환경 요인의 영향을 받으며 생장한다.

위성 데이터는 시공간적으로 연속적인 고해상도 데이터를 제공하며 식생 지수 및 지표면 온도 등의 지구환경 정보를 제공하기 때문에 다양한 농업 분야에 활용되고 있다(Park et al., 2016). 이러한 특성으로 인해 전 세계적으로 위성 산출물(식생지수, 토양수분, 지표면온도, 증발산량 등)을 이용한 작물 상태를 모니터링하고 재배면적 및 수확량 예측 연구가 활발히 수행되어 왔다(Seong et al., 2020; van Klompenburg et al., 2020; Nevavuori et al., 2019; Park et al., 2018). Johnson et al. (2021)은 ormalizeddifference vegetation index (NDVI)를 이용하여 미국 옥수수, 콩및봄 밀의 생산량을 예측하였다. Shammi and Meng (2021)은 NDVI와 enhanced vegetation index (EVI)를 기반으로 콩 수확량 예측 모델을 구현하였다. Wang et al. (2022)은 중국의 겨울 밀을 대상으로 leaf area index (LAI)를 이용하여 long short-term memory (LSTM) 기법을 적용해 작물 생산량 예측 모델을 개발하였다. Franch et al. (2021)은 작물 생산량 예측에 land surface temperature (LST)를 추가함으로써 생산량 예측 불확실성을 개선하였다.

국내에서도 다양한 수확량 예측 및 작물별 재배지 분류 연구가 수행되어 왔다. Hong et al. (2022)의 연구에서는 Sentinel-2 위성영상을 이용하여 하계 논 재배, 동계 작물 재배 필지를 구분하여 여러 분류기법을 평가하였다. Lee et al. (2021)의 연구에서는 벼 주산지인 김제시를 대상으로 Sentinel-1 위성영상을 활용하여 기계학습을 사용해 이앙이 마무리되는 7월 초순 벼 재배면적을 조기 추정하였다. 우리나라의 경우 비교적 작은 면적 내에 다양한 작물이 재배되고 있어서 위성영상 뿐만 아니라 드론을 이용한 연구 또한 활발히 진행되어 왔다. Ryu et al.(2022)은 드론 영상을 촬영하여 다중 분광 영상을 기반으로 배추 객체탐지 연구를 진행하였다. Lee et al. (2016)은 창녕군과 합천군을 대상으로 무인항공기를 활용해 양파, 마늘 재배지 분류를 수행하였다.

기존 작물별 재배면적 및 수확량을 예측하기 위해 random forest (RF), support vector machine 등 전통적인 머신러닝 기법이 활발하게 사용되어왔다(van Klompenburg et al., 2020). 최근 들어 딥러닝을 이용한 연구가 활발히 이루어지고 있으며, 인공지능의 한 분야인 딥러닝은 데이터 간의 공간적인 패턴과 관계를 파악하고 픽셀 내 채널들의 물리적인 정보도 함께 피쳐(feature)로 활용하는 접근 방법이다(Yoo et al., 2019). 연속적으로 연결된 신경층을 통해 높은 수준의 특징과 추상적인 개념을 파악할 수 있다(Kattenborn et al., 2021). 딥러닝 모델 중에서 convolutional neural network (CNN) 은 그리드(grid) 형태의 데이터를 처리하는 데 특화되어 있으며, 풀링(pooling)과 활성화 함수를 활용해 데이터 내에서 숨겨진 특징을 탐지할 수 있다(Nevavuor et al., 2019). Mu et al. (2019)은 CNN을 기반으로 히스토그램(histogram) 차원 축소와 시계열 융합을 적용해 중국의 겨울 밀 생산량을 예측했으며, CNN을 통해 관련성 높은 정보를 추출해 모델의 견고성을 보였다.

연구에서는 위성 영상과 딥러닝 기법을 활용해 노지 작물 재배가 주를 이루는 강원도를 대상으로 작물 수확량 예측 연구를 진행하였다. 본 연구에서는 5대 수급 관리 채소인 배추와 무를 대상으로 수확량 예측을 수행하였다. 5대 수급 관리 채소는 필수 식재료이며 총합 5조원 이상의 거대한 시장규모를 형성한다. 노지에서 자라기 때문에 가격 변동이 매우 심한 작물로 양파, 마늘, 무, 배추, 건고추가 있다. 본 연구는 다음과 같은 목적을 갖고 수행되었다: (1) CNN 기반의 히스토그램 차원 축소와 시계열 융합을 적용해 배추와 무 수확량 예측, (2) 참고논문의 모델과 기존 기계학습 모델의 결과와 비교, (3) 배추와 무 수확량 조기 예측 가능성 평가.

2. 연구자료 및 방법

2.1. 연구 지역

연구 지역인 강원도는 고원으로 이루어져 고랭지 밭이 발달하여 밭 작물 생산량이 높은 편이며, 대부분의 작물이 하우스가 아닌 노지에서 생산된다. 노지작물의 경우 위성영상으로 모니터링되는 노지 및 작물의 정보를 실제 수확량 예측에 반영할 수 있을 것으로 판단하였다. 이러한 지역적 특성을 기반으로 위성 영상을 활용한 강원도 작물 모니터링을 수행하였다. 연구 지역의 작물 생산량 제공 유무와 구름 등의 영향으로 인한 위성 영상 품질을 확인하여 Fig. 1과 같이 강원도의 총 56개 행정구역을 대상으로 연구를 진행하였다.

OGCSBN_2023_v39n5_3_1031_f0001.png 이미지

Fig. 1. Study area:(a) map of theRepublic ofKorea based on Google Earth image and (b) administrative districts used in this study based on Landsat 8 image.

2.2. 연구 자료

2.2.1. 토지피복도 및 작물 수확량

강원도의 주산물인 배추와 무를 대상으로 하는 작물 수확량 예측 모델을 만들기 위해, 본 연구에서는 레퍼런스 자료로 통계청 지자체 생산량 조사자료를 활용하였다. 통계청 지자체 생산량 조사는 연구 당시 2012년부터 2020년까지 조사가 완료되었으며, 2021년과 2022년은 대부분 지역이 미완료 되어있어 연구 기간에서 제외하였다. 위성영상을 이용한 수확량 예측을 위해 연구 지역의 영상 중 밭 지역의 픽셀 값만 추출하기 위해 환경부에서 제공하는 2022년도 중분류 토지피복도를 사용하였다. 중분류 토지피복도는 5 m 공간해상도로 제공된다. 작물 별 지도가 제공되지 않기 때문에 토지피복도에서 제공되는 밭 클래스의 데이터만 추출하여 모델학습 시 혼동을 줄이고자 하였다.

2.2.2. 위성영상

본 연구에서는 Landsat 8 위성영상을 활용하여 연구를 진행하였다. Landsat 8은 미국의 지구관측 위성으로 2013년 2월 11일에 발사되었다. 현재까지 16일 주기로 전 지구에 대한 촬영 영상을 제공하며, 2013년 2월 영상부터 자료를 다운받을 수 있다. EarthExplorer (https://earthexplorer.usgs.gov/)에서 Landsat 8 영상을 다운로드 하였으며, 본 연구에서는 2015년도부터 통계청 자료를 사용할 수 있었기 때문에 2015년부터 영상을 취득하였다. 따라서 지자체 생산량 조사기간을 기반으로 2015년부터 2020년까지 위성 영상을 수집하였으며, 배추와 무의 파종시기 및 수확시기를 고려하여 매년 6월부터 9월까지 데이터를 수집하였다. 본 연구에서는 Landsat 8에서 제공되는 가시광선 채널부터 근적외선, 열 적외선 채널 등을 사용하였다(Table 1). 토지피복도의 밭 구획을 활용해 연구 시기 내 위성 영상 중 구름이 연구지역의 밭 픽셀을 10% 이상 가리는 영상은 제외하였다. 이외의 영상은 quality assessment 밴드 정보를 기반으로 구름을 제거하였으며, 총 23장의 위성 영상을 연구 자료로 활용하였다.

Table 1. Landsat 8 data used in this study

OGCSBN_2023_v39n5_3_1031_t0001.png 이미지

생산량 예측 모델의 입력 데이터로는 총 11개의 입력 변수를 사용하였다. Landsat 8에서 제공하는 지표면 반사도 Band 1부터 Band 7을 입력 데이터로 활용하였으며, 지표면 반사도를 이용하여 NDVI, EVI, LAI 및 LST 산출물을 계산하여 입력 데이터로 사용하였다. NDVI, EVI 및 LAI의 계산식은 아래 식(1–3)에 나타나 있다. 아래 식(2)에서 C1 (=6)과 C2 (=7.5)는 대기 조정인자, L (=1)은 픽셀 값 범위 보정 인자를 의미한다. NDVI는 위성 영상의 근적외선 밴드(near-infrared, NIR)와 적색 복사 밴드(Red)로부터 산출된 식생 지수이다. NDVI는 식물과 식물 스트레스를 표현할 수 있으며, 농업 및 토지 이용 연구에서 큰 효용가치를 보인다(Huang et al., 2021). EVI는 NDVI와 유사하지만 NDVI의 포화 및 토양 노이즈 문제를 해결하기 위해 개발되었다. LAI는 단위 지표면적당 잎 면적의 비율을 의미한다. LAI를 모니터링하면 생태계의 역동적인 변화와 기후 영향을 이해할 수 있다(Zheng and Moskal, 2009). 본 연구에서 LAI 산출 식은 Blinn et al. (2019)에서 사용한 식을 이용하여 산출하였다. 근적외선 밴드는 NIR로 표기하였으며, 가시광 영역의 R, G, B 밴드는 Red, Green, Blue로 표기하였다.

\(\begin{aligned}N D V I=\frac{N I R-\operatorname{Red}}{N I R+\operatorname{Red}}\end{aligned}\)       (1)

\(\begin{aligned}E V I=2.5 \times \frac{N I R-R e d}{N I R+C 1 \times \text { Red }-C 2 \times \text { Blue }+L}\end{aligned}\)       (2)

\(\begin{aligned}L A I=0.56 \frac{N I R}{R e d}-0.83\end{aligned}\)       (3)

또한, Band 10 (열적외선 채널) 영상을 활용하여 LST를 산출하였다. 우선 Band 10을 이용하여 식(4)와 같이 밝기 온도를 계산하였다. T는 밝기 온도, Lλ는 대기상층부 복사량, K1과 K2는 보정 상수이며, Landsat 8 Band 10의 K1 보정상수는 774.8853, K2 보정상수는 1321.0789이다. 다음으로 식(5)와 같이 밝기 온도와 지표복사율을 사용해 LST를 계산하였다. TS는 LST, є는 지표복사율, T는 밝기 온도이다.

\(\begin{aligned}T=\frac{K_{2}}{\ln \left(\frac{K_{1}}{L_{\lambda}}+1\right)}\end{aligned}\)       (4)

\(\begin{aligned}T_{S}=\epsilon^{\frac{1}{4}} T\end{aligned}\)       (5)

2.3. 데이터 전처리

Fig. 2는 본 연구의 흐름도를 보여준다. 입력 데이터 영상에서 밭 픽셀 값만 추출하기 위해 토지피복도를 활용하여 위성 영상의 밭 이외 부분을 제거해 주었다. 56개 행정구역의 shpfile을 활용하여 입력 영상으로부터 56개의 행정구역 데이터를 각각 추출해주었다. 작물 수확량 예측을 위해서는 모델의 입력 데이터가 일정해야 하는데 위성 영상 특성상 운량이 많은 날의 위성 영상은 사용하기 어렵다. 특히 우리나라의 경우 여름철 광학 영상의 경우 확보가 매우 어려운 상황이다. 따라서 입력 데이터 크기의 균일성을 확보하기 위해 관측시기별 구간을 두 구간으로 나누어 입력자료로 활용하였다.

배추와 무의 파종시기 및 수확시기를 고려하여, 6~7월을 1구간 8~9월을 2구간으로 나누어 주었다. 한 행정구역 내에서 한 구간에 사용가능한 데이터가 2개 이상일 경우 구간 내 평균을 구해주었다. 각 행정구역 내 구간의 영상을 11개의 입력 변수를 행으로 하는 히스토그램 행렬을 추출하여 입력 데이터를 구축해주었다. 히스토그램 내 bin 개수는 32개이며, 입력 변수 수치분포를 기준으로 변수 별로 가장 특징이 잘 나타날 수 있는 히스토그램 범위를 설정하여 통일하였다. 최종적인 입력 데이터 구조는 n (배치 크기) × 2 (구간 크기) × 32 (bin 수) × 11 (입력 변수 개수)이다.

OGCSBN_2023_v39n5_3_1031_f0002.png 이미지

Fig. 2. Graphical abstract of cabbage and radish yield prediction using deep learning approaches.

수확량 예측 모델로는 기존에 연구된 작물 생산량 예측 CNN 모델(Mu et al., 2019)을 개선하여 사용하였다. 본 연구에서 제안하는 CNN 모델의 구조는 Table 2와 같다. 학습 시 모든 층의 활성화 함수로 ReLU를 적용하였으며 최적화 방법으로 Adam을 적용하였다. 그리고 모든 convolution 층에는 0.5 확률의 dropout을 진행하였다. 제안된 모델과 비교를 위한 수확량 예측 모델로는 Mu et al. (2019)에서 제안한 CNN 기반 수확량 모델과 기존 수확량 연구에 주요하게 활용된 RF 기법을 활용하였다. CNN은 입력 데이터의 형태가 높이 × 너비 × 채널로 3차원 텐서(tensor)인 반면, RF는 1차원 텐서이기 때문에 CNN처럼 32개 bin을 가진 히스토그램을 일렬로 나열하는 경우 데이터가 방대해진다.

Table 2. Proposed CNN model structure

OGCSBN_2023_v39n5_3_1031_t0002.png 이미지

이를 보완하기 위해 32개 히스토그램에서 순서대로 값을 4개씩 평균을 내주어 bin 수를 32개에서 8개로 구조를 변경한 뒤 사용하였다. 따라서 RF 모델에서의 입력 데이터 구조는 n (배치 크기) × 176 (구간 크기 × bin 수 × 입력 변수 개수)이다. 심층학습 및 기계학습 모델을 구축하는 동안 데이터 세트는 훈련/검증 세트와 테스트 세트 80% (6:2)와 20%로 분할하였다. 또한, 심층학습 모델에서 데이터 세트의 변동성이 커질 것을 우려하여 5-fold의 교차 검증을 통해 모델의 강건성을 검증하였다.

3. 연구결과 및 토의

3.1. 수확량 예측 모델 검증

Fig. 3은 구간 별 산출물 영상을 보여준다. 2020년의 첫 번째 시기 영상 중 하나인 6월 8일과 두 번째 시기 영상 중 하나인 9월 28일의 NDVI, EVI, LST 영상이다. 두 시기의 이미지를 비교하면 NDVI와 EVI는 첫 번째 시기에서는 식생이 활발한 지역과 식생이 적은 지역의 수치 값에 큰 차이를 보이지만, 두 번째 시기에서는 두 지역의 수치 값 차이가 줄어들었다. LAI에서도 첫 번째 시기인 여름에는 특정 지역에서 식생의 활발함이 두 번째 시기인 가을로 넘어오면서 줄어드는 것을 확인할 수 있다. 또한, LST를 보면 NDVI, EVI, LAI에서 낮은 수치를 보이는 지역이 대부분 높은 지면 온도를 나타낸다. Yoo et al. (2022)에 의하면 지표면 온도의 경우 작물의 생장과 매우 밀접한 관련이 있어 수확량에 큰 영향을 주는 것으로 확인되었다. 또한, 우리나라의 경우 관개시설이 잘 되어 있어 가뭄으로 인한 작물피해는 적은 편이다(Park et al., 2022). 따라서 식생지수와 LST를 함께 사용하는 경우 수확량 예측을 위한 작물 환경 정보를 제공할 수 있을 것으로 생각된다.

OGCSBN_2023_v39n5_3_1031_f0003.png 이미지

Fig. 3. NDVI, EVI, LAI, and LST images from June 8 and September 28, 2020.

무 수확량 예측 모델의 결과는 Fig. 4에서 볼 수 있다. 본 연구에서 제안한 모델의 경우 r값은 0.7046, root mean square error (RMSE)는 1,553으로 다른 모델과 비교했을 때 가장 좋은 예측 성능을 보이는 것으로 확인할 수 있다. 참고논문 모델의 경우 r값은 0.6741, RMSE는 1,633으로 다소 낮은 예측 성능을 보여주었으며, RF 모델은 r값이 0.4286, RMSE는 1,747로 가장 낮은 모델 퍼포먼스를 나타냈다. 특히, 본 연구에서 제안한 모델의 데이터 분포를 보면 대부분 관측값과 유사한 수치를 예측한 것을 확인할 수 있다. 다른 기법과 비교했을 때 기울기가 1에 가까운 값을 나타낸다(slope=0.9545). 따라서 본 연구에서 제안한 모델이 무 생산량 예측에 적합함을 확인할 수 있다.

Fig. 4. 8:2 validation results for radish: (a) proposed CNN model result, (b) reference CNN model (Mu et al., 2019) result, and (c) RF model result.

Fig. 5는 배추 수확량 예측 모델의 결과를 보여준다. 본 연구에서 제안한 예측 모델의 r값은 0.6350, RMSE는 1,358로 RF 모델(r=0.6838, RMSE=1,163)과 비교했을 때 다소 낮은 예측 성능을 보여준다. 참고한 논문의 경우 r값은 0.4024, RMSE는 1,507로 가장 낮은 예측 성능을 보였다. 제안한 모델의 경우 배추 수확량을 과대추정하는 경향이 있으며, 참고논문 모델의 경우 무와 배추 모두 과소추정하는 경향을 보여준다. 이는 참고한 논문과 본 연구의 입력 데이터와 연구지역의 특성이 다르기 때문인 것으로 판단된다. RF의 경우 배추에서는 가장 좋은 예측 성능을 나타내었다. 이는 기존 연구에서도 그랬듯이 RF가 입력데이터의 물리적인 특성을 무와 배추 수확량 예측에 잘 반영한 것으로 생각된다.

Fig. 5. 8:2 validation results for cabbage: (a) proposed CNN model result, (b) reference CNN model (Mu et al., 2019) result, and (c) RF model result.​​​​​​​

3.2. 교차검증 결과

한 년도를 예측할 때 해당 연도를 제외한 연도들의 데이터셋으로 학습한 후 해당 연도로 테스트를 진행한 년도 별 교차검증을 수행하였다. 예를 들어, 2016년의 생산량을 예측하는 경우 2015년 및 2017~2020년도의 데이터셋을 훈련 데이터셋으로 사용하고 2016년의 데이터셋을 테스트 데이터셋으로 사용하였다. 데이터 개수가 적어 교차검증을 진행하기에 어려운 2015년을 제외한 2016~2020년을 교차검증 테스트 데이터셋으로 이용하였다. 교차검증 진행 결과는 Table 3과 같다. 제안한 모델의 경우 다른 모델과 비교했을 때 기울기가 1에 가장 가까운 값들을 일관되게 나타내는 경향을 보였으며, 전반적으로 좋은 예측 성능을 나타냈다. 참고 모델의 경우 사용한 모델 중 가장 예측 성능이 낮았으며, 배추와 무 모두에서 과소추정하는 경향을 나타내었다.

Table 3. Results of cross-validation by year of radish and cabbage yield prediction​​​​​​​

OGCSBN_2023_v39n5_3_1031_t0003.png 이미지

무 수확량 예측의 경우 2019년에 제안한 모델(r=0.858)과 RF 모델(r=0.932) 모두 높은 성능을 보여 데이터와 생산량 간의 패턴을 잘 파악하였다. 하지만 2018년에는 제안한 모델(r=0.550)과 RF 모델(r=0.315) 모두 낮은 예측 성능을 보여 해당 연도의 경향성을 잘 파악하지 못했음을 알 수 있다. 배추의 경우에도 2018년에 제안한 모델(r=0.274)과 RF 모델(r=0.088) 모두 가장 낮은 성능을 보였다. 이는 다른 년도 데이터로 학습되지 못한 2018년 폭염의 이상기온이 수확량 예측에 영향을 준 것으로 생각된다. Fig. 6은 교차검증을 통해 산출한 원주시 2020년도 배추 및 무 수확량 지도를 보여준다. 무와 배추는 비슷한 수확량 패턴을 보여준다. 원주시 문막읍과 신림읍의 경우 제안된 모델이 과소추정하는 경향을 보여준다.

OGCSBN_2023_v39n5_3_1031_f0006.png 이미지

Fig. 6. 2020 results of cabbage and radish yields in Wonju, Gangwon province: (a) radish yields predicted by the proposed model, (b) actual radish yields, (c) cabbage yield predicted by the proposed model, and (d) actual cabbage yields.​​​​​​​

3.3. 작물 수확량 조기 예측 가능성

조기 예측 가능성을 확인하기 위해 관측시기 내에서 첫 번째 구간(6~7월) 데이터만을 사용하여 수확량 예측을 수행하였다. 무 조기 예측 모델 학습결과 본 연구에서 제안한 모델(r=0.5538, RMSE=1,919)의 참고논문 모델(r=0.3592, RMSE=1,769) 및 RF 모델(r=0.353, RMSE=1,762)과 비교하였을 때 높은 예측 성능을 보여주었다(Fig. 7). 비록 두 구간을 모두 사용한 모델과 비교하였을 때(Fig. 4), 예상했던 바와 같이 한 구간만 사용한 조기 예측 모델의 성능이 두 구간을 사용한 모델에 비해 다소 낮았지만, 작물 수확량 조기 예측의 가능성을 확인할 수 있었다. 본 연구에서 제안한 모델의 예측값의 분포를 보면 본 연구에서 제안한 예측 모델이 데이터 내 경향성을 파악했음을 알 수 있다.

Fig. 7. Early prediction results for radish: (a) proposed CNN model result, (b) reference CNN model (Mu et al., 2019) result, and (c) RF model result.​​​​​​​

배추 조기 예측 모델 학습결과, 본 연구에서 제안한 모델의 경우 무 조기 예측 모델과 달리, 제안한 모델이 가장 낮은 성능을 보여주었다(r=0.1039, RMSE=2,390). 참고논문 모델 또한 배추 조기 예측에 대한 낮은 성능을 보여주었다(r=0.2138, RMSE=1,527). RF 모델(r=0.5337, RMSE=1,139)이 배추 조기예측에 있어서 가장 높은 성능을 보였다(Fig. 8). 두 구간을 모두 사용한 모델(Fig. 5)과 비교했을 때, 두 구간을 사용하였을 때는 제안한 모델과 RF 모델이 거의 비슷한 성능을 보였으나, 조기 예측 모델에서는 제안한 모델의 성능이 상당히 하락하여 불안정한 결과를 보였다. 이는 구간이 두 개에서 한 개로 절반이 줄어들면서 데이터의 복잡도가 줄어든 상태인데 모델의 여전히 높은 복잡도로 인해 과대적합이 일어난 것으로 생각된다. 무와 배추 모두에서 RF 모델은 전체 구간을 사용했을 때와 유사한 안정적인 결과를 보여주었다. 배추 모델에서는 오히려 RMSE가 낮아지며 예측 정확도가 올라가는 경향을 나타냈다. 이러한 관점에서, RF의 경우 범용성이 높기 때문에 조기 예측을 위한 RF 모델 활용은 적절할 것으로 생각된다. 추후 조기 예측 모델로 심층 학습을 활용한다면, 데이터 형태의 변화에 맞게 CNN의 구조를 조정해주어 학습해준다면 더 개선된 성능을 보일 것으로 생각된다.

Fig. 8. Early prediction results for cabbage: (a) proposed CNN model result, (b) reference CNN model (Mu et al., 2019) result, and (c) RF model result.​​​​​​​

4. 결론

본 연구는 2015~2020년의 기간 동안 6월부터 8월까지 수집된 Landsat 8 위성의 Level 2 데이터를 기반으로 배추와 무의 수확량을 딥러닝을 이용하여 예측하고, 조기 예측 가능성을 검토하였다. 연구 지역은 우리나라 강원도이며, 5대 수급 관리 채소이며 노지에서 재배되는 배추와 무를 대상으로 연구를 진행하였다. 본 연구에서는 배추와 무의 생장시기를 고려하여 6~7월을 1구간, 8~9월을 2구간으로 나누어 입력데이터를 구성하였다. Landsat 8의 지표반사도 자료와 대표적 식생지수인 NDVI, EVI, LAI 그리고 LST를 입력자료로 사용하였다. 수확량 모델링을 위해 CNN의 기반의 모델을 제안하였으며, 모델 평가를 위해 참고모델, RF를 이용하여 비교·분석하였다. 제안한 모델의 경우 다른 모델과 비교했을 때, 높은 수확량 예측 성능을 나타내었다. 참고 모델의 입력데이터와 연구지역의 특성이 다르기 때문에 무와 배추 수확량에 있어 과소추정하는 경향을 보여주었다. RF의 경우 배추에서는 제안한 모델보다 좋은 예측 성능을 나타내었다. 이는 기존 연구 결과처럼 RF가 입력데이터의 물리적인 특성을 잘 반영하여 모델링 된 것으로 판단된다.

본 연구에서는 2015년부터 2020년까지 데이터를 이용하여 교차검증을 예측모델의 강건성 분석을 수행하였다. Leave-one-out cross validation을 통해 분석한 결과 참고모델을 제외하고는 어느 정도 예측 성능을 보여주었다. 그 중 2018년 데이터의 경우 제안한 모(r=0.274)과 RF 모델(r=0.088) 모두 가장 낮은 성능을 보였는데, 이는 다른 년도 데이터로 학습되지 못한 2018년 폭염이 수확량 예측에 영향을 준 것으로 보인다. 또한, 조기 예측 가능성을 확인하기 위해 1 구간(6~7월) 데이터만을 사용하여 수확량 예측을 수행하였다. 무 수확량은 어느정도 경향성을 나타냈지만 배추의 경우 조기 예측 가능성을 확인하지 못했다. 이는 1구간 데이터만 사용함에도 모델의 높은 복잡도로 인해 과대적합이 일어난 것으로 생각된다. 이를 기반으로 추후 조기 예측 모델로 심층학습을 활용한다면 실제 모델의 예측 성능을 개선할 수 있을 것으로 판단된다.

향후 연구에서는 데이터 형태에 따라 CNN의 구조를 조정해서 조기 예측 모델을 개발한다면 더 개선된 성능을 보일 것으로 생각된다. 또한, 다양한 딥러닝 모델을 테스트하여 좋은 성능의 모델을 확인할 필요가 있으며, 더 많은 지역의 데이터를 사용할 필요가 있다. 본 연구의 한계점을 바탕으로, 정확도 높은 수확량 예측 모델 개발을 위해 많은 레퍼런스 자료·입력자료를 구축하고, 다양한 작물 환경 특성을 반영한 입력자료 구성 및 모델 학습이 필요할 것으로 생각된다. 이를 통해, 우리나라에 밭 작물에 최적화된 위성기반 수확량 모델이 개발되어 작물 수급을 위한 정책 마련에 활용할 수 있기를 기대한다.

사사

이 연구는 서울과학기술대학교 교내연구비의 지원으로 수행되었습니다.

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

References

  1. Blinn, C. E., House, M. N., Wynne, R. H., Thomas, V. A., Fox, T. R., and Sumnall, M., 2019. Landsat 8 based leaf area index estimation in loblolly pine plantations. Forests, 10(3), 222. https://doi.org/10.3390/f10030222
  2. Franch, B., Vermote, E., Skakun, S., Santamaria-Artigas, A., Kalecinski, N., Roger, J. C. et al., 2021. The ARYA crop yield forecasting algorithm: Application to the main wheat exporting countries. International Journal of Applied Earth Observation and Geoinformation, 104, 102552. https://doi.org/10.1016/j.jag.2021.102552
  3. Fritz, S., See, L., Bayas, J. C. L., Waldner, F., Jacques, D., Becker-Reshef, I. et al., 2019. A comparison of global agricultural monitoring systems and current gaps. Agricultural Systems, 168, 258-272. https://doi.org/10.1016/j.agsy.2018.05.010
  4. Hong, J., Jang, S., Park, J., Shin, H., and Song, I., 2022. Classification of summer paddy and winter cropping fields using Sentinel-2 images. Journal of the Korean Society of Agricultural Engineers, 64(1), 51-63. https://doi.org/10.5389/KSAE.2022.64.1.051
  5. Huang, S., Tang, L., Hupy, J. P., Wang, Y., and Shao, G., 2021. A commentary review on the use of normalized difference vegetation index (NDVI) in the era of popular remote sensing. Journal of Forestry Research, 32(1), 1-6. https://doi.org/10.1007/s11676-020-01155-1
  6. Johnson, D. M., Rosales, A., Mueller, R., Reynolds, C., Frantz, R., Anyamba, A. et al., 2021. USA crop yield estimation with MODIS NDVI: Are remotely sensed models better than simple trend analyses?. Remote Sensing, 13(21), 4227. https://doi.org/10.3390/rs13214227
  7. Kattenborn, T., Leitloff, J., Schiefer, F., and Hinz, S., 2021. Review on convolutional neural networks (CNN) in vegetation remote sensing. ISPRS Journal of Photogrammetry and Remote Sensing, 173, 24-49. https://doi.org/10.1016/j.isprsjprs.2020.12.010
  8. Khaki, S., and Wang, L., 2019. Crop yield prediction using deep neural networks. Frontiers in Plant Science, 10, 621. https://doi.org/10.3389/fpls.2019.00621
  9. Lee, K., Kim, S., Ahn, H., So, K., and Na, S., 2021. Early estimation of rice cultivation in Gimje-si using Sentinel-1 and UAV imagery. Korean Journal of Remote Sensing, 37(3), 503-514. https://doi.org/10.7780/kjrs.2021.37.3.11
  10. Lee, K. D., Lee, Y. E., Park, C. W., and Na, S. I., 2016. A comparative study of image classification method to classify onion and garlic using unmanned aerial vehicle (UAV) imagery. Korean Journal of Soil Science and Fertilizer, 49(6), 743-750. https://doi.org/10.7745/kjssf.2016.49.6.743
  11. Mu, H., Zhou, L., Dang, X., and Yuan, B., 2019. Winter wheat yield estimation from multitemporal remote sensing images based on convolutional neural networks. In Proceedings of the 2019 10th International Workshop on the Analysis of Multitemporal Remote Sensing Images (MultiTemp), Shanghai, China, Aug. 5-7, pp. 1-4. https://doi.org/10.1109/multi-temp.2019.8866918
  12. Nevavuori, P., Narra, N., and Lipping, T., 2019. Crop yield prediction with deep convolutional neural networks. Computers and Electronics in Agriculture, 163, 104859. https://doi.org/10.1016/j.compag.2019.104859
  13. Park, S., Im, J., Jang, E., and Rhee, J., 2016. Drought assessment and monitoring through blending of multi-sensor indices using machine learning approaches for different climate regions. Agricultural and Forest Meteorology, 216, 157-169. https://doi.org/10.1016/j.agrformet.2015.10.011
  14. Park, S., Im, J., Park, S., Yoo, C., Han, H., and Rhee, J., 2018. Classification and mapping of paddy rice by combining Landsat and SAR time series data. Remote Sensing, 10(3), 447. https://doi.org/10.3390/rs10030447
  15. Park, S., Lee, J., Yeom, J., Seo, E., and Im, J., 2022. Performance of drought indices in assessing rice yield in North Korea and South Korea under the different agricultural systems. Remote Sensing, 14(23), 6161. https://doi.org/10.3390/rs14236161
  16. Ryu, J., Han, J., Ahn, H., Na, S., Lee, B., and Lee, K., 2022. Development of Chinese cabbage detection algorithm based on drone multi-spectral image and computer vision techniques. Korean Journal of Remote Sensing, 38(5-1), 535-543. https://doi.org/10.7780/kjrs.2022.38.5.1.8
  17. Seong, S., Na, S., and Choi, J., 2020. Assessment of the FC-DenseNet for crop cultivation area extraction by using RapidEye satellite imagery. Korean Journal of Remote Sensing, 36(5-1), 823-833. https://doi.org/10.7780/kjrs.2020.36.5.1.14
  18. Shammi, S. A., and Meng, Q., 2021. Use time series NDVI and EVI to develop dynamic crop growth metrics for yield modeling. Ecological Indicators, 121, 107124. https://doi.org/10.1016/j.ecolind.2020.107124
  19. van Klompenburg, T., Kassahun, A., and Catal, C., 2020. Crop yield prediction using machine learning: A systematic literature review. Computers and Electronics in Agriculture, 177, 105709. https://doi.org/10.1016/j.compag.2020.105709
  20. Wang, J., Si, H., Gao, Z., and Shi, L., 2022. Winter wheat yield prediction using an LSTM model from MODIS LAI products. Agriculture, 12(10), 1707. https://doi.org/10.3390/agriculture12101707
  21. Yoo, C., Han, D., Im, J., and Bechtel, B., 2019. Comparison between convolutional neural networks and random forest for local climate zone classification in mega urban areas using Landsat images. ISPRS Journal of Photogrammetry and Remote Sensing, 157, 155-170. https://doi.org/10.1016/j.isprsjprs.2019.09.009
  22. Yoo, C., Kang, D., and Park, S., 2022. Identifying the impact of regional meteorological parameters on US crop yield at various spatial scales using remote sensing data. Remote Sensing, 14(15), 3508. https://doi.org/10.3390/rs14153508
  23. Zheng, G., and Moskal, L. M., 2009. Retrieving leaf area index (LAI) using remote sensing: Theories, methods and sensors. Sensors, 9(4), 2719-2745. https://doi.org/10.3390/s90402719