A Study of Shiitake Disease and Pest Image Analysis based on Deep Learning

딥러닝 기반 표고버섯 병해충 이미지 분석에 관한 연구

Abstract

The work that detection and elimination to disease and pest have important in agricultural field because it is directly related to the production of the crops, early detection and treatment of the disease insects. Image classification technology based on traditional computer vision have not been applied in part such as disease and pest because that is falling a accuracy to extraction and classification of feature. In this paper, we proposed model that determine to disease and pest of shiitake based on deep-CNN which have high image recognition performance than exist study. For performance evaluation, we compare evaluation with Alexnet to a proposed deep learning evaluation model. We were compared a proposed model with test data and extend test data. The result, we were confirmed that the proposed model had high performance than Alexnet which approximately 48% and 72% such as test data, approximately 62% and 81% such as extend test data.

1. 서론

우리나라는 2015년 이후 퇴직하는 베이비붐 세대(1955∼1963년)가 급격하게 늘고 있다. 퇴직하는 베이비붐 세대는 퇴직 후 큰 문제에 직면하게 된다. 그 문제는 그들이 경제적 준비를 미처 대비하지 못한 채 퇴직하는 것에 있다. 2015년 서울연구원은 서울에 거주하는 베이비붐 세대의 자산이 대부분 부동산(주거부동산 74.1%, 투자부동산 8.9%)이며, 퇴직 후 재취업 및 창업에 실패하는 것으로 확인하였다[1]. 또한, 귀농·귀촌으로 제2의 인생으로 다시 시작하려는 은퇴자들이 늘고 있다. 귀농·귀촌 가구 수의 경우 2001년 880가구에서 2015년 32만9368가구로 급격하게 증가한 것으로 조사하였다[2]. 귀농·귀촌 인구가 급격하게 늘면서 각 지자체에서는 귀농·귀촌 농가에게 다양한 특산물을 추천하고 있는데, 그 중에서도 표고버섯의 경우 비교적 재배가 쉬우며, 매출도 높아 추천작물로 관심받고 있다. 최근에는 표고버섯의 여러 재배 방식 중에서도 배지타입의 재배방식을 추천하고 있다. 표고버섯재배는 원목과 배지 형태로 재배되고 있으며 2017년 기준 원목(65%) 배지(35%)로 과거에 비해 배지생산량이 증가한 것을 확인할 수 있는데, 배지 재배가 원목에 비해 날씨에 큰 영향을 받지 않고, 원목재배에 필요한 물리적 충격을 주는 단계가 없어 비교적 관리가 쉽지만, 재배 특성상 병해충이 발생할 경우 빠르게 전염되어 생산량이 감소하는 단점을 가지고 있다.

농업에서 병해충을 탐지하여 제거하는 작업은 작물의 생산량과 직접적으로 연관되므로 병해충을 조기에 발견하여 조치하는 것은 정상적인 작물의 피해를 줄여 생산량을 향상시킬 수 있다. 이를 위해서는 정상적인 작물과 구별하여 병든 작물을 구분하는 기술이 필요하다. 기존 컴퓨터 비전 기반 영상 분류기술은 특징을 추출하여 분류하는 정확도가 떨어지기 때문에 병해충 검출과 같은 인간의 시각능력 수준의 분류 능력이 요구되는 분야에는 적용하지 못하였다. 그러나 최근 컴퓨터 하드웨어의 비약적인 발전과 함께 CNN(Convolution Neural Network), RNN(Recurrent Neural Network)등 딥러닝 기반 인공지능기술을 활용하여 컴퓨터 비전 분야에서 뛰어는 성능을 보여주고 있다[3-5]. 아울러, 딥러닝 기술을 농업에 적용하여 생산량과 업무 효율을 향상시키기 위한 다양한 연구들이 진행되고 있다. 이에 본 논문에서는 이미지 인식성능이 높은 CNN을 기반으로 표고버섯병해충 발생 여부를 판단하는 모델을 개발한다. CNN을 표고버섯 병해충 이미지 분석에 활용하기 위해서는 대량의 학습데이터가 요구된다.

본 논문에서는 실제 표고버섯 병해충 이미지를 버섯 재배실에서 수집해 대용량의 데이터 집합을 구성하고, 수집된 데이터에 전처리 과정을 거쳐 CNN 모델에 적합하도록 변환 후 분석 모델의 학습에 활용한다. 분석 모델은 CNN 모델 중 심층 신경망 형태인ResNet을 활용하여 병해충 감염 여부를 판단한다. 제안하는 분석 모델의 Data Augmentation 적용 유무에 따른 분석 모델의 성능평가를 진행한다.

본 논문의 전체적인 구성은 크게 5개 부분으로 나누어진다. 1장은 연구에 대한 배경 및 목적을 정리하고, 2장에서는 관련 연구에 대해서 기술한다. 3장에서는 본 논문에서 제안하고 있는 신경망을 활용한 표고버섯 병해충 분석 시스템의 구조에 대해 기술하였으며, 제 4장에서는 제안하는 시스템의 구현 및 성능평가에 대해 기술한다. 마지막으로 5장에서는 제안한 시스템에 대한 결론과 향후 연구에 대해 기술하였다.

2. 관련연구

[6]의 연구에서는 감귤농업에서 주요해충으로 분류되는 볼록총채벌레를 심층신경망을 이용하여 탐색하는 연구를 하였다. 황색끈끈이트랩 이미지 자료를 ResNet기반의 Faster R-CNN 탐색모형을 사용하여 분석하였다. 명확한 블록총채벌레로 구성된 검증자료는 AUC 값이 0.936으로 높지만 명확하지 않은 블록총채벌레로 구성한 검증자료는 AUC 값이 0.803으로 크게 떨어지는 것을 확인하였다. [7]는 라즈베리파이를 활요한 CNN기법을 통해 해충 이미지에서 해충의 개수를 파악하는 시스템을 제안하였다.분석을 위한 해충 이미지는 국가기관 및 구글 이미지와 실제 농가에서 발생한 해충 이미지를 포함시켰다. 1차적으로 라즈베리파이를 이용하여 CNN기법으로 해충의 특징을 추출한 뒤 2차로 클라우드 서버에서 이미지를 통해 분석을 실시하였다. 그 결과 해충 이미지 개수를 파악하는 정확도가 총 94%로 높게 나온 것을 확인하였다. [8]에서는 CNN 모델을 활용하여 식물 잎 분류를 수행하였다. 식물 잎 영상과 같이 한 영상 내부의 특성이 유사하고, 종류별의 개별 영상 역시 유사할 때 과한 계층을 쌓는 방법을 통한 특징 맵 추출은 불필요한 연산 및 중복성을 늘이는 작업이 되기 때문에 정확도에 있어 반감되는 작용을 하여 기존 모델의 일부를 개선하여 성능을 향상시켰다. [9]의 연구에서는 병해충 검색을 위한 이미지 검색 및 인식 통합 시스템을 제안하였다. CNN을 통해 추출한 특징점은 데이터베이스에 저장한 후 입력 이미지가 들어오면 병해충 분류기는 특징점 데이터베이스에 저장된 각 병해충의 특징점들과 매칭하여 병해충 종류를 판단, 병해충명을 출력하게 된다. 그러나 학습 영상 수가 증가할수록 병해충 분류기의 학습시간도 증가하기 때문에 여러 병해충에 적용하기에는 어려움이 있었다.

3. 제안하는 시스템 구성

제안하는 딥러닝 기반 표고버섯 병해충 이미지 분석 시스템은 크게 이미지 수집 모듈, 이미지 전처리 모듈, 병해충 이미지 분석 모듈로 구성되어 있다. Fig. 1은 제안하는 병해충 이미지 분석 시스템의 전체적인 흐름도를 나타낸다.

Fig. 1. Shiitake Pest Image Analysis System.

3.1 표고버섯 병해충

표고버섯 재배시 주로 피해를 입히는 병해충은 푸른곰팡이균이다. 푸른곰팡이균은 전파속도가 매우 빠르기 때문에 한 개체에 발생하면 다른 개체에 전염되어, 빠른 조치를 취하지 않았을 때 버섯 재배실 한동 전체가 감염되는 상황이 발생할 수 있다. Fig. 2는표고버섯 배지에 발생한 푸른곰팡이균이다. Fig. 2 (a)는 건강한 표고버섯 이미지이다. 건강한 표고버섯 이미지는 표고버섯 배지가 전체적으로 진한 갈색을 띤다. 또한, 표면이 매끄럽고 수확을 하지 않았을 때 발생한 표고버섯의 개체수가 많아 흰색과 연한갈색이 섞인 특징을 가지고 있다. Fig. 2(b)는 푸른곰팡이균에 감염된 표고버섯 병해충 이미지이다. 병해충 이미지는 표고버섯 배지에 전체적으로 흰색 가루가 덮여있고 부분적으로 청록색을 띄는 특징을 가진다. 표고버섯 배지가 병해충에 감염되면 표고버섯 포자가 사멸하여 표고버섯이 발아하지 못하기 때문에 발생한 표고버섯 개체수가 적어지는 특징을 가진다.

Fig. 2. Shiitake Images.

3.2 병해충 데이터 수집 모듈

제안하는 버섯 병해충 이미지 분석 모델을 학습시키기 위해 버섯 농장 재배실에서 촬영한 이미지를 사용하였다. Fig. 3은 표고버섯 병해충 이미지 수집모듈이다. CCTV, 디지털 카메라, 스마트폰으로 표고버섯을 촬영하여 데이터베이스 서버에 저장하였다. 특히, CCTV는 촬영한 이미지를 재배실에 설치된 Gateway를 통해 데이터베이스에 저장하도록 구성하였다. 병해충 데이터 수집 모듈을 통해 2018년 3월 12일부터 2019년 9월 8일까지 병해충 감염여부와 관계없이 원본 데이터 8,000개를 수집하였다.

Fig. 3. Image Collection Module.

3.3 이미지 전처리 모듈

병해충 데이터 수집 모듈로 수집된 데이터는 촬영한 카메라의 종류에 따라 화소, 크기, 비율 등이 다르고, 병해충 감염 유무에 따른 분류가 되어있지 않다. 따라서, 수집한 데이터를 분석 모델 학습에 적합하게 만드는 전처리 과정이 필요하다. Table 1은 제안하는 데이터 전처리 모듈의 세부항목이다. 데이터 라벨링, 크기 변환, Data Augmentation 3가지 단계로 구성한다.

Table 1. Data Preprocessing

Fig. 4는 병해충 데이터 전처리 모듈의 흐름도이다. 데이터 라벨링은 수집된 표고버섯 이미지가 병해충 감염 유무에 따라 정상 비정상으로 구분되어 있지 않고 학습에 필요한 정답이 없기 때문에, 데이터를 정상, 비정상으로 구분하여 라벨링하는 역할을 한다. 두 번째는 이미지 크기변환이다. 3종류의 카메라에서 수집된 이미지의 크기가 다르고, 분석 모델의 입력 크기에 맞추기 위해 256 × 256 크기로 변환하는 작업을 수행한다. 마지막으로 Data Augmentation은 학습에 필요한 데이터를 확장한다. 병해충 데이터 수집 모듈을 통해 수집된 원본 데이터는 총 8,000개로 분석 모델의 학습에 사용할 수 있는 양이지만, 모델의 정확도와 신뢰성을 보장할 수 없다. 따라서 학습데이터를 확장하는 과정이 필요하다. 이를 위해 본 연구에서는 Data Augmentaion을 활용하여 원본 데이터를 24,000개로 확장하였다.

Fig. 4. Image Preproccessing Module.

3.4 이미지 분석모듈

본 논문에서 제안하는 딥러닝 기반 병해충 이미지 분석 모델은 ResNet을 기반한다. Fig. 5는 ResNet의 구성도이다. 기존의 CNN 알고리즘에 Residual Block을 추가된 형태로 구성되어 있다. 기존의 CNN은 Convolution layer에서 Feature를 추출하고 Pooling layer에서 Feature map의 크기를 줄이는 Subsampling을 수행한다. 이 과정을 반복적으로 수행하고 마지막에 Fully connected layer를 통해 결과물을 출력하였다. ResNet은 기존 CNN과 다르게 Subsampling을 Pooling layer에서 수행하지 않고 Convolution layer의 Stride를 변경하여 Feature map의 크기를 줄인다. 또한 마지막 Convolution layer 이후에 Fully connected layer 대신 Global average pooling을 수행하는 layer를 배치하여 결과를 출력한다. 제안하는 이미지 분석 모듈은 256 × 256 크기의 24,000개 표고버섯 병해충 데이터 중 80%인 19,200개를 모델의 학습데이터로 활용하였다. 나머지 20% 데이터는 모델의 성능 확인을 위한 테스트 데이터로 활용하였다.

Fig. 5. Image Analysis Module.

4. 결과 및 성능평가

본 논문에서는 제안하는 딥러닝 기반의 표고버섯 병해충 이미지 분석을 위해 AlexNet과 ResNet을 활용하였다. 이미지 분석을 위한 모델은 56-layer로 구성하였다. 세부적으로 Adam 최적화기 batch size 200, epoch는 1000으로 설정하였다. Table 2는 제안하는 딥러닝 기반 표고버섯 병해충 이미지 분석 시스템의 구현 및 성능평가 환경을 나타낸다.

Table 2. Implementation Environment

4.1 이미지 분석 결과

Fig. 6은 제안하는 이미지 분석 시스템을 활용하여 표고버섯 병해충 감염 유뮤를 판단한 결과이다. Fig. 6(a)는 표고버섯 배지 표면에 푸른곰팡이의 병징인 청록색 곰팡이가 발생하지 않고 깨끗하게 갈변한 정상이미지를 삽입하였고, Fig. 6(b)는 푸른곰팡이가 발생한 표고버섯 배지 이미지를 삽입하였다. 삽입 결과 Fig. 6(a)는 정상으로 Fig. 6(b)는 비정상으로 판별하였다.

Fig. 6. Shiitake Image Discrimination Result.

4.2 성능평가

본 연구에서 제안하는 병해충 이미지 분석 시스템의 성능평가는 학습데이터의 규모에 따른 모델의 정확률에 대한 평가를 진행하였다. 성능평가는 Alexnet과 제안하는 모델에 원본 데이터와 Augmentation으로 확장한 데이터를 활용하여 진행하였다. 두 모델에 활용된 데이터는 Train 8,000개와 Test 24,000개로 구성한다. 원본데이터는 Train 6,400, Test 1,600개로 구분하고, 확장데이터는 각각 19,200, 4,800개로 구성한다.

Table 3은 제안하는 이미지 분석 모델을 활용해 표고버섯 병해충 감염 유무 판단 정확도를 테스트한 결과이다. AlexNet은 원본 데이터 테스트에서 Train 데이터 56%, Test 데이터 48%의 정확도를 보여주었다. Augmentation 데이터 테스트의 경우 Train 68%, Test 62% 정확도가 측정되었다. 제안하는 이미지 분석 모델의 원본 데이터 테스트는 Train 65% Test 72%, Augmentation 데이터 테스트에서 Train 87%, Test 81%가 측정되었다.

Table 3. Performance Evaluation

Fig. 7은 AlexNet과 제안하는 모델의 비교평가 결과 그래프이다. 제안하는 모델의 정확도가 Alexne에 비해 비교적 높게 확인되었는데, 이러한 주요 요인으로는 Alexnet Layer의 깊이가 얕은데서 발생한 것으로 파악된다. 일반적으로 CNN 모델은 신경망의 깊이가 깊을수록 좋은 성능을 보여주는 것을 확인할 수 있었다. 그리고 원본 데이터와 Augmentaion으로 확장한 데이터셋을 비교 평가하였다. 그 결과 딥러닝 모델 학습시 데이터의 절대적인 크기가 작을 경우 과적합 문제가 발생하는 것을 확인하였다.

Fig. 7. Alexnet & Study of Propse Accuracy Graph

5. 결론

딥러닝이 산업 전반적인 분야에 적용하고 있지만, 농어업 관련 연구는 미비한 실정이다. 농어업의 경우, 최근 들어 정부에서 스마트팜, 스마트양식 등의 관련 지원 및 R&D을 진행하며, 인프라를 구축하여 딥러닝을 활용할 수 있는 기반을 만들어가고 있다. 농업에서 병해충을 탐지하여 제거하는 작업은 작물의 생산량과 직접적으로 연관되어 있다. 병해충을 조기에 발견해 조치하면 정상적인 작물의 피해를 줄여 생산량을 향상 시킬 수 있다. 이를 위해서는 정상적인 작물과 구별하여 병든 작물을 구분하는 기술이 필요하다.

본 논문에서는 딥러닝 기반의 표고버섯 병해충 이미지 분석에 관한 연구를 진행하였다. 분석을 위해 실제 농가의 버섯 재배실에서 표고버섯 이미지를 수집하였고, 수집한 데이터를 전처리하여 딥러닝 모델의 학습에 적합한 형태로 변환하였다. 최종적으로 전처리된 데이터를 활용하여 데이터의 절대적인 양에 따른 모델의 정확도 비교평가를 진행하였고, 그 결과 학습데이터가 많을수록 분석 모델의 정확도가 향상되는 것을 확인하였다. 향후 연구에서는 표고버섯 푸른곰팡이뿐만 아니라 표고버섯에서 발생하는 다양한 병해충을 판단하는 연구가 진행되어야 한다. 또한, 제안하는 이미지 분석 모델을 개선하여 산업 현장 생산라인의 불량품을 검출하거나 고장위험, 사고예방에 활용 할 수 있는 연구가 필요하다.