Development of Chinese Cabbage Detection Algorithm Based on Drone Multi-spectral Image and Computer Vision Techniques

드론 다중분광영상과 컴퓨터 비전 기술을 이용한 배추 객체 탐지 알고리즘 개발

Abstract

A drone is used to diagnose crop growth and to provide information through images in the agriculture field. In the case of using high spatial resolution drone images, growth information for each object can be produced. However, accurate object detection is required and adjacent objects should be efficiently classified. The purpose of this study is to develop a Chinese cabbage object detection algorithm using multispectral reflectance images observed from drone and computer vision techniques. Drone images were captured between 7 and 15 days after planting a Chinese cabbage from 2018 to 2020 years. The thresholds of object detection algorithm were set based on 2019 year, and the algorithm was evaluated based on images in 2018 and 2019 years. The vegetation area was classified using the characteristics of spectral reflectance. Then, morphology techniques such as dilatation, erosion, and image segmentation by considering the size of the object were applied to improve the object detection accuracy in the vegetation area. The precision of the developed object detection algorithm was over 95.19%, and the recall and accuracy were over 95.4% and 93.68%, respectively. The F1-Score of the algorithm was over 0.967 for 2 years. The location information about the center of the Chinese cabbage object extracted using the developed algorithm will be used as data to provide decision-making information during the growing season of crops.

농업분야에서 드론을 활용하여 작물의 생육을 진단하고 정보를 영상으로 제공하고 있다. 들녘 단위에 대한 고해상도 드론 영상을 활용하는 경우 객체별 생육정보를 생산할 수 있으나 정확하게 작물을 탐지하고 인접한 객체를 효율적으로 구분하기 위한 작업이 요구된다. 본 연구에서는 작물 객체를 탐지하고 위치 정보를 추출하는 알고리즘을 개발하는 것이 목적이다. 드론 다중분광영상과 컴퓨터 비전 기술을 활용하여 객체 탐지를 위한 알고리즘을 개발하였으며, 대상 작물은 가을배추로 선정하였다. 2018년~2020년까지 가을배추를 대상으로 정식 후 7일~15일 사이의 드론 영상을 취득하였으며, 2019년 영상 기반으로 객체 탐지 알고리즘을 개발한 뒤 2018년, 2020년 영상을 기반으로 알고리즘 평가를 수행하였다. 분광반사도 기반 지수와 식생의 분광반사도 특성을 고려하여 식생 지역을 추출하였다. 이후 추출된 식생 지역에서 객체의 크기를 고려하여 팽창(Dilatation), 침식(Erosion), 이미지 분할 등과 같은 모폴로지(Morphology) 기법을 통해 객체 탐지 정확도를 향상시켰다. 개발된 객체 탐지 알고리즘의 정밀도는 95.19% 이상이었으며, 재현율과 정확도는 각각 95.4%, 93.68% 이상이었다. 객체 탐지 알고리즘의 F1-Score는 0.967 이상으로 나타났다. 본 연구에서 개발한 알고리즘을 이용하여 추출된 배추 객체 중심에 대한 위치 정보는 작물의 재배시기에 따라 영농단계별 의사결정 정보를 제공하기 위한 자료로써 활용될 것이다.

1. 서론

노지 작물에 대해 필지별 또는 작물 객체별로 모니터링하고 처방하는 정밀농업을 위해서는 합리적인 관측 자료가 요구된다(Yarak et al., 2021). 지상에 설치된 기상, 토양 센서 등을 활용하여 재배 지역에 대한 환경 정보를 획득할 수 있으며, 드론을 이용하여 작물에 대한 고해상도의 생육 정보를 영상으로 획득할 수 있다(Lee et al., 2021; Ryu et al., 2021). Na et al. (2021)은 드론 영상을 이용하여 작물의 재배시기에 따라 영농단계별 의사결정 정보를 제공하는 시스템을 구축하였다. 특히, 시군단위가 아닌 들녘 단위(100–200 ha)에 대한 정밀농업 정보를 제공하는 경우 고해상도 드론 영상을 활용하여 객체별 생육정보를 제공하였다. 객체별 생육정보를 제공하기 위해서는 작물 객체의 위치 정보를 획득하는 것이 중요하다. 드론 영상에서 작물 객체별 위치 정보를 획득하기 위해서는 작물과 비작물 화소를 우선적으로 구분하여야 한다. 선행 연구들에 따르면 RGB 영상에서 작물 영역을 추출하기 위해서 Excess green (ExG) 지수를 활용하였다(Andujar et al., 2012; Varela et al., 2018). 하지만 RGB 영상만 가지고 식생을 탐지할 경우 식생의 특징이 제한된 정보를 가지고 분류를 한다는 단점이 존재한다(Park et al., 2021). 따라서 식생의 구조와 관련된 근적외선(Near-infrared) 파장 대역을 활용한다면 비식생화소를 필터링하는데 도움이 될 것으로 사료된다.

드론 영상에서 작물의 위치를 객체별로 탐지하기 위해서는 생육 초기의 영상을 활용하여야 한다(Sanchez et al., 2015). 생육 초기에 촬영된 영상을 이용하여 객체를 탐지하면 작물의 출현(Emergence)과 결주(Miss-planted) 위치를 파악한 뒤 보식(Replanting)을 위한 정보를 제공할 수 있다(Na et al., 2021; Li et al., 2019). 하지만 생육 초기의 영상에서 작물의 크기가 드론 영상의 지상표본거리(Ground Sample Distance, GSD) 보다 작거나 유사한 경우 미탐지되거나 하나의 객체가 분리되는 경우가 발생하였다(Dhakal et al., 2021). 생육 중기의 영상을 활용하는 경우에는 객체와 객체가 서로 중첩되어 분리하는 작업이 요구되었다. 따라서 객체 탐지 정확도를 향상시키기 위해서는 드론 영상의 GSD와 객체의 크기를 고려하여 분리된 객체를 하나로 연결하거나 합쳐진 객체를 분리하여야 한다.

본 연구의 목적은 드론에서 관측된 다중분광반사도 영상을 이용하여 작물의 객체 탐지 알고리즘을 개발하는 것이다. 이를 통해 객체 중심 화소의 위치 정보를 벡터 데이터 형식으로 저장하여 작물의 재배시기에 따라 영농단계별 의사결정 정보를 제공하기 위한 자료를 생산하고자 한다. 본 연구에서는 가을배추를 대상으로 객체 탐지 알고리즘을 개발하였으며, 식생과 비식생 화소를 명확하게 구분하기 위해 적색, 녹색, 청색 파장뿐만 아니라 근적외선 파장 대역의 분광반사도를 활용하였다. 또한, 컴퓨터 비전 기술을 이용하여 노이즈 화소를 제거하고 객체 오탐지를 최소화하는 작업을 수행하였다.

2. 연구 자료 및 방법

1) 연구지역 및 드론관측

농촌진흥청 국립농업과학원에 위치한 배추 포장(전라북도 완주군 이서면)에서 드론 영상 촬영이 수행되었다(Fig. 1). 식양토(Clay Loam), 양토(Loam), 사양토(Sandy Loam)와 같이 토성이 서로 다른 포장에서 작물이 재배되었으며, 2018년부터 2020년까지 3년 동안 배추가 재배된 양토, 사양토 포장을 대상으로 객체탐지 연구를 수행하였다. 포장(약 25.5×11.7 m)마다 12개의 이랑이 존재하며, 이랑당 55~57개의 배추를 약 40 cm 간격으로 정식하였다. 배추 정식일은 2018년 9월 6일, 2019년 8월 29일, 2020년 8월 26일이다(Table 1).

Fig. 1. Study area: (a) Red box indicates Chinese cabbage areas, (b) Target fields for detecting Chinese cabbage objects (Red box). Soil texture in Area 1 is loam and it in Area 2 is sandy loam.

Table 1. Date information of crop cultivation and drone measurements. DAP is an abbreviation for days after planting

본 연구에서는 드론에 탑재된 Rededge 다중분광카메라(Micasense, Inc., Seattle, USA)를 이용하여 청색(Blue, 475 nm), 녹색(Green, 560 nm), 적색(Red, 668 nm), 적색경계(Rededge, 717 nm), 근적외(Near-infrared, 842 nm) 파장대에 대한 분광반사도 영상을 획득하였으며, 5개의 지상기준점(Ground control points)을 이용하여 기하보정을 수행하였다(Go et al., 2022). 정식일로부터 각각 7일, 12일, 15일 지난 2018년 9월 13일, 2019년 9월 10일, 2020년 9월 10일 영상을 활용하여 배추 객체 탐지 알고리즘 개발을 수행하였다. 2019년 자료를 기반으로 배추 객체 탐지를 위한 알고리즘을 구축 및 임계값들을 설정하였으며, 2018년, 2020년 자료를 대상으로 테스트를 진행하였다.

2) 배추 객체 탐지 알고리즘

드론 영상에서 배추 객체를 탐지하기 위해서 다음과 같은 과정을 수행하였다. 본 연구에서 개발한 배추 객체 탐지 알고리즘은 전처리가 완료된 다중분광영상을 이용하여 배추 포장 내에서 식생 지역을 분류하는 과정, 분류된 식생 지역에서 배추 객체를 탐지하는 과정으로 구분된다(Fig. 2). 식생 지역을 분류하기 위해서 ExG 지수와 Excess NIR (ExN) 지수를 활용하였다(Sumesh et al., 2021). 식생의 경우 녹색과 근적외선 파장의 분광반사도 값이 높고 청색, 적색 파장의 분광반사도 값이 낮다는 특징이 반영된 지수들이다. RGB 영상에서 식생 지역을 추출하는 경우 ExG 단독으로 사용하지만 본 연구에서 사용한 다중분광카메라의 경우 근적외선 파장대를 포함하고 있기 때문에 ExN 지수를 함께 사용하여 식생 지역을 추출하였다. ExG와 ExN 지수를 구하는 식은 다음과 같다.

Fig. 2. Flowchart for finding the centroid information of Chinese cabbage objects based on spectral reflectance measured from multi-spectral camera onboard drone. Four threshold values were set to 150, 200, 75, and 200 in this study, and they should be adjusted depending on spatial resolution of drone image and the captured day after planting.

ExG = 2G – R – B       (1)

ExN = 2N – R – B       (2)

여기서, G, R, B, 그리고 N은 각각 녹색, 적색, 청색, 그리고 근적외선 파장대에서 정규화된 분광반사도 값을 의미한다.

정규화된 반사도 값이 255에 가까울수록 흰색 화소, 0에 가까울수록 검정색 화소라고 정의할 수 있다. 본 연구에서는 흰색 화소를 추출한 뒤 해당 화소들을 팽창 (Dilate)시켜 필터링하였다. 마지막으로 녹색 파장대에서 분광반사도가 청색과 적색 파장대에서의 분광반사도 값보다 높을 때 식생 지역이라고 정의하였다.

식생 지역으로 추출된 자료는 오픈 소스 컴퓨터 비전 라이브러리(Open source computer vision, OpenCV)를 이용하여재처리하였다.객체크기가1개화소인경우본 연구에서는 노이즈로 정의하고 제외하였다(Fig. 3). 이후 객체 크기가 특정 화소보다 작은 경우와 큰 경우로 구분한 뒤 모폴로지(Morphology) 기법을 적용하였다. 대표적인 모폴로지 연산으로 팽창(Dilatation), 침식(Erosion), 닫힘(Closure) 등이 있으며, 0과 1로 구성된 커널을 이용하여 모폴로지 연산을 수행한다. 하나의 객체가 여러개의 작은 부분으로 구성된 경우 팽창시켜 하나로 합치는 연산을 수행하였다(Fig. 4). 반면 하나의 객체가 큰 경우 침식시켜 노이즈 및 객체를 분리하는 연산을 수행하였다. 이와 같은 연산을 수행하더라도 두 개의 객체가 붙어있는 경우가 존재한다. 하나의 객체가 일정 크기를 초과할 때 두 개의 객체가 붙어있다고 가정하였으며, 이미지 분할 기법을 이용하여 분리하였다(Fig. 5). 최종적으로 추출된 객체의 중심 지점에 대한 정보를 지오티프 (geotiff)와 벡터 데이터 파일(shapefile)로 저장하였다.

Fig. 3. Small pixel removal using open source computer vision library. Gold circle indicates the removed pixel. (a) the detected small pixel, (b) the process result.

Fig. 4. Morphology techniques for objects. The red color indicates the large objects and the blue color indicates the small object. (a), (d) small and large objects were separated for two cases. (b), (e) small object was dilated for two cases. (c), (f) large object was eroded for two cases.

Fig. 5. Separate concatenated objects using open source computer vision library.

3) 통계 분석

구축한 알고리즘을 정량적으로 평가하기 위해 정밀도(Precision), 재현율(Recall), 정확도(Accuracy), F1-Score를 각각 계산하였다. 정밀도란 알고리즘을 통해 탐지된 배추 객체 중에서 실제로 배추 객체인 비율이며, 재현율이란 실제 배추 객체 중에서 알고리즘을 통해 배추 객체라고 탐지한 비율을 의미한다. 정확도란 실제 배추 객체를 정확하게 탐지하고 배추가 유실된 지점도 정확하게 탐지한 비율을 의미한다. 본 연구에서는 3년 동안 이랑당 55~57개의 배추가 정식 되었으며, 정식한 지점에서 배추가 생장하지 않았을 때 유실되었다고 판단하였다. F1-Score는 정밀도와 재현율의 조화평균으로 0–1 (0–100%) 사이의 값을 가지며, 값이 높을수록 알고리즘의 성능이 좋다.

\(\begin{aligned}Precision\;=\frac{\text { True Positive }}{\text { True Positive }+\text { False Positive }}\\\end{aligned}\)       (3)

\(\begin{aligned}Recall\;=\frac{\text { True Positive }}{\text { True Positive }+\text { False Negative }}\\\end{aligned}\)       (4)

\(\begin{aligned}Accurracy=\\\frac{\text { True Positive }+\text { True Negative }}{\text { True Positive }+\text { False Positive }+\text { False Positive }+ \text { True Negative }}\\\end{aligned}\)             (5)

\(\begin{aligned}\mathrm{F} 1-\mathrm{Score}=2 * \frac{\text { Precision } * \text { Recall }}{\text { Precision }+\text { Recall }}\\\end{aligned}\)       (6)

여기서 True positive란 실제와 알고리즘 결과가 모두 참인 경우를 의미하며, True Negative는 실제는 참이나 알고리즘 결과가 거짓인 경우, False Positive는 실제는 거짓이나 알고리즘 결과가 참인 경우를 나타낸다. 마지막으로 False Negative는 실제와 알고리즘 결과가 모두 거짓인 경우를 의미한다.

3. 결과 및 토론

1) 배추 객체 탐지 알고리즘 훈련 결과(2019년 자료)

배추 객체 탐지 알고리즘에 대한 훈련 결과는 정밀도 99.3%, 재현율 96.33%, 정확도 97.7%로 나타났다(Table 2). 훈련을 위해 사용된 2019년 배추 포장의 경우 검정 비닐 멀칭으로 인해 작물과 작물이 아닌 지점이 명확하게 구분되었다(Fig. 6). 그로 인해 배추가 아닌 객체를 배추로 오탐지한 것이 9건에 불과하였으며, 심지어 배추 포장 인근에 심겨진 다른 작물이 배추 포장에 침범하여 배추로 오탐지한 외부 영향이 5건을 제외하면 4건에 불과하였다. 반면 전체 1332개의 배추 객체 중에서 29개의 배추 객체를 미탐지 하였으며, 본 연구에서 촬영된 다중분광카메라 영상의 공간해상도를 고려했을 때 배추 객체의 크기가 10 cm 이내인 배추 객체의 경우 미탐지되는 경우가 존재하였다. 태풍 등의 영향으로 유실된 배추의 객체는 25개였으며, 해당 위치에서는 모두 배추가 탐지되지 않았다. 해당 알고리즘의 F1-Score는 0.985로 높은 수준의 배추 객체 탐지 성능을 보였다.

Table 2. Summary results tableforobjectdetectionalgorithm of Chinese cabbage using drone-based multi-spectral images

Fig. 6. Thedetected Chinese cabbages usingopen source computer vision library in 2019.Blue circle indicates the detected object. Yellow circle indicates missing object. Red circle indicates false detection. White circle indicates undetected object.

2) 배추 객체 탐지 알고리즘 테스트 결과(2018년, 2020년 자료)

배추 객체 탐지 알고리즘에서 설정된 임계치를 이용하여 2018년, 2020년에 촬영된 영상에서 배추 객체를 탐지 하였다. 2018년 영상은 배추 정식 후 이른 시기에 촬영된 영상(7 DAP)으로 상대적으로 배추 객체의 크기가 작아 미탐지되는 비율이 높았다(Fig. 7). 재현율은 95.4%로 전체 1359개의 배추 객체 중에서 62개의 배추 객체를 미탐지 하였다. 오탐지는 16건으로 정밀도는 98.77%로 높은 수준을 유지하였다. 2018년 테스트의 경우 오탐지 원인이 모두 외부에 심겨진 작물의 영향이었으며, 이를 제외하였을 경우 정밀도는 100%였다. 유실된 배추 객체는 12건으로 해당 지점에도 모두 배추가 탐지되는 경우는 존재하지 않았으며, 정확도는 94.33%(외부 요인 제외 시 95.4%)였다. 2018년 영상을 이용하여 배추 객체를 탐지하였을 때 F1-Score는 0.970로 2019년 0.985에 비해 0.015 낮은 수준으로 나타났다. 2018년 사례와 같이 배추 정식 후 생육 초기에는 이랑 및 고랑을 만든 시점이 많이 지나지 않아 잡초 등의 영향이 크지 않고 검정색 비닐 멀칭이 존재하였기 때문에 작물과 작물이 아닌 지역이 잘 구분되어 높은 수준의 테스트 결과가 나타난 것으로 사료된다.

Fig. 7. The detected Chinese cabbages using open source computer vision library in 2018. Blue circle indicates the detected object. Yellow circle indicates missing object. Red circle indicates false detection. White circle indicates undetected object.

2019년 영상 기반으로 설정된 임계치를 이용하여 2020년에 촬영된 영상에서도 배추 객체 탐지 알고리즘을 테스트 하였다. 2020년의 경우 검정 비닐 멀칭이 되어 있지 않은 상태에서 배추를 정식하였으며, 배추 포장 내부에 잡초가 많이 발생하였다(Fig. 8). 이로 인해 잡초를 배추 객체로 오탐지하는 비율이 2018년, 2019년 비해 높아 정밀도는 95.19%로 나타났다. 총 65건의 오탐지가 발생하였으며, 이전과 달리 잡초를 억제해주는 검정 비닐 멀칭의 효과가 없어 잡초의 영향이 상대적으로 크게 나타났기 때문이다. 반면 재현율은 98.17%로 배추 객체를 탐지하는 비율은 높게 유지하였다. 전체 1344개의 배추 객체 중에서 24개의 배추 객체가 미탐지되었다. 이는 배추 객체 탐지를 위해 사용된 영상이 배추 정식 후 약 2주가 지난 시점(15 DAP)에 촬영되어 상대적으로 작은 크기의 배추가 적었기 때문으로 사료된다. 정확도는 93.68%로 유실된 33포기 지점에서 배추 객체가 탐지되지는 않았으나 65건의 오탐지로 인해 2018년, 2019년에 비해 낮았다. F1-Score는 0.967로 2018년 테스트 결과와 유사하였다.

Fig. 8. The detected Chinese cabbages using open source computer vision library in 2020. Blue circle indicates the detected object. Yellow circle indicates missing object. Red circle indicates false detection. White circle indicates undetected object.

4. 결론

드론에 탑재된 다중분광카메라에서 촬영된 분광반사도를 이용하여 배추 객체 중심을 탐지하는 알고리즘을 구축하고 평가하였다. RGB 파장과 NIR 파장을 활용하여 작물을 추출하고 필터링한 뒤 컴퓨터 비전 기술을 활용하여 생육 초기 배추 객체 중심을 추정하였다. 구축된 배추 객체 탐지 알고리즘의 정확도는 훈련(Training) 및 시험(Test) 자료에서 모두 93.68% 이상이었으며, 검정비닐 멀칭 유무에 따라 정밀도에서 차이가 나타났다. 검정비닐 멀칭이 되어 있는 경우에는 정밀도가 98.77%로 배추 객체를 오탐지하는 경우가 적었으며, 검정비닐 멀칭이 되어 있지 않은 경우에는 정밀도가 95.19%로 배추 객체를 오탐지하는 경우가 상대적으로 많이 나타났다. 향후 이랑과 고랑을 구분한 뒤 이랑 영역만을 대상으로 배추 객체를 탐지하면 정확도와 정밀도가 향상될 것으로 사료된다. 재현율의 경우 배추 정식 후 드론영상 촬영일이 늦을수록 높게 나타났으며, 이는 배추가 드론 영상의 GSD 보다 크게 생육하여 미탐지하는 비율이 적었기 때문이다. 정식 후 배추 객체를 탐지하기 위한 최적의 영상 촬영일은 분광카메라의 GSD와 배추 재식밀도가 고려되어야 한다.

최종적으로 개발된 배추 객체 탐지 결과는 다음과 같이 활용될 수 있다. 탐지된 배추 객체를 대상으로 위치정보를 획득한 뒤 객체별 생육 정보를 생산하고 제공할 수 있다. 객체가 존재하지 않은 지점의 경우 보식을 고려한다. 오탐지된 지점의 경우 배추가 아닌 다른 식생이 존재할 수 있다는 것을 의미하기 때문에 해당 위치정보를 잡초 관리에 활용할 수 있다. 오탐지된 지점이 특정 위치에 많이 몰려있다는 것은 해당 지점에 잡초가 많이 분포하고 있을 수 있다는 것을 의미한다. 이처럼 드론 영상을 활용하여 배추 객체에 대한 위치 정보를 획득하는 것뿐 아니라 영농 정보를 생산하고 활용할 수 있을 것으로 사료된다. 향후 생육 초기뿐만 아니라 생육 중기 드론 영상을 이용하여 배추 객체 중심을 추정하기 위하여 딥러닝을 활용한 배추 객체 탐지 알고리즘 구축이 요구되며, 이를 통해 생육 단계별 정확도, 정밀도, 재현율 등을 향상시키는 연구가 지속되어야 할 것이다.