1. 서론
최근 기후 변화로 인해 주요 곡물 생산국의 생산량 감소와 함께 국제 시장에서 곡물 가격이 지속적으로 상승하고 있는 추세다. 따라서 주요 곡물에 대한 자급률이 매우 낮아 대부분 해외 수입에 의존하고 있는 우리 나라의 곡물 수급 체계를 고려하여 주요 곡물의 수급 및 물가 안정을 위해 작황 모니터링을 통한 효과적인 대응 체계를 수립할 필요가 있다.
광범위한 작물 재배지에서 주기적으로 자료 획득이 가능한 원격탐사 기술은 현장 조사에 비해 시간 및 비용 측면에서 효율적으로 작황 모니터링이 가능하다. 작황 모니터링의 일환으로 작물의 재배면적과 생산량을 파악하기 위해 작물구분도 제작 연구가 수행되었는데 (Shahbazi et al., 2014; Zhao et al., 2019; Li and Xu, 2020), 관심 지역의 필지 규모와 대상 작물의 생육과정을 고려하 여 적절한 공간해상도와 시간해상도를 갖는 원격탐사 자료를 이용해왔다. 특히 소규모 영역에서 다양한 품종의 밭작물을 재배하는 우리나라에서는 작물 식별을 위해 높은 공간해상도의 원격탐사 자료를 이용해야 하는데, KOMPSAT, WorldView, PlanetScope 등과 같은 고해 상도 위성영상은 작물을 구분하는데 가장 중요한 시기에 구름이 거의 없는 영상을 확보하기 어렵다. 이러한 한계를 고려하여 최근에는 사용자가 원하는 시기에 영상 획득이 가능하고 초고해상도의 정보를 제공하는 무 인기(unmanned aerial vehicle, UAV) 영상이 작물구분도 제작에 주로 이용되고 있다(Shahbazi et al., 2014; Hall et al., 2018; Kwak et al., 2021).
작물구분도는 일반적으로 감독분류를 통해 제작하는데 만족할만한 분류 성능을 얻기 위해 양질의 다량의 훈련자료를 수집하는 것이 매우 중요하다(Deng et al.,2018). 파종부터 수확까지 일련의 과정으로 인해 재배 하는 작물은 매년 변하기 때문에 장기적인 작황 모니터링을 목적으로 연단위의 작물구분도를 제작하는 것이 필수적이며, 이를 위해서는 매년 반복적으로 훈련자료 수집이 선행되어야 한다. 그러나 훈련자료 수집은 많은 시간과 비용이 소요될 뿐만 아니라 분류 대상에 대한 전문가의 사전 지식이 필요한데 이를 매년 반복하는 것은 비실용적이다. 훈련자료 수집과 관련하여 작물구분도 제작의 효율성을 높일 수 있는 방법은 분류 대상과 유사한 특성을 갖는 이전 연도에 동일한 작물을 재배하는 지역으로부터 사전에 획득한 훈련자료 혹은 분류 모델을 재사용하는 것이다. 그러나 서로 다른 태양 조건, 비행 고도와 센서 유형 등으로 인해 개별 촬영한 무인기 영상은 자료 분포가 서로 상이하기 때문에 사전에 획득한 훈련자료나 분류 모델을 대상 지역에 그대로 적용한 다면 분류 성능이 크게 저하될 것이다(Benjdira et al., 2019; Martini et al., 2021).
도메인 적응(domain adaptation)은 사전 지식을 갖고 있는 소스 도메인(source domain)에서 학습한 분류 모델이 분류 대상인 대상 도메인(target domain)에서도 높은 성능을 달성하도록 두 도메인 간 자료 분포의 불일치 문제를 완화하는 기법이다(Tuia et al., 2016). 최근 도메인 적응을 위해 다양한 딥러닝 기반 모델이 제안되었는데, 도메인 불일치 문제를 해결하고 분류를 수행하는 과정이 상호 유기적으로 연결되어 있기 때문에 transfer component analysis(Matasci et al., 2015), canonical correlation analysis (Volpi et al., 2015)와 같은 전통적인 방법에 비해 성능 측면에서 우수하다고 알려져 있다(Elshamli et al., 2017).
딥러닝 기반의 도메인 적응 모델들은 도메인 불일치를 해결하기 위해 특징을 학습하는 방법에 따라 적대적 학습(adversarial training) 기반 모델, 오토인코더 (autoencoder) 기반 모델과 분포 매칭 기반 모델로 구분할 수 있다(Elshamli et al., 2019). 적대적 학습 모델은 도메인 판별기를 통해 두 도메인을 서로 구분하지 못하도록 학습함으로써 도메인 불일치 문제를 해결하는데 대표 적인 모델로 domain adversarial neural network (DANN)이 있다(Ganin et al., 2015). 오토인코더 기반 모델은 입력 자료를 저차원 특징으로 압축하는 과정에서 도메인 불일치 문제를 해결하며 대표적인 모델로deep reconstructionclassification network (DRCN)이 있다(Ghifary et al., 2016). 소스 도메인과 대상 도메인에서 개별 학습한 특징이 동일한 정보를 갖도록 학습함으로써 도메인 불일치 문제를 해결하는 분포 매칭 기반 모델로는 deep adaptation network (DAN)이 제안되었다(Long et al., 2015). 앞서 소개한 딥러닝 기반의 도메인 적응 모델들은 도메인 불일 치 문제를 해결하기 위해 소스 도메인과 대상 도메인의 공통되는 특징을 학습하는 표현 학습(representation learning)을 기반으로 한다.
도메인 적응은 대상 도메인에서 사용할 수 있는 자료 유형에 따라 크게 지도 도메인 적응(supervised domain adaptation), 준지도 도메인 적응(semi-supervised domain adaptation)과 비지도 도메인 적응(unsupervised domain adaptation)으로 구분한다. 3개의 도메인 적응 유형은 모두 사전지식 정보로 소스 도메인에서 라벨 정보를 갖는 다량의 훈련자료의 이용이 가능하다. 이때 지도 도메인 적응은 대상 도메인에서 라벨 정보를 갖는 훈련자료의 이용이 가능하지만 소스 도메인의 훈련자료 수보다 적은 경우로 정의하고, 준지도 도메인 적응은 대상 도메인에서 라벨 정보를 갖는 훈련자료와 함께 라벨 정보가 없는 훈련자료를 함께 이용 가능한 경우로 정의한다. 마지막으로 비지도 도메인 적응은 대상 도메인에서 라벨 정보가 없는 훈련자료만 이용 가능한 경우로 정의한다. 원격탐사 자료를 이용한 분류에서는 대상 도메인에 대해 라벨 정보를 갖는 훈련자료 수집에 소요되는 시간과 비용을 줄이기 위해 주로 비지도 도메인 적응에 대한 연구가 진행되고 있다(Benjdira et al., 2019; Martini et al., 2021). 그러나 비지도 도메인 적응은 대상 도메인에서 이용 가 능한 라벨 정보를 갖는 훈련자료가 부재하기 때문에 소스 도메인과 대상 도메인의 라벨 정보를 함께 이용하는 다른 도메인 적응 유형에 비해 상대적으로 도메인 불일치 문제를 해결하기가 어렵다. 특히 작물 분류를 목적으로 비지도 도메인 적응을 적용하는 경우 개별 작물 항목 간 유사한 분광 특성으로 인해 이러한 한계를 극복하는 것은 더욱 어렵다. 그럼에도 불구하고 작물 분 에서 비지도 도메인 적응에 대한 적용성을 평가한 연구는 매우 드문 상황이다.
이러한 배경에서 이 연구에서는 작물 분류에서 딥러닝 기반 비지도 도메인 적응 모델의 적용성을 평가하였다. 우리나라의 소규모 밭작물 재배지 특성을 고려하여 도메인 적응 기반 작물 분류 실험의 입력으로 무인기 영상을 이용하였고, 대표적인 딥러닝 기반 비지도 도메인 적응 모델인 DAN, DRCN과 DANN을 적용하였다. 그리고 비지도 도메인 적응 모델은 정량적, 정성적으로 분석한 도메인 불일치 정도에 따라 분류 성능을 비교 분석하였다.
2. 연구 지역 및 사용 자료
이 연구에서는 주산지 단위의 작물 모니터링의 실질 적인 측면을 고려하기 위해 영상 촬영 시 지리적 위치나 촬영 연도가 변경되는 경우에 나타날 수 있는 도메인 불일치 문제를 다룬다. 이를 고려하여 비지도 도메인 적응 모델에 대한 적용성 평가를 위해 우리나라 대x적인 마늘/양파 주산지인 경상남도 합천군 초계면, 야로면과 경상남도 창녕군 유어면의 일부 지역을 사례 연구 지역으로 선정하였다(Fig. 1(a)). 사례 연구 지역에 서는 주산작물인 마늘, 양파와 함께 맥류가 재배되고 있으며 병충해 예방을 위해 일부 필지는 나지 상태인 휴경지로 관리하고 있다. 세 작물은 일반적으로 벼 수확 이 끝난 후인 약 11월에 파종을 시작하고 그 다음 해인 4월 말에서 5월 초에 식생활력도가 가장 높으며 5월 말에는 수확을 시작한다. 이 연구의 목적은 작물을 분류하는 것이기 때문에 건물, 도로, 산림과 같은 비작물을 제외하고 마늘, 양파, 맥류, 휴경지를 분류 항목으로 정의하였다.
Fig. 1. (a) Location of the study areas with UAV images and (b) zoomed-in images of individual crops
좁은 지역에서 다양한 작물을 재배하는 우리나라 밭작물 재배지의 특성을 고려하여 무인기 영상을 도메인 적응 기반 작물 분류의 입력으로 이용하였다(Table 1). 일반적으로 작물 분류에서는 근적외선 혹은 단파적외선의 채널을 주로 이용하지만 사례 연구 지역에서 재배하는 마늘, 양파와 맥류는 가시광선 채널만 이용하더라도 화소값의 차이와 공간적인 특징이 서로 다르게 나타나 충분히 육안으로 구분이 가능하다(Fig. 1(b); Kwak et al., 2021). 따라서 blue (450 nm), green (550 nm), red (625 nm)의 가시광선 채널을 제공하는 Canon IXUS/ELPH 카메라가 탑재된 고정익 무인기 eBee (senseFly,Cheseauxsur-Lausanne, Switzerland)를 촬영에 이용하였다.
Table 1. Summary of UAV images used in this study
고유한 생육 주기를 갖는 개별 작물들은 성장 단계에서 물리적 특성 변화가 발생하는데, 작물 분류에서는 이러한 특성을 고려하기 위해 주로 시계열 영상을 이용한다. 그러나 사례 연구 지역인 합천군 초계면, 야로면 과 창녕군 유어면에서는 개별 작물들의 생육 주기가 모두 유사하기 때문에 시계열 영상을 이용하더라도 분류 성능의 향상을 기대하기 어렵다(Kwak et al., 2021). 따라서 3개 작물의 식생활력도가 가장 높은 4월 말에 촬영한 단일시기 영상을 작물 분류의 입력으로 이용하였다.
무인기 영상은 위성영상과는 다르게 분석자가 직접 촬영하기 때문에 촬영 조건을 정의하고 촬영된 영상에 대한 전처리가 필요하다. 무인기 영상에 대한 촬영 조건으로 횡중복도와 종중복도는 각각 60%와 75%로 설정하였고, 촬영 당시 비행체의 고도, 방향 등 위치 정보와 결합하여 정사영상으로 제작하였다. 그리고 구름 등의 기상 환경이 무인기 촬영에 영향을 미치지 않도록 하기 위해 개별 지역마다 서로 다른 시간에 영상을 촬영 하였는데, 영상의 개별 화소값은 촬영 당시의 광량, 태양 고도각 등에 크게 영향을 받으므로 방사보정된 영상으로 변환하였다. 무인기 영상의 정사영상 제작과 방사 보정에는 Pix4Dmapper 소프트웨어(Pix4D S.A., Prilly, Switzerland)를 이용하였다. 이와 같이 촬영 및 전처리된 무인기 영상은 국립농업과학원으로부터 제공받았다.
수집한 무인기 영상을 대상으로 도메인 적응 기반 작물 분류에 대한 3가지 사례를 정의하였다(Table 2). 소스 도메인은 3가지 사례에서 모두 동일하게 2018년 4월 26일에 합천군 초계면에서 촬영한 영상을 이용하였다. 그리고 소스 도메인 영상 대비 무인기 영상의 촬영 연도나 지리적 위치가 변경되는 경우에 따라 시간 도메인 적응(temporal adaptation, TA), 공간 도메인 적응(spatial adaptation, SA)과 시공간 도메인 적응(spatio-temporal adaptation, STA)으로 정의하고 대상 도메인 영상을 선정하였다. TA는 소스 도메인 영상과 대상 도메인 영상이 동일 지역이나 촬영 연도가 다른 경우, SA는 소스 도 메인 영상과 대상 도메인 영상이 동일 연도에 촬영되었 으나 지역이 다른 경우, STA는 소스 도메인 영상과 대상 도메인 영상의 촬영 지역과 연도가 모두 다른 경우를 의미한다. TA, SA와 STA에 해당하는 대상 도메인 영상은 각각 2019년 4월 18일에 촬영한 합천군 초계면 영상, 2018년 4월 29일에 촬영한 창녕군 유어면 영상과 2021년 4월 25일에 촬영한 합천군 야로면 영상이다.
Table 2. Three cases of domain adaptation and UAV images used for domain adaptation
비지도 도메인 적응 기반의 작물 분류를 수행하고 결과를 검증하기 위해 현장 조사와 함께 무인기 영상의 육안 판독으로 제작한 ground truth 지도로부터 훈련자료 와 검증자료를 추출하였다. Convolutional neural networks (CNNs) 구조를 갖는 비지도 도메인 적응 모델의 적용을 위해 훈련자료와 검증자료는 패치 단위의 영상 정보와 함께 패치 중앙 화소에 상응하는 작물 항목을 라벨 로 할당함으로써 구성한다. 그리고 비지도 도메인 적응 모델의 학습에는 소스 도메인 영상에 대한 훈련자료와 대상 도메인 영상에 대한 라벨이 없는 훈련자료를 함께 이용한다. 이때 소스 도메인과 대상 도메인에 대한 개별 훈련자료는 영상 내에서 동일한 화소를 공유하지 않도록 패치크기 만큼의 일정 거리를 두어 임의로 추출하였다. 훈련자료를 추출하는 과정에서 라벨 정보를 대표하는 중앙 화소가 필지 경계 부근에 위치하는 경우 훈련자료의 일부 화소는 필지 경계 밖 건물, 도로, 산림 등 의 정보를 갖는 화소를 포함하게 된다. 이러한 경우 분류 성능이 크게 저하될 수 있으므로(Park and Park, 2020), 이 연구에서는 패치 단위 훈련자료의 모든 화소가 필지 경계 내에 포함되도록 추출하였다. 소스 도메인과 대상 도메인에 대한 훈련자료는 각각 5,000개씩 수집하였으며, 훈련자료의 개별 작물 항목에 대한 비율은 현장 조사 자료의 필지 면적 비율과 동일하게 설정하였다 (Table 3).
Table 3. Number of training and test data used in three cases
3. 연구방법
1) 비지도 도메인 적응 모델
(1) DRCN
오토인코더는 입력값을 출력값으로 그대로 복사하는 기능을 갖는 무감독 학습 기반의 신경망이다. 입력값을 출력값으로 복사하는 과정은 은닉층(hidden layer)의 뉴런 수를 입력층(input layer)보다 적게 설정함으로써 입력값을 저차원 특징으로 압축하는 인코더(encoder)와 압축된 저차원의 특징을 출력값으로 복원하는 디코더 (decoder)에 의해 수행된다. 오토인코더의 주 목적은 인코더와 디코더의 기능을 통해 입력값을 저차원 특징인 잠재 변수(latent variable)로 재구성하는 것이다.
오토인코더 기반의 비지도 도메인 적응 모델인 DRCN 은 오토인코더 구조의 신경망과 feed-forward 구조의 신경망이 결합된 형태를 갖는다(Fig. 2). 먼저 오토인코더 구조의 신경망은 소스 도메인과 대상 도메인의 자료 분포를 일치시키기 위해 두 자료를 각각 입력과 출력으로 이용하여 입력 자료를 잠재 변수로 재구성하는 비지도 학습을 수행한다. 그리고 feed-forward 구조의 신경망은 오토인코더의 산출물인 잠재 변수와 함께 소스 도메인의 훈련자료를 이용하여 분류를 수행하도록 지도 학습 을 수행한다. 두 신경망의 학습 과정에서 특징 추출 기능을 수행하는 인코더를 공유함으로써 분류 기능과 도메인 간 자료 분포 일치 기능이 상호 유기적으로 연계된다는 것이 DRCN의 주요 핵심이다.
Fig. 2. Basic structure of the DRCN model.
(2) DANN
적대적 학습 기반 비지도 도메인 적응 모델인 DANN 은 분류를 수행하는 feed-forward 구조의 신경망에 적대적 학습을 수행하는 신경망인 도메인 판별기를 추가함 으로써 구성된다(Fig. 3). DANN의 주요 개념은 소스 도메인 자료를 분류하는 feed-forward 구조의 신경망을 학습함과 동시에 소스 도메인 자료와 대상 도메인 자료를 서로 구분하지 못하도록 하는 도메인 판별기를 학습함으로써 도메인 불일치 문제를 해결하고 대상 도메인에서의 분류 성능을 향상시키는 것이다. 도메인 불일치 문제를 해결하기 위해 도메인 판별기는 기울기 반역할을 하는 특수 계층인 gradient reversal layer (GRL) 을 이용한다. GRL은 기울기 반전을 통해 오차 역전파 (backpropagation)에서 손실함수의 값이 최대가 되도록 학습함으로써 두 도메인 자료를 구분하지 못하도록 한다. DRCN과 동일하게 DANN은 분류기와 도메인 판별기가 특징 추출 기능을 하는 계층을 서로 공유함으로써 도메인 간 자료 분포 일치와 분류를 수행하는 기능이 서로 연계되어 있다는 점이 주요 특징이다.
Fig. 3. Basic structure of the DANN model.
(3) DAN
분포 일치 기반 비지도 도메인 적응 모델인 DAN은 두개의 분기로 구성되는 DRCN, DANN과는 다르게 하나의 신경망에서 분류기를 학습하고 도메인 불일치 를 해결하는 과정이 수행된다(Fig. 4). 먼저 소스 도메인 자료를 이용하여 일반적인 구조를 갖는 CNN 모델을 학습한다. CNN 모델은 일반적으로 여러 개의 층이 쌓이면서 깊어질수록 더 구체적인 특징을 추출하도록 학습하기 때문에 소스 도메인 자료를 이용하여 학습한 CNN 모델의 마지막에 위치한 계층에서 추출한 특징은 일부 소스 도메인에 과적합될 수 있다. 따라서 과적합 현상을 방지하기 위해, 두 도메인 간 자료 분포가 유사해지도록 특징을 학습하는 최대 평균 불일치(maximum mean discrepancy, MMD)를 CNN 모델의 마지막에 위치한 일부 계층에서 손실함수로 이용한다. MMD는두도 메인 자료를 reproducing kernel Hilbert space로 매핑한 다음(Long et al., 2015), 두 도메인 자료에 대한 평균 거리를 계산한다.
Fig. 4. Basic structure of the DAN model.
2) 분류 및 평가 절차
도메인 적응 기반 작물 분류와 분류 결과의 평가 절차 는 Fig. 5에 제시하였다. 먼저 비지도 도메인 적응 모델을 적용하기 전에 소스 도메인과 대상 도메인의 영상과 훈련자료를 이용하여 도메인 불일치 정도를 정량적, 정성적으로 분석하였다. 도메인 불일치 정도의 정량적 분석은 개별 작물 항목과 함께 모든 작물 항목에 대해 두 변수 간 분리성 계산에 주로 이용되는 Jeffries-Matusita (JM) 거리를 이용하였다(Wang et al., 2018). JM 거리는 0~2의 값을 갖는데 JM 거리가 0에 가까울수록 도메인 불일치정도가 작다는 것을 의미하며, JM거리를 통해 도메인 적응 사례별로 상대적인 도메인 불일치 정도를 분석하였다. 도메인 불일치 정도에 대한 정성적 분석에서는 무인기 영상에 대한 시각적 분석을 수행하였는데, 무인기 영상 촬영과 작물 재배지에서 나타날 수 있는 두 자료 간 분포 차이를 종합적으로 검토하였다.
Fig. 5. Overall classification and evaluation procedures applied in this study.
비지도 도메인 적응 모델은 소스 도메인 영상의 훈련 자료와 대상 도메인 영상의 라벨이 없는 훈련자료를 이용하여 도메인 불일치 문제를 해결하고 대상 도메인 영상에 대한 분류를 수행한다. 비지도 도메인 적응 모델에 대한 분류 성능을 평가하기 위해 소스 베이스라인 (source baseline)과 대상 베이스라인(target baseline)을 비교 대상으로 선정하였다. 소스 베이스라인은 소스 도메인 영상의 훈련자료를 이용하여 학습한 CNN 모델로 도메인 불일치 문제를 해결하지 않고 대상 도메인 영상 을 예측한 결과를 의미한다. 그리고 대상 베이스라인은 대상 도메인 영상의 훈련자료를 이용하여 학습한 CNN 모델로 대상 도메인 영상을 예측한 결과를 의미한다. 두 베이스라인은 모두 CNN을 분류 모델로 이용하기 때문에 이 연구에서는 각각 소스 베이스라인 CNN과 대상 베이스라인 CNN이라고 명명하였다. 따라서 도메인 불일치를 해결하지 않는 소스 베이스라인 CNN의 분류 성능보다 우수하고 도메인 불일치 문제가 없는 대상 베이스라인 CNN의 분류 성능과 유사할수록 비지도 도메인 적응 모델은 우수한 성능을 보인다고 할 수 있다.
3개의 비지도 도메인 적응 모델과 소스 베이스라인 CNN, 대상 베이스라인 CNN은 최적의 분류 성능을 갖는 모델로 구현하기 위해 모델 구조와 함께 하이퍼파라 미터를 결정하였다. 소스 베이스라인 CNN과 대상 베 스라인 CNN 뿐만 아니라 3개의 비지도 도메인 적응 모델들은 모두 CNN 구조를 기본 틀로 이용하며 각 모델의 특성에 따라 서로 다른 구조를 갖도록 구성하였다. CNN 구조의 신경망에서는 만족스러운 분류 성능을 얻으려면 합성곱 계층의 수, 합성곱 필터의 크기와 수, 입력 패치 크기 등의 다양한 파라미터를 신중하게 결정해야 한다. 먼저 소스 베이스라인 CNN과 대상 베이스라 인 CNN은 사전 연구를 통해 결정한 최적의 구조와 하이퍼파라미터를 채택하였다(Table 4; Kwak et al., 2019; Park and Park, 2020; Kwak et al., 2021). 그리고 3개의 비지 도 도메인 적응 모델은 소스 베이스라인 CNN, 대상 베 이스라인 CNN과 마찬가지로 입력 패치 크기와 합성곱 필터 크기는 입력 자료와 연구 지역의 특성을 고려하여 소스 베이스라인 CNN, 대상 베이스라인 CNN과 동일 하게 각각 9×9와 3×3으로 결정하였다. 그외 계층 수, 필터 수와 dropout의 적용 여부와 비율은 5-fold 교차검 증(cross-validation)을 통해 결정하였다. 5-fold 교차검증 은 훈련자료를 5개의 군집으로 구분하고 4개의 군집은 모델 훈련에 사용되고, 나머지 1개의 군집은 최적의 하이퍼파라미터를 찾기 위한 검증 샘플로 사용한다. 대상 도메인 영상에서는 라벨 정보를 갖는 훈련자료가 부재 하기 때문에 소스 도메인 영상의 분류 성능을 기준으로 모델을 검증하였다. 마지막으로 모델들의 과적합을 방지하기 위해 반복 훈련 과정에서 모델의 성능이 더 이상 개선되지 않을 때 특정 반복 횟수(epoch)에서 훈련을 조기 중지하였다. 소스 베이스라인 CNN, 대상 베이스라인 CNN과 3개의 비지도 도메인 적응 모델에 대해 결 정한 최적의 하이퍼파라미터와 모델 구조는 Table 4에 나타냈다.
Table 4. Structures and hyper-parameters of CNN models (source baseline CNN and target baseline CNN) and three
5개의 분류 모델에 대한 분류 결과는 검증자료를 이용하여 계산한 분류 정확도와 시각적 분석을 통해 정량적, 정성적으로 평가하였다. 분류 정확도는 혼동 행렬을 통해 계산한 전체 정확도와 개별 작물 항목에 대한 정확도 지표인 F-measure를 이용하였다. F-measure는 개별 작물 항목의 사용자 정확도와 생산자 정확도의 조화 평균로 계산한다(Zhao et al., 2019; Kwak et al., 2021).
이 연구에서 사용한 분류 모델의 구현에는 Python 3.6.7에서 TensorFlow 2.1.0과 Keras 2.3.1 버전의 라이브러리를 통해 구현하였다. 그리고 모델 훈련은 Intel XEON E5-2630 v4 @ 2.2GHz CPU와 11GB 메모리를 갖는 2개 의 NVIDIA GTX 1080ti GPU가 탑재된 CentOS 7.0 운영 체제에서 수행하였다.
4. 결과 및 토의
1) 도메인 불일치 분석
이 연구에서는 도메인 불일치 문제에 대한 정성적, 정량적 분석 결과를 토대로 비지도 도메인 적응 모델이 도메인 불일치 문제를 해결하는데 미치는 영향을 조사하고자 한다. 도메인 불일치 문제를 정의하기 위해 먼저 무인기 영상을 시각적으로 분석하였다(Fig. 1(a)). 폭우와 같은 이상 기후나 개별 필지의 관리 미흡에 따른 생육 불안정으로 인해 개별 촬영된 영상에서 작물의식 생활력도 차이가 발생할 수 있다. STA 사례의 대상 도메인인 합천군 야로면에서는 다수의 마늘, 양파, 맥류 필지에서 생육이 지연된 것으로 나타났다. 이러한 식생 활력의 차이는 도메인 간 작물의 서로 다른 생육 단계에 의해 발생할 수 있는데, 사용자가 원하는 시기에 촬영이 가능한 무인기 영상의 특징으로 인해 작물의 식생 활력이 가장 높은 시기에 영상 촬영이 가능하므로 식생활력 차이에 따른 불일치 문제를 고려하지 않았다. 다음으로 연구 대상 지역이 밭작물 재배 주산지이므로 일부 지역에서는 주산 작물을 제외한 특정 작물을 재배하지 않을 수 있으므로 소스 도메인과 대상 도메인에서 분류하고자 하는 작물 항목이 상이할 수 있다. 마늘, 양파, 맥류를 재배하는 다른 지역과 다르게 SA의 대상 도메인인 창녕군 유어면에서는 맥류를 제외한 마늘과 양파만 재배하고 있다(Table 2). 주산지에서 새로운 작물이 추가되는 경우는 드물기 때문에 이 연구에서는 SA 사례와 같이 도메인 간 클래스 변동은 대상 도메인 영상 에서 분류하고자 하는 작물 항목 수가 줄어드는 경우로 한정하였다. 마지막으로 소스 도메인과 대상 도메인 간 재배하는 작물의 필지 면적 비율이 상이할 수 있다. 영상 내 작물 필지 면적을 살펴보면(Table 1), 두 도메인의 지역이 동일한 TA는 모든 작물의 비율이 유사한 반면 에 SA와 STA는 작물 간 비율에서 큰 차이를 보였다. 특히 SA에서 대상 도메인 영상은 다른 작물의 비해 마늘의 비율이 58.76%로 매우 높았고, 휴경지의 비율은 2.54%로 매우 낮았다. 감독 분류에서 모델을 학습할 때 사용된 훈련자료의 클래스별 비율이 성능에 크게 영향을 미치기 때문에 이에 따른 비지도 도메인 적응 모델의 분류 성능을 조사할 필요가 있다.
소스 도메인과 대상 도메인 간 도메인 불일치 문제는 JM거리를 통해 정량적으로 확인하였다(Table 5). 먼저 TA와 SA의 개별 작물과 모든 작물 간 JM 거리는 서로 유사하게 나타났으며, STA에 비해서는 상대적으로 낮았다. 이는 TA와 SA에서 소스 도메인 영상과 대상 도메인 영상 간 개별 작물의 물리적인 변화가 적다고 할 수 있다. 예외적으로 TA에서 휴경지의 JM거리는 다른 항목들에 비해 상대적으로 높게 나타났다. 이러한 결과는 TA에서 소스 도메인과 대상 도메인 영상 내 나지 형태로 존재하는 휴경지 필지의 화소값이 서로 상이하기 때문인 것으로 판단된다(Fig. 1(a)). STA의 높은 JM거리는 TA와 SA와 다르게 두 도메인 영상 간 식생 활력에 큰 차이를 보인 것이 주된 이유로 판단된다. Fig. 1(a)를 살펴 보면, 합천군 야로면 영상은 필지에서 멀칭비닐이 육안으로 확인될 정도로 작물의 생육이 지연된 것으로 확인할 수 있다.
Table 5. Jeffries-Matusita distance values for domain discrepancy analysis in three domain adaptation cases
2) 비지도 도메인 적응 모델의 성능 평가
이 연구에서는 Table 4에 제시한 소스 베이스라인 CNN, 대상 베이스라인 CNN과 3개의 비지도 도메인 적응 모델을 이용하여 생성한 작물 분류 결과를 대상으로 검증자료와의 비교를 통해 분류 정확도 기반의 정량적 평가와 시각적 분석을 함께 수행하였다.
(1) 분류 정확도 평가
Fig. 6과 7은 각각 3개의 도메인 적응 사례에서 소스베이스라인 CNN, 대상 베이스라인 CNN과 3개의 비지도 도메인 적응 모델로 얻어진 전체 정확도와 개별 작물에 대한 F-measure를 나타낸다
Fig. 6. Overall accuracy of classification results for three domain adaptation cases.
Fig. 7. F-measure for each crop in the classification results for three domain adaptation cases.
먼저 TA를 살펴보면, 소스 베이스라인 CNN의 분류 정확도는 90.73%로 대상 베이스라인 CNN의 분류 정확도와 3.61%p의 차이를 보였다. 다른 도메인 적응 사례에 비해 소스 베이스라인 CNN과 대상 베이스라인 CNN의 분류 정확도 차이가 매우 작았는데, 이러한 결과는 TA가 두 도메인 간 불일치 정도가 작다는 것을 의미한다. 이는 Table 5에서 보는 바와 같이 도메인 불일치 정도가 작음을 시사하는 TA의 상대적으로 낮은 JM거리 값과 일치한다. 도메인 불일치 정도가 작기 때문에 비지도 도 메인 적응 모델인 DAN, DRCN과 DANN의 분류 정확도는 소스 베이스라인 CNN의 분류 정확도와 유사하거나 일부 낮았다. 소스 베이스라인 CNN의 분류 정확도보다 낮게 나타난 DRCN과 DANN의 F-measure를 살펴보면 (Fig. 7), DRCN은 주요 작물인 마늘과 양파 항목에서 상대적으로 F-measure가 낮았고, DANN은 연구 지역 에서 필지 면적의 비율이 가장 낮은 맥류 항목에서 Fmeasure가 낮았다. 이는 개별 작물 간 유사한 분광 특성으로 인해 두 도메인 간 자료 분포를 일치시키는 과정에 서 일부 작물 항목에 오분류가 나타난 것으로 판단된다.
SA의 도메인 불일치 정도를 정량적으로 계산한 JM 거리를 살펴보면(Table 5), TA와 비교해서 상대적으로 낮게 나타나 개별 작물 항목에 대한 도메인 불일치 정도는 매우 작은 것으로 판단된다. 그럼에도 불구하고, SA에 대한 소스 베이스라인 CNN과 대상 베이스라인 CNN은 TA에 비해 상대적으로 분류 정확도에서 큰 차이를 보였다(19.93%p). 이러한 결과는 도메인 불일치의 정성적 분석에서 살펴본 바와 같이, SA에서 소스 도메인과 대상 도메인의 필지 면적의 비율이 큰 차이를 보이기 때문에 소스 베이스라인 CNN을 이용하여 대상 도메인 영상을 분류하는데 성능에 큰 영향을 미친 것으 로 판단된다. SA의 대상 도메인은 소스 도메인에 비해 마늘과 휴경지의 비율에서 큰 차이를 보였으며, 특히 SA에서 대상 도메인의 휴경지 비율은 2.54%로 매우 낮았다(Table 3). 이러한 양상으로 인해, 소스 베이스라인 CNN에서 휴경지의 F-measure는 44.3%로 가장 낮게 나타났다. TA와 대조적으로, SA에서는 DAN, DRCN, DANN을 통해 소스 베이스라인 CNN 대비 분류 정확도가 크게 향상되었다(각각 13.48%p, 15.85%p, 16.16%p). 즉 도메인 불일치로 두 도메인 간 분류 항목의 비율이 상이한 경우 비지도 도메인 적응 모델의 적용이 필요함을 시사한다. SA 사례에서 비지도 도메인 적응 모델의 주요 특징을 살펴보면, DAN은 주 작물인 마늘, 양파의 F-measure의 향상 정도가 크지 않은 반면에 휴경지의 Fmeasure가 크게 증가하였고, DRCN과 DANN은 DAN과는 다르게 주 작물인 마늘과 양파의 F-measure가 크게 증가한 반면 휴경지의 F-measure는 DAN에 비해 향상 정도가 작았다. DAN의 경우 필지의 면적 비율이 적은 항목의 정확도를 향상시켰고, DANN의 경우 필지 면적 비율이 큰 마늘, 양파 항목의 정확도를 향상시킨다는 점에서 TA 사례와 유사한 결과를 보였다.
STA는 대상 도메인 영상에서 다수의 필지가 식생 활력이 낮고 소스 도메인과 대상 도메인의 작물 필지 면적의 비율에서도 큰 차이를 보임에 따라 도메인 불일치 정도의 정량적 분석에서 JM거리가 TA와 SA에 비해 상대적으로 높게 나타났다. 이에 따라 TA, SA와 비교해서 STA는 도메인 불일치 정도가 가장 큰 사례로 정의할 수 있다. STA의 소스 베이스라인 CNN과 대상 베이스라인 CNN의 분류 정확도는 다른 사례에 비해 가장 큰 차 이를 보였다(21.1%p). 그리고 다른 사례에 비해 비지도 도메인 적응 모델을 적용하더라도 분류 정확도의 향상 정도가 크지 않았다. DAN은 소스 베이스라인 CNN과 비교해서 분류 정확도가 오히려 4.94%p 감소하였는데, 특히 마늘과 맥류 항목에서 F-measure가 각각 11%p, 26.8%p 만큼 감소하였다. 반면 DANN의 분류 정확도는 83.91%로 3개의 비지도 도메인 적응 모델 중에서 가장 높았으며, 소스 베이스라인 CNN과 비교해서 8.26%p 향상되었다. 분류 실험 결과를 토대로, 비지도 도메인 적응 기반 작물 분류에서 두 도메인 간 불일치 정도가 클 때 적대적 학습을 기반으로 하는 DANN 모델이 가장 적합한 모델로 판단된다.
(2) 분류 결과의 시각적 평가
비지도 도메인 적응 모델의 유용성을 평가하기 위해 3개의 도메인 적응 사례의 분류 결과에 대한 시각적 분석을 수행하였다(Fig. 8). TA의 분류 결과를 살펴보면, DRCN에서는 일부 마늘과 양파 필지에서 고립된 화소가 발생하였고 DANN에서는 일부 마늘 필지가 맥류로 오분류되는 양상이 나타났다. TA는 도메인 불일치 정도가 작기 때문에 소스 베이스라인 CNN을 포함한 3개의 비지도 도메인 적응 모델에서 일부 필지의 오분류를 제외하고 대상 베이스라인 CNN과 매우 유사한 분류 결과를 보였다.
Fig. 8. Comparison of classification results and ground truth for three domain adaptation cases.
SA에서 소스 베이스라인 CNN의 분류 결과는 마늘과 양파 항목이 혼재되는 양상, 필지 경계 부근에서 휴경지로 오분류되는 양상과 일부 마늘 필지가 대상 도메인 영상에서 존재하지 않는 맥류 항목으로 오분류되는 양상이 나타났다. 마늘과 양파는 무인기 영상에서 육안으로도 쉽게 판독이 가능하다는 점을 감안할 때(Fig. 1(b)), 마늘과 양파 항목이 혼재되는 양상은 두 도메인 간 필지 면적의 비율 차이 등 불일치 정도가 크기 때문 인 것으로 판단된다. 이러한 오분류 양상은 비지도도 메인 적응 모델의 적용을 통해 크게 개선되었다.
비지도 도메인 적응 모델 별 분류 성능의 차이는 도메인 불일치 정도가 가장 큰 STA 사례에서 나타났다. STA에서 소스 베이스라인 CNN은 SA와 동일하게 마늘과 양파 항목이 혼재되었고, 일부 맥류 필지를 잘 구분하지 못하는 것으로 나타났다. DAN은 소스 베이스라인 CNN과 비교해서 분류 정확도가 더 낮았는데, 이는 마늘과 맥류 항목이 대부분 양파로 할당되었기 때문이다. 즉 DAN은 도메인 불일치 정도가 클수록 자료 분포를 일치시키는 능력이 크게 저하되는 것으로 판단된다. 반면 DRCN과 DANN은 마늘과 양파 항목의 혼재 양상이 여전히 존재하지만 소스 베이스라인 CNN과 DAN과 비교해서 마늘과 맥류 항목의 오분류 양상을 크게 완화 하였다. 특히 DANN은 다른 비지도 도메인 적응 모델에 비해 대상 베이스라인과 가장 유사한 결과를 보였다
5. 결론
이 연구에서는 연단위의 작황 모니터링을 목적으로 작물구분도를 제작할 때 매년 훈련자료 수집해야 하는 문제를 해결하기 위해 딥러닝 기반의 비지도 도메인 적응 모델의 적용성을 평가하였다. 비지도 도메인 적응 모델의 적용성 평가는 우리나라 대표적인 마늘, 양파 재배 주산지인 합천군과 창녕군 일부지역을 대상으로 수행하였으며, 전통적인 딥러닝 모델인 CNN을 기반으로 하는 소스 베이스라인 CNN, 대상 베이스라인 CNN과 함께 대표적인 딥러닝 기반의 비지도 도메인 적응 모델인 DAN, DRCN, DANN을 비교하였다.
도메인 적응 사례별 실험 결과를 살펴보면, 소스도 메인과 대상 도메인에서 재배하는 작물 항목에 변동이 없고, 작물 간 면적 비율이 유사한 TA에서는 비지도도 메인 적응의 적용없이 소스 베이스라인 CNN만으로도 우수한 성능을 보이는 것으로 나타났다. 반면 SA와 STA는 작물 항목의 변경, 작물 간 면적 비율의 차이와 식생 활력의 차이로 인해 소스 베이스라인 CNN보다 우수한 성능을 보인 비지도 도메인 적응의 적용이 필요한 것으로 나타났다. 비지도 도메인 적응 모델별 분류 성능을 살 펴보면, 도메인 불일치 정도가 매우 작은 TA 사례에서 DAN은 가장 우수한 분류 성능을 보였고, 상대적으로 도메인 불일치 정도가 큰 SA와 STA 사례에서는 DANN이 가장 분류 성능이 높게 나타났다. 따라서 높은 분류 성능을 보이는 비지도 도메인 적응 모델을 선택하기 위해서는 분류의 입력 자료인 두 도메인 영상의 특징을 먼저 살펴볼 필요가 있음을 시사한다. 다만 도메인 불일치 정도가 큰 STA 사례에서는 대상 베이스라인과 비지도 도메인 적응 모델 간 분류 성능에 큰 차이를 보였으며 이를 개선할 필요가 있다.
이 연구에서는 적용한 비지도 도메인 적응 모델들은 소스 베이스라인과 비교해서 분류 성능이 대부분 향상 되었는데 분류 결과에서 서로 다른 특징을 보였다. DAN은 상대적으로 작은 면적 비율을 갖는 작물 항목에서 분류 성능이 높았고, DANN은 면적 비율이 큰 주산 작물 항목에서 우수한 분류 성능을 보였다. 이러한 연구 결과를 기반으로 향후에는 개별 비지도 도메인 적응 모델의 장단점을 상호 보완하여 도메인 불일치 정도가 큰 경우에도 우수한 성능의 분류 결과를 생성할 수 있도록 개선된 모델을 개발하고 적용성 평가를 수행할 예정이다.
사사
참고문헌
- Benjdira, B., Y. Bazi, A. Koubaa, and K. Ouni, 2019. Unsupervised domain adaptation using generative adversarial networks for semantic segmentation of aerial images, Remote Sensing, 11(11): 1369. https://doi.org/10.3390/rs11111369
- Deng, F., S. Pu, X. Chen, Y. Shi, T. Yuan, and S. Pu, 2018. Hyperspectral image classification with capsule network using limited training samples, Sensors, 18(9): 3153. https://doi.org/10.3390/s18093153
- Elshamli, A., G.W. Taylor, A. Berg, and S. Areibi, 2017. Domain adaptation using representation learning for the classification of remote sensing images, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 10(9): 4198-4209. https://doi.org/10.1109/JSTARS.2017.2711360
- Elshamli, A., G.W. Taylor, and S. Areibi, 2019. Multisource domain adaptation for remote sensing using deep neural networks, IEEE Transactions on Geoscience and Remote Sensing, 58(5): 3328-3340. https://doi.org/10.1109/TGRS.2019.2953328
- Ganin, Y., E. Ustinova, H. Ajakan, P. Germain, H. Larochelle, F. Laviolette, M. Marchand, and V. Lempitsky, 2016. Domain-adversarial training of neural networks, The Journal of Machine Learning Research, 17(1): 2096-2030. https://doi.org/10.48550/arXiv.1505.07818
- Ghifary, M., W.B. Kleijn, M. Zhang, D. Balduzzi, and W. Li, 2016. Deep reconstruction-classification networks for unsupervised domain adaptation, Proc. of the 14th European Conference on Computer Vision, Amsterdam, Netherlands, Oct. 11-14, pp. 597-613. https://doi.org/10.48550/arXiv.1607.03516
- Hall, O., S. Dahlin, H. Marstorp, M. Archila Bustos, I. Oborn, and M. Jirstrom, 2018. Classification of maize in complex smallholder farming systems using UAV imagery, Drones, 2(3): 22. https://doi.org/10.3390/drones2030022
- Kussul, N., G. Lemoine, F.J. Gallego, S.V. Skakun, M. Lavreniuk, and A.Y. Shelestov, 2016. Parcel-based crop classification in Ukraine using Landsat-8 data and Sentinel-1A data, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 9(6): 2500-2508. https://doi.org/10.1109/JSTARS.2016.2560141
- Kwak, G.-H., M.-G. Park, C.-W. Park, K.-D. Lee, S.-I. Na, H.-Y. Ahn, and N.-W. Park, 2019. Combining 2D CNN and bidirectional LSTM to consider spatio-temporal features in crop classification, Korean Journal of Remote Sensing, 35(5-1): 681-692 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2019.35.5.1.5
- Kwak, G.-H., C.-W. Park, K.-D. Lee, S.-I. Na, H.-Y. Ahn, and N.-W. Park, 2021. Potential of hybrid CNN-RF model for early crop mapping with limited input data, Remote Sensing, 13(9): 1629. https://doi.org/10.3390/rs13091629
- Li, K. and E. Xu, 2020. Cropland data fusion and correction using spatial analysis techniques and the Google Earth Engine, GIScience & Remote Sensing, 57(8): 1026-1045. https://doi.org/10.1080/15481603.2020.1841489
- Long, M., Y. Cao, J. Wang, and M.I. Jordan, 2015. Learning transferable features with deep adaptation networks, Proc. of the 32nd International Conference on Machine Learning, Lille, France, Jul. 6-11, pp. 97-105. https://doi.org/10.48550/arXiv.1502.02791
- Matasci, G., M. Volpi, M. Kanevski, L. Bruzzone, and D. Tuia, 2015. Semisupervised transfer component analysis for domain adaptation in remote sensing image classification, IEEE Transactions on Geoscience and Remote Sensing, 53(7): 3550-3564. https://doi.org/10.1109/TGRS.2014.2377785
- Martini, M., V. Mazzia, A. Khaliq, and M. Chiaberge, 2021. Domain-adversarial training of self-attention-based networks for land cover classification using multi-temporal Sentinel-2 satellite imagery, Remote Sensing, 13(13): 2564. https://doi.org/10.3390/rs13132564
- Park, S. and N.-W. Park, 2020. Effects of class purity of training patch on classification performance of crop classification with convolutional neural network, Applied Sciences, 10(11): 3773. https://doi.org/10.3390/app10113773
- Shahbazi, M., J. Theau, and P. Menard, 2014. Recent applications of unmanned aerial imagery in natural resource management, GIScience & Remote Sensing, 51(4): 339-365. https://doi.org/10.1080/15481603.2014.926650
- Siachalou, S., G. Mallinis, and M. Tsakiri-Strati, 2015. A hidden Markov models approach for crop classification: Linking crop phenology to time series of multi-sensor remote sensing data, Remote Sensing, 7(4): 3633-3650. https://doi.org/10.3390/rs70403633
- Tuia, D., C. Persello, and L. Bruzzone, 2016. Domain adaptation for the classification of remote sensing data: An overview of recent advances, IEEE Geoscience and Remote Sensing Magazine, 4(2): 41-57. https://doi.org/10.1109/MGRS.2016.2548504
- Volpi, M., G. Camps-Valls, and D. Tuia, 2015. Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis, ISPRS Journal of Photogrammetry and Remote Sensing, 107: 50-63. https://doi.org/10.1016/j.isprsjprs.2015.02.005
- Wang, Y., Q. Qi, and Y. Liu, 2018. Unsupervised segmentation evaluation using area-weighted variance and Jeffries-Matusita distance for remote sensing images, Remote Sensing, 10(8): 1193. https://doi.org/10.3390/rs10081193
- Zhao, H., Z. Chen, H. Jiang, W. Jing, L. Sun, and M. Feng, 2019. Evaluation of three deep learning models for early crop classification using Sentinel1Aimagery time series - A case study in Zhanjiang, China, Remote Sensing, 11(22): 2673. https://doi.org/10.3390/rs11222673