Deep Learning Based Floating Macroalgae Classification Using Gaofen-1 WFV Images

Gaofen-1 WFV 영상을 이용한 딥러닝 기반 대형 부유조류 분류

Abstract

Every year, the floating macroalgae, green and golden tide, are massively detected at the Yellow Sea and East China Sea. After influx of them to the aquaculture facility or beach, it occurs enormous economic losses to remove them. Currently, remote sensing is used effectively to detect the floating macroalgae flowed into the coast. But it has difficulties to detect the floating macroalgae exactly because of the wavelength overlapped with other targets in the ocean. Also, it is difficult to distinguish between green and golden tide because they have similar spectral characteristics. Therefore, we tried to distinguish between green and golden tide applying the Deep learning method to the satellite images. To determine the network, the optimal training conditions were searched to train the AlexNet. Also, Gaofen-1 WFV images were used as a dataset to train and validate the network. Under these conditions, the network was determined after training, and used to confirm the test data. As a result, the accuracy of test data is 88.89%, and it can be possible to distinguish between green and golden tide with precision of 66.67% and 100%, respectively. It is interpreted that the AlexNet can be pick up on the subtle differences between green and golden tide. Through this study, it is expected that the green and golden tide can be effectively classified from various objects in the ocean and distinguished each other.

매년 황해와 동중국해에서는 대형 부유조류인 녹조와 갈조가 대량으로 발생하고 있다. 이러한 대형 부유조류는 연안의 양식 시설물이나 해변으로 유입되며, 제거하는데 막대한 경제적 손실을 발생시킨다. 현재는 연안으로 유입되는 대형 부유조류를 탐지하기 위해 원격탐사 방법이 활발하게 사용되고 있다. 그러나 대형 부유조류는 해양의 다양한 대상들과 중첩되는 파장이 존재하기에 이를 정확하게 탐지하는데 한계가 있다. 더욱이 녹조와 갈조는 유사한 스펙트럼 특성을 보이기 때문에 원격탐사 자료를 이용한 구분을 더욱 어렵게 만든다. 따라서 본 연구에서는 위성 영상에 딥러닝 기법을 적용하여 녹조와 갈조를 효과적으로 구분하고자 하였다. 이를 위한 네트워크를 결정하기 위해 최적의 학습 조건을 찾아 AlexNet 신경망을 전이 학습하였으며, 학습과 검증을 위해 Gaofen-1 WFV 영상을 이용하여 데이터셋을 구성하였다. 최적의 학습 조건으로 학습된 네트워크를 이용하여 실험 데이터에 대한 결과를 확인하였다. 그 결과 실험 데이터에 대한 정확도는 88.89%를 보였으며, 녹조와 갈조에 대해 각각 66.67%와 100%의 정밀도로 구분이 가능하였다. 이는 전이 학습된 AlexNet 신경망이 녹조와 갈조의 미세한 차이를 구분할 수 있는 것으로 해석된다. 본 연구를 통해 해양의 다양한 대상으로부터 녹조와 갈조를 효과적으로 분류하고 각각 구분할 수 있을 것으로 기대된다.

1. 서론

매년 황해와 동중국해 연안에서는 대형 부유조류인 녹조와 갈조의 대규모 번성이 관측되고 있으며, 해류와 바람을 따라 주변 해역으로 유입되고 있다(Smetacek and Zingone, 2013). 2008년 중국 베이징 올림픽 당시 중국 청도 연안의 녹조 대발생은 전 세계적인 이슈가 되었고, 이후 지속적으로 대발생을 일으키고 있어 이를 제거하는데 막대한 경제적 손실이 발생하고 있다(Ye et al.,2011; Liu et al., 2013). 더욱이 동중국해 서부 연안과 외해에서는 2012년 이후 간헐적으로 갈조가 관측되었고 점차 그 규모가 증가하는 추세를 보이고 있다(Qi et al.,2017; Xing et al., 2017; Kim et al., 2019; Kwon et al., 2019). 황해와 동중국해에서 관측되는 녹조와 갈조는 다양한 경로로 이동하는 특성을 보이며(Lee et al., 2011; Son et al.,2015; Kwon et al., 2019; Kim et al., 2019), 매년 국내 연안으로 유입되어 다양한 환경 문제를 야기하고 있다. 매년 한반도 서남해 일대로 유입된 녹조는 해안에 쌓여 악취를 발생시키고 있으며(Kwon et al., 2017), 2015년에는 양식장에 유입된 갈조로 인해 시설물이 훼손되는 사건이 발생하였다(Hwang et al., 2016). 이처럼 국내로 유입되는 녹조와 갈조를 사전에 대응하고 효과적으로 관리하기 위해서는 조기에 각각 구분하여 탐지하는 것이 중요하다(Kim et al., 2018; Min et al., 2019).

연안으로 유입되는 녹조와 갈조를 조기에 탐지하기 위해 원격탐사 방법을 이용한 연구들이 많이 진행되어 왔으며, 광범위한 영역의 녹조와 갈조 분포를 탐지할 수 있어 연안 유입에 대한 사전 대응에 유용한 정보를 제공하고 있다(Kim et al., 2019). 기존의 많은 연구에서는 녹조와 갈조의 반사도 스펙트럼 특성을 이용한 원격탐지 알고리즘(NDVI, FAI, IGAG, SRG 등) 개발에 집중되어왔다(Hu, 2009; Cui et al., 2012; Son et al., 2012; Min et al.,2019). Hu et al.(2009)에서는 MODIS(Moderate Resolution Imaging Spectroradiometer) 영상에서 대형 부유조류를 탐지하기 위해 FAI(Floating Algae Index) 알고리즘을 개발하였고, NDVI(NormalizedDifferenceVegetation Index)알고리즘과 비교하여 명확한 분포와 면적을 확인할 수 있었다. Son et al.(2012)에서는GOCI(Geostationary Ocean Color Imager) 영상에 적합한 녹조 탐지 알고리즘(Index of floating Green Algae for GOCI, IGAG)을 개발하였으며, 녹조 영역을 주변 해수와 대비시켜 명확하게 분포를 구분할 수 있었다. 그러나 녹조와 갈조는 해양의 다양한 대상들과 유사한 분광 특성을 가지고 있어 기존연구들의 알고리즘만으로 정확히 구분하는데 어려움이 있다(Hu, 2009; Liang et al., 2019). 더욱이 녹조와 갈조의 경우 스펙트럼 특성이 매우 유사하기 때문에 혼재되어 분포할 경우 위성영상 내에서 이를 구분하는데 제약이 따른다(Garcia et al., 2013; Hu et al., 2015; Min et al., 2019).Min et al.(2019)에서는 이러한 녹조와 갈조의 미세한 분광 특성을 이용하여 각각 구분할 수 있는 경사도 알고리즘(Slope of red-green, SRG)을 고안하였다. 고안된 SRG알고리즘을 Sentinel-3 OLCI(Ocean and Land Colour Instrument)와 Landsat OLI(Operational Land Imager) 등의 위성영상에 적용하여 녹조와 갈조를 효과적으로 구분할 수 있었으나, 대기 효과와 해수 신호 등 보다 정확한 탐지를 위한 보정이 향후 개선될 사항이었다(Min et al., 2019).

최근에는 기존 원격탐사 알고리즘의 한계를 극복하고자 딥러닝(Deep learning) 분석 기법을 적용한 연구가 시도되고 있으며, 녹조와 갈조를 탐지하는데도 적용되고 있다. 원격탐사 자료에 딥러닝 기반의 Super-resolution 기법을 적용해 영상의 해상도를 향상시키는 연구가 진행되었고, 녹조 분포와 면적을 추정하는데 향상된 결과를 도출하였다(Wang et al., 2019; Cui et al., 2020). Liang et al.(2019) 연구에서는 해양의 다양한 대상으로부터 대형부유조류를 탐지하기 위해 Gaofen-1 WFV(Wide Filed of View multispectral cameras) 영상에 ELM(Extreme Learning Machine) 모델을 적용하였고, 높은 정확도로 대형 부유조류를 구분하는 결과를 보여주었다. 이처럼 대형 부유조류를 정확히 탐지하기 위해 많은 연구에서 딥러닝 기법이 적용되었으나 녹조와 갈조를 구분하기 위해 적용된 연구사례는 아직까지 진행되지 않았다. 대체적으로 녹조는 여름철 황해 해역에서 빈번하게 관측되고, 갈조의 경우 겨울과 봄철에 동중국해에서 관측되기 때문에 시기와 공간적인 측면에서 이를 구분할 필요성이 크게 대두되지 않았다. 그러나 최근에는 부유 갈조의 발생 규모와 지속 기간이 증가하면서 녹조와 갈조가 혼재되어 나타나는 경우가 점차 증가하고 있다(Zhang et al., 2019; Xiao et al., 2020). 녹조와 갈조의 원인 종은 생태학적인 의미에서 차이가 분명하며, 환경적, 경제적으로 미치는 영향이 달라 대응 방안이 다르게 적용될 것이다. 따라서 최신의 딥러닝 기법을 적용해 원격탐사 자료에서의 녹조와 갈조를 효율적으로 구분하는 방법과 기준이 제시되어야 한다.

본 연구에서는 딥러닝 기법을 적용하여 해양의 다양한 대상으로부터 대형 부유조류를 분류하고, 녹조와 갈조를 구분하기 위한 방법을 제시하고자 한다. 이를 위해 영상 분류(image classification)와 대상 탐지(object detec-tion)에 높은 성능을 나타내는AlexNet 신경망(Krizhevsky et al., 2012)을 위성 영상으로 학습하여 녹조와 갈조를 구분하고자 한다. 나아가 녹조와 갈조를 탐지하기 위해 사용되는 알고리즘 기반의 분석 방법 결과와 비교하여 본 연구 결과의 정확도를 평가하고자 한다.

2. 연구방법

1) 연구지역

본 연구에서는 황해와 동중국해에서 녹조와 갈조가 빈번하게 관측되는 해역을 연구지역으로 선정하였다(Fig. 1). 황해와 동중국해 연안은 매우 복잡한 해안선 구조를 보이며, 다양한 양식과 어업활동이 이루어지고 있다. 또한 양자강 하구 유출수로 인하여 탁도가 매우 높으며, 어업활동이 활발하여 크고 작은 선박이 존재한다. 높은 탁도와 복잡한 탐지 대상들이 혼재되어 있어 원격탐사 영상에서 부유조류를 정확하게 탐지하는데 제약이 있다. 그러므로 이 연구에서 제시하는 부유조류 탐지 및 구분 방법의 성능을 평가하기 위해 이 해역을 연구지역으로 선정하였다. Fig. 1(a)는 녹조 대발생 기원지로 알려진 장수성(Jiangsu province) 연안을 포함하는 해역으로, 김 양식 구조물에서 대규모 녹조가 생성되는 것으로 보고되고 있다(Liu et al., 2013). 주변 하구역에서 유입되는 부유 퇴적물로 인해 높은 탁도를 보이며, 이로 인해 초기의 녹조 탐지가 어려운 해역이다. Fig. 1(b)는 장수성 연안에서 생성된 녹조 패치의 주된 이동경로에 위치해 있으며, 주로 해류와 바람에 의해 북상하는 대규모 패치가 발견되고 있다(Lee et al., 2011; Son et al., 2015).Fig. 1(c)는 저장성(Zhejiang province) 연안 해역으로, 매년 국내와 중국 연안으로 유입되는 갈조의 최초 발생지로 알려져 있다(Qi et al., 2017; Xing et al., 2017).

Fig. 1. Study area of this study. (a) and (b) are Jiangsu province annually occurred the green tide. (c) is Zhejiang province annually occurred the golden tide. The rectangles mean the acquisition area of Gaofen-1 WFV(Wide Field of View multispectral cameras) images.

2) 데이터셋

본 연구에서는 Gaofen-1 위성에 탑재된 WFV 센서영상을 이용하여 딥러닝 학습 및 분석에 필요한 데이터셋을 구성하였다. Gaofen-1 위성은 중국우주국(China National Space Administration, CNSA)에서 2013년 4월에 발사한 위성이며, 탑재된 WFV 센서의 촬영 영상은 16m의 공간해상도를 갖는 3개의 가시광선 밴드(적색, 녹색, 청색)와 1개의 근적외선(Near Infrared, NIR) 밴드로 구성되어 있다(Table 1).

Table 1. Specification about Gaofen-1 WFV(Wide Field of View multispectral cameras) images and acquisition date used in this study

분류군별 데이터셋을 구성하기 위해 녹조와 갈조가 관측된 2017년 3월 1일부터 6월 16일 사이의 Gaofen-1 WFV 영상을 이용하였다(Fig. 1 and Table 1). 수집된 Gaofen-1 WFV 영상은 Qi et al.(2017)와 Liang et al.(2019) 연구를 참고하여 9개 분류군(녹조, 갈조, 적조, 구름, 섬,맑은 해역, 탁한 해역, 선박, Sun-glint)을 나누었다. Qi et al.(2017)에서는 2017년에 발생한 녹조와 갈조를 시기와 공간적인 측면에서 구분하였으며, 이 연구에서는 동일한 시기의 Gaofen-1 WFV 영상을 이용하여 녹조와 갈조 분류군을 나누었다. 그 외 7개 분류군은 동일한 시기의 Gaofen-1 WFV 영상을 이용한 Liang et al.(2019)을 참고하여 나누었다. 9개 분류군은 딥러닝 학습 및 분석에 사용하기 위해 ENVI 5.2 소프트웨어의 ROI(Region of interest) tool을 이용해 서브셋(subset) 영상으로 구성하였다(Fig. 2). 구분된 분류군은 AlexNet 신경망의 학습 효율을 위해 목표로 하는 대상의 특성이 잘 나타날 수 있도록 하였고, 다양한 탐지대상이 혼재되어 있는 경우의 분류 정확성을 확인하기 위해 각각의 대상이 혼재되어 있는 영상도 포함하였다. 모든 분류군의 서브셋 영상은 학습 과정에서의 효율을 높이고 과적합(overfitting)을 막기 위해 학습 모델의 입력 크기에 맞는 227 × 227 픽셀 크기로 동일하게 조정하였다. 동일한 픽셀 크기로 조정된 서브셋 영상은 특정 분류군에 치중되어 학습되는 것을 막기 위해 모든 분류군이 25장의 동일한 개수를 사용하도록 했다. 모든 분류군의 서브셋 영상은 무작위 추출(random sampling) 방법을 통해 3개의 데이터셋(학습, 검증, 실험)으로 구성하였다. 각 분류군의 25장 영상 중 에서 80%는 AlexNet 신경망의 학습에 필요한 ‘학습 데이터(training data)’로 사용하였고, 학습에 관여하지 않는 나머지 서브셋 영상 중 40%는 학습 과정에서의 검증을 위해 ‘검증 데이터(validation data)’로 사용하였다. 최종적으로 남은 서브셋 영상은 학습된 AlexNet 신경망을 평가하기 위해 ‘실험 데이터(test data)’로 사용하였다.

Fig. 2. Example subset images composed as 9 classes. All subset images were configured to characterize the target and reflect the various situations. These images were preprocessed to set to the input size (227 × 227 × 4) of AlexNet.

3) AlexNet 신경망 전이 학습(Transfer learning)

AlexNet 신경망은 100개의 분류군에 대해 사전 훈련된(pre-trained) 신경망으로 영상 분류와 대상 탐지 성능이 Krizhevsky et al.(2012)을 통해 확인된 CNN(Convolu-tional Neural Network) 모델이다. 본 연구에서는 100개의 분류군에 대해 사전 훈련된 AlexNet 신경망을 새로운 데이터에 맞게 미세 조정하여 다시 훈련시키는 전이학습(Transfer learning)을 수행하였다. Fig. 3는 본 연구에서의 전체적인 과정을 나타내며, AlexNet 신경망을 전이 학습하여 최종 네트워크를 결정한다. 전이 학습을 통해 최종 결정된 네트워크는 실험 데이터를 예측하고 평가하는데 사용된다.

Fig. 3. Schematic diagram of this study. The subset images train the AlexNet under the training options. Precision and recall were used to evaluate the accuracy.

AlexNet 신경망은 Input layer, Convolution layer, Pooling layer, ReLU layer, Fully connected layer, Softmax layer, Output layer 등 25개의 계층(layer)으로 구성된 구조(architecture)이다. 계층을 구성하는 뉴런(neuron)은 전이 학습 과정에서 입력된 학습 데이터에 대해 얼마나 일치하는지 가중치를 결정하며, 이에 따른 오차를 결정하여 학습하게 된다. 이러한 가중치와 오차를 결정하는 과정에서 최적의 학습 옵션을 설정하는 것이 학습 결과와 성능에 중요하게 작용한다. 따라서 동일한 학습률(0.0001)에 따른 최적의 학습 옵션을 결정하기 위하여 Max Epoch(ME)와 Mini-batch size(MBS)를 다르게 설정하여 비교하였다.

Iteration = ME × IPE       (1)

Number of training data = MBS × IPE       (2)

ME는 반복 횟수(200, 400, 500, 1000)동안 사용될Epoch개수를 의미하며, Epoch마다 반복되는 횟수(Iteration per epoch, IPE)를 결정한다(식 1). MBS는 Epoch당 사용될 서브셋 영상의 개수를 결정하며(식 2), 본 연구에서는 학습 과정에서 특정 데이터에 의해 치중되는 것을 막기 위해 매 Epoch마다 셔플(shuffle)된 서브셋 영상을 MBS에 맞추어 선정되도록 하였다. ME와 MBS 설정에 따른 전이 학습 결과를 비교하기 위해 IPE는 10과 20을 기준으로 하였다. 추가적으로 증폭(augmentation)된 서브셋 영상을 이용하여 MBS 설정에 따른 전이 학습 결과를 비교하였다. 증폭된 서브셋 영상은 0 ~ 360° 범위 내에서 random하게 회전하여 증폭하였고, 학습 데이터와 실험 데이터를 분류군별로 각각 100개와 10개씩 사용하였다. 학습 과정에서 검증을 위해 사용된 검증 데이터는 모든 옵션 조건에서 동일한 서브셋 영상을 이용하였으며, 매 Epoch마다 검증을 수행하였다.

최종적으로 여러 설정 조건에서 전이 학습된 결과를 비교하여 예측에 사용될 최종 설정 조건을 결정하였다. 최종 결정된 설정 조건으로 학습된 네트워크는 실험데이터가 입력되어 계층을 통과할 때 어떻게 동작할지를 결정하게 되며, Softmax layer에서 반환된 예측 강도(prediction score)를 통해 Output layer에서 분류군을 예측하게 된다. 예측된 결과는 네트워크에 입력되기 전과 비교하여 오차행렬(confusion matrix)을 통해 정밀도 (precision)와 재현율(recall)을 분석하였다.

최종 결정된 네트워크로부터 예측된 결과를 검증하기 위해 기존 알고리즘을 적용한 결과와 비교하였다. 비교를 위해 NDVI 알고리즘을 서브셋 영상에 적용하였으며, 서브셋 영상의 근적외선 파장대와 적색 파장대를 R_NIR과 R_RED로 각각 이용하였다(식 3). 추가적으로NDVI 알고리즘과 함께 비교하기 위해 가시광선 밴드를 조합한 True color 영상을 합성하였다.

\(N D V I=\frac{R_{N I R}-R_{R E D}}{R_{N I R}+R_{R E D}}\)      (3)

3. 연구결과

1) AlexNet 신경망 전이 학습

본 연구에서는 반복 횟수에 따른 AlexNet 신경망의 학습 효율과 성능을 비교하기 위해 ME와 MBS를 다르게 설정하여 전이 학습을 진행하였다. 추가적으로 증폭된 학습 데이터를 이용하여 ME와 MBS 설정에 따른 결과를 비교하였다. ME와 MBS 설정에 따른 결과를 비교하기 위해 다음과 같은 2가지 조건으로 전이 학습을 수행하였다. (1) 동일한 MBS를 설정하는 조건에서 ME를 다르게 설정할 경우. (2) 증폭된 학습 데이터를 이용하여 동일한 ME 조건에서 MBS를 다르게 설정할 경우.

(1) 동일한 MBS 조건에서 ME 설정에 따른 차이를 비교하기 위해 IPE에 맞추어 전이 학습을 진행하였다(Fig. 4(a) and (e), (b) and (f), (c) and (g), (d) and (h)). 학습결과 ME 설정을 높임에 따라 반복 횟수는 증가하게 되며(식 1), 이에 따라 최종 MBS 정확도와 최종 검증 정확도가 대체적으로 증가하였음을 확인할 수 있었다(Table 2). 또한 학습된 신경망을 이용하여 학습 데이터와 검증 데이터를 입력한 결과 모든 ME 설정에서 정확도가 증가하였음을 확인할 수 있었다.

Fig. 4. Training processes under the various Max Epoch (ME) and Mini-batch size (MBS). (a) ME = 20 and MBS = 18, (b) ME = 20 and MBS = 90, (c) ME = 20 and MBS = 9, (d) ME = 20 and MBS = 45, (e) ME = 50 and MBS = 18, (f) ME = 50 and MBS = 90, (g) ME = 50 and MBS = 9, and (h) ME = 50 and MBS = 45. Red line means MBS accuracy of each epoch. Black line means validation accuracy of each epoch.

Table 2. Training results of each conditions referred at the Fig. 4

(2) 증폭된 학습 데이터를 이용한 전이 학습 결과에 대해 비교하기 위해 ME와 MBS 설정에 맞추어 학습을 진행하였다. Fig. 4(a)와 (c), (e), (g)는 증폭하지 않은 학습데이터를 이용하여 학습한 과정이며, Fig 4(b)와 (d), (f), (h)는 증폭된 학습 데이터를 이용하여 학습한 과정이다. 위의 학습 과정은 반복 횟수를 각각 200, 400, 500, 1000으로 하였을 때 IPE에 따라 ME와 MBS를 설정하여 비교하였다. 비교 결과 증폭된 학습 데이터를 사용하였을 때 최종MBS 정확도(Final mini batch accuracy)와 학습 데이터 정확도(Train data accuracy)가 증가하였으나 최종 MBS 정확도와 최종 검증 정확도(Final validation accuracy)의 차이가 약 20% 이상 발생하는 과적합이 발생하였다(Table 2). 반면 실험 데이터 정확도(Test data accuracy)의 경우 학습 데이터 정확도에 비해 큰 변화를 보이지 않았다.

위의 결과를 바탕으로 녹조와 갈조를 구분하기 위한 최적의 설정 조건을 선정하였다. 8가지의 설정 조건 중 높은 성능을 보이는 2가지의 설정을 선정하였으며(ME = 50, MBS = 18(Fig. 4(e)); ME = 50, MBS = 45(Fig. 4(h))), 각각 증폭된 학습 데이터를 사용하지 않을 경우와 사용할 경우에 해당한다. 최종 네트워크로 사용될 최적의 설정 조건을 결정하기 위해 선정된 2가지 설정 조건에 대해 학습 데이터와 실험 데이터를 각각 입력하여 예측 결과를 비교하였다(Fig. 5). Fig. 5(a)와 (b)는 ME = 50, MBS = 18(Fig. 4(e))로 설정하였을 때 학습된 신경망을 이용하여 학습 데이터와 실험 데이터를 예측한 결과이다. 예측 결과 학습 데이터의 경우 91.67%, 실험 데이터의 경우 88.89%의 정확도를 확인할 수 있었다. Fig. 5(c)와 (d)는 ME = 50, MBS = 45(Fig. 4(h))로 설정하였을 때 학습된 신경망을 이용하여 예측한 결과이다. 각각 96.33%와 86.67%의 정확도를 보였으며, 이전 설정 조건(ME = 50, MBS = 18(Fig. 4(e)))에 비해 학습 데이터 정확도는 높았으나 실험 데이터 정확도의 경우 낮게 확인되었다. 반면 실험 데이터를 예측한 결과에서 녹조와 갈조를 구분하는 성능은 이전 설정 조건(ME = 50, MBS = 18(Fig. 4(e)))에 비해 높게 확인되었다(Fig. 5(b) and (d)). 이를 종합하였을 때 Fig. 5(c)와 (d)에서 사용된 설정 조건은 증폭된 학습 데이터를 이용하여 전이 학습하였기에 IPE가 20이었으며, 이로 인한 반복 횟수 증가로 학습 데이터 정확도가 증가하였다. 그러나 (2)에서 확인하였듯이 최종 MBS 정확도와 최종 검증 정확도의 차이가 31.11%로 과적합이 발생하였다(Fig. 4(h)). 또한 증폭된 실험 데이터를 입력하여 예측한 결과이기에 특정 서브셋 영상이 예측 결과에 영향을 미칠 가능성이 있다. 반면 Fig. 5(a)와 (b)에 사용된 설정 조건은 증폭하지 않은 학습 데이터를 이용하여 전이 학습하였으며, 최종 MBS 정확도와 최종검증 정확도의 차이는 16.66%로 낮게 나타났다. 이러한 점을 고려하여 Fig. 5(a)와 (b)에 사용된 설정 조건(ME = 50, MBS = 18(Fig. 4(e)))을 최종 네트워크로 학습하기 위해 사용하였다.

Fig. 5. Confusion matrixes under the two conditions. (a) and (b) are confusion matrixes of train and test data, respectively, under the ME = 50 and MBS = 18. (c) and (d) are confusion matrixes of train and test dada, respectively, under the ME = 50 and MBS = 45.

2) AlexNet 신경망을 이용한 녹조와 갈조 구분

결정된 최종 네트워크는 증폭하지 않은 학습 데이터를 이용하여 ME = 50, MBS = 18 설정에서 전이 학습되었다. 최종 네트워크를 이용하여 학습 데이터와 실험 데이터에 대한 예측을 하였으며, 오차행렬을 이용하여 분류군에 따른 정밀도와 재현율을 분석하였다(Fig. 5(a) and (b)). 학습 데이터의 경우 AlexNet 신경망을 학습하는데 참여한 데이터로, 전체적인 정확도는 91.67%를 보였다. 녹조와 갈조에 대한 정밀도는 각각 90%와 100%를 보였으며, 재현율의 경우 각각 94.74%와 95.24%를 보였다. 실험 데이터의 경우 AlexNet 신경망을 전이 학습하는데 참여하지 않은 데이터로, 전체적인 정확도는 88.89%를 보였다. 녹조와 갈조에 대한 정밀도는 각각 66.67%와 100%를 보였으며, 재현율은 각각 100%와 75%를 보였다. 분석 결과 학습 데이터와 실험 데이터에 구성된 다양한 분류군으로부터 녹조와 갈조를 구분할 수 있었으며, 비교적 정확한 녹조와 갈조 구분이 가능하였다.

전이 학습된 AlexNet 신경망은 학습 데이터를 이용하여 가중치와 오차를 결정하게 되며, 각 분류군에 대한 특징을 학습하게 된다. 이에 따른 최종 네트워크의 동작을 진단하기 위해 딥 드림(Deep Dream) 기법을 이용하여 분류군별 특징을 시각화 하였다(Fig. 6). Fig. 6은 최종 네트워크의 23번째 계층에 위치한 Fully connected layer에서 확인된 특징으로, 분류군마다 강하게 활성화하는 값을 나타낸다. 이를 통해 각 분류군의 밴드에 따라 강하게 활성화하는 차이를 확인할 수 있으며, 히스토그램을 비교하여 분류군마다 강하게 활성화하는 차이를 확인할 수 있다. 9개의 분류군에 대해 히스토그램을 비교한 결과 분류군마다 활성화하는 값의 차이가 있었으며, 특히 갈조(Fig. 6(b))와 녹조(Fig. 6(c))의 활성화 하는 값이 차이가 있음을 확인할 수 있었다.

Fig. 6. Band-specific features and histogram visualized as a Deep Dream images. Each image expresses the features of each class that strongly activates the network layer after transfer learning. (a) Cloud, (b) Golden tide, (c) Green tide, (d) Island, (e) Seawater, (f) Sun-glint, (g) Suspended red tide, (h) Turbid water, and (i) Vessel. The x-axis of the histogram represents the activation value of each features, and y-axis represents the frequency of that.

최종 네트워크의 Fully connected layer에서 반환되는 활성화 결과에 따라 다음 계층인 Softmax layer에서 예측 강도를 반환하게 된다. 반환된 예측 강도는 Output layer에 전달되어 예측 강도에 따른 최종 분류군을 결정하게 된다. 입력한 실험 데이터에 대해 Output layer에서 녹조와 갈조로 구분된 서브셋 영상의 예측 강도를 확인하였다(Fig. 7). Fig. 7(a)와 (b), (c)는 갈조 분류군에 해당하는 서브셋 영상으로 갈조 분류군에 대해 70% 이상의 높은 예측 강도로 반환되는 것을 확인할 수 있었다. Fig.7(e)와 (f)는 녹조 분류군에 해당하는 서브셋 영상으로 녹조 분류군에 대해 약 100%의 높은 예측 강도로 반환되는 것을 확인할 수 있었다. 반면 Fig. 7(d)는 녹조 분류군에 해당하는 서브셋 영상임에도 갈조 분류군에 대해 100%의 예측 강도로 반환되는 오탐지(false positive)가 발생하였다.

Fig. 7. Classification results of test data (Green and Golden tide). (a), (b), and (c) are golden tide classified as golden tide (true positive). (d) is green tide but classified as golden tide (false positive). (e) and (f) are green tide classified as green tide (true positive).

3) 최종 네트워크 결과와 기존 알고리즘 결과 비교

최종 네트워크에서 오탐지된 서브셋 영상(Fig. 7(d))을 검증하기 위해 해당하는 영상을 확인하였다. 이를 위해 NDVI 알고리즘을 적용하였고, 가시광선 밴드가 조합된 True color 영상과 비교하였다. Fig. 7(d)는 최종 네트워크를 통해 갈조로 구분된 서브셋 영상으로, 2017년 6월 14일에 Fig. 1(b) 위치에서 촬영된 영상이다. NDVI 알고리즘과 True color 영상을 확인하여 비교한 결과 녹조가 대발생하는 시기에 해당하였다(Fig. 8). 기존 알고리즘을 이용한 결과와 비교하였을 때 Fig. 7(d)에 해당하는 서브셋 영상은 최종 네트워크에서 오탐지된 결과임을 확인할 수 있었다.

Fig. 8. Green tide images acquired at June 14th, 2017, but classified as golden tide(false positive). (a) is a processed image using NDVI(Normalized difference vegetation index). (b) is a true color image combined as visible light bands. A red rectangle is a subset image corresponded to Fig. 7(d).

4. 토의 및 결론

황해와 동중국해 연안에서는 매년 녹조와 갈조가 대규모로 관측되고 있으며(Smetacek and Zingone, 2013), 해류와 바람의 영향을 받아 국내 연안에 유입되고 있다(Lee et al., 2011; Son et al., 2015; Kim et al., 2019; Kwon et al., 2019). 황해와 동중국해에서 발생하는 녹조와 갈조는 관측되는 시기와 공간적인 측면에서 차이가 있기에(Chen et al., 2019; Kim et al., 2019; Zhang et al., 2019) 이들을 정확히 구분하는 것에 대한 필요성이 크게 대두되지 않았다. 그러나 최근 갈조의 발생 규모와 지속 기간이 증가하면서 녹조와 갈조가 혼재되어 나타나는 경우가 점차 증가하고 있다(Xiao et al., 2020). 녹조와 갈조는 생태학적으로 차이가 분명하며, 이에 따른 연안에서의 영향도 다르게 발생한다. 따라서 이를 사전에 대응하고 효과적으로 관리하기 위해서는 조기에 각각 구분하여 탐지하는 것이 중요하다(Kim et al., 2018; Min et al., 2019).

최근에는 녹조와 갈조를 구분하기 위해 각각의 반사도 특성을 이용한 연구가 선행되어왔다. Hu et al.(2015) 연구에서는 580과 650 nm 사이의 파장에서 갈조의 반사도가 녹조와 달리 증가하였음을 확인하였고, 이를 통해 녹조와 갈조의 구분 가능성을 제시하였다. Dierssen et al.(2015)에서는 이러한 점을 이용하여 초다분광(hyperspectral) 영상에 적용하였고, 플로리다 만에서 관측되는 갈조를 고해상도로 탐지할 수 있었다. Min et al.(2019)에서는 Hu et al.(2015)에서의 결과를 바탕으로 녹조와 갈조를 구분할 수 있는 경사도 알고리즘(SRG)를 고안하였고, 이를 Sentinel-3 OLCI와 Landsat OLI 등의 위성영상에 적용하여 각각 구분할 수 있었다. 이처럼 580과 650 nm 파장 사이의 특징을 이용하여 녹조와 갈조를 구분할 수 있었으나, 대부분의 다분광 영상에서는 이러한 차이를 구분할 수 있는 파장 밴드를 가지고 있지 않아 서로 구분하기 어렵다(Garcia et al., 2013). 본 연구에서 사용한 Gaofen-1 WFV 영상의 경우에도 해당하는 영역의 밴드가 존재하나 각 밴드의 중심파장에서 벗어나 중첩되어 있으며, 구분할 수 있는 파장 밴드를 포함하고 있지 않아 명확하게 녹조와 갈조를 구분하기 어렵다. 이러한 점을 고려해 본 연구에서는 기존 방법과 다른 딥러닝 기법을 적용하여 녹조와 갈조를 구분하고자 하였다.

녹조와 갈조를 구분하기 위해 AlexNet 신경망을 전이 학습하여 사용하였으며, 이를 위해 최적의 학습 조건을 찾고자 하였다. 선행 연구에서는 전이 학습에 사용된 서브셋 영상 개수가 분류군마다 다를 경우 특정 분류군에 대해 치중되어 학습되는 것을 확인할 수 있었다. 또한 서브셋 영상마다 공간해상도와 픽셀 크기가 다를 경우 학습 과정에 과적합이 발생하여 정확한 결과를 도출할 수 없음을 확인할 수 있었다. 이는 학습 과정에서 개수가 많은 분류군에 대해 치중되어 가중치와 오차를 결정하기에 발생하며, 학습 데이터가 입력되는 과정에서 픽셀 크기가 신경망의 입력 크기에 맞추어 재배열되기에 발생하는 것을 확인할 수 있었다. 그러므로 데이터셋을 구성하는 과정에서 이러한 문제점을 고려해 서브셋 영상 개수와 픽셀 크기를 조정해야 했다. 이렇게 구성된 데이터셋을 이용하여 최적의 학습 조건을 찾은 결과 ME를 높일 경우 반복 횟수가 증가하여 정확도를 높일 수 있음을 확인하였다. 또한 MBS를 늘려 Epoch마다 반복되는 횟수(IPE)를 줄이는게 정확도를 높이는데 기여할 수 있음을 확인하였다. 이는 한번의 학습에 사용되는 서브셋 영상 개수가 반복 횟수보다 정확도에 더 큰 영향을 미칠 수 있다는 것을 의미한다. 그러나 증폭된 학습 데이터를 이용하여 MBS를 높일 경우 학습 과정에서의 검증 정확도와 차이가 크게 발생하는 과적합이 발생하는 것을 확인할 수 있었다. 이는 증폭된 데이터가 학습에 큰 영향을 미치지 않는 것을 의미하며, 목적과 다르게 학습할 수 있음을 의미한다.

최종적으로 결정된 네트워크는 녹조와 갈조를 구분하는데 사용하였고, 그 결과 Gaofen-1 WFV 영상에서 관측되는 다양한 대상으로부터 녹조와 갈조를 분류하고 각각 구분할 수 있었다. 최종적으로 결정된 네트워크는 학습 데이터를 이용하여 각 분류군에 대한 특징을 활성화 정도로 구분하며, 이를 통해 각 분류군에 대한 특징을 확인할 수 있다(Mordvintsev et al., 2015). 이는 기존 연구에서 반사도 특징을 이용했던 것과 달리 새로운 특징을 찾아 구분할 수 있는 것으로 해석된다. 특히 구분하기 어려웠던 녹조와 갈조의 미세한 차이가 딥러닝 기법을 적용하여 구분할 수 있는 것으로 생각된다. 다만, 갈조로 오탐지된 녹조 서브셋 영상(Fig. 7(d))의 경우 녹조가 대발생한 위치의 영상으로(Fig. 8), 대발생으로 인해 높은 밀도의 녹조가 쌓인 것으로 추정된다. 이는 AlexNet 신경망이 서브셋 영상의 반사도와 함께 형태적인 특징도 고려하여 학습하기에(Krizhevsky et al., 2012; Dhillon and Verma, 2019), 학습 데이터와의 형태적인 차이가 결과에 주었을 가능성이 있다. 이러한 형태적인 특징은 녹조와 갈조를 선박이나 섬 등 다른 대상으로부터 분류할 수 있게 하는 중요한 부분이지만, 반면에 이러한 형태적인 특징으로 인한 차이가 녹조와 갈조를 구분하는데 영향을 주었을 가능성이 있다. 또한 Xiao et al.(2019)에 따르면 높은 밀도로 쌓인 녹조는 부패로 인해 색소 조성에 변화가 발생하며 이로 인해 반사도 스펙트럼 특성이 변하게 된다. 이러한 점들이 전이 학습된 AlexNet 신경망에서 예측 강도를 반환할 때 결과에 영향을 주었을 것으로 생각된다. 이를 개선하기 위해서는 다양한 학습 데이터가 추가되어 충분한 학습이 선행되어야 할 것이다. 또한 추후 연구에서는 녹조와 갈조의 스펙트럼 특성을 더욱 정밀하게 고려하여 학습할 수 있는 딥러닝 기법에 적용해야 할 것이다.

본 연구에서는 AlexNet 신경망을 전이 학습하여 녹조와 갈조를 구분할 수 있는 특징을 확인할 수 있었으며, 해양의 다양한 대상으로부터 녹조와 갈조를 각각 구분할 수 있었다. 기존 원격탐사 알고리즘과 다르게 녹조와 갈조를 구분할 수 있는 특징을 신경망의 활성화 값으로 확인할 수 있었고, 딥러닝 기법을 적용한 정밀한 구분이 가능할 수 있음을 기대할 수 있었다. 다만 사용했던 AlexNet 신경망의 특성으로 인해 녹조와 갈조의 다양한 형태를 반영해야 했다는 제약이 있었다. 또한 학습 결과를 높이기 위해서 서브셋 영상의 개수와 픽셀 크기를 조정해야 했다는 한계가 있었다. 그럼에도 이전에 시도되지 않은 방법을 이용하여 구분하였기에 추후 연구에서는 개선을 통해 더욱 정확한 결과를 도출할 수 있음을 확인할 수 있었다. 그러므로 추후 연구에서는 녹조와 갈조의 특징을 반영할 수 있는 딥러닝 기법이 적용되어야 할 것이며, 다양한 데이터를 이용하여 학습이 되어야 할 것이다. 향후에는 보다 정확한 구분이 가능할 것이며, 나아가 녹조와 갈조의 분포 및 면적 추정까지도 가능할 것으로 기대된다. 또한 원격탐사 자료에 딥러닝 기법을 적용하여 기존 방법의 한계점을 개선할 수 있을 것으로 보이며, 더욱 정확한 결과를 도출하여 사전 대응 및 대책 마련에 중요한 자료를 제공 가능할 것으로 기대된다.