Detection of Marine Oil Spills from PlanetScope Images Using DeepLabV3+ Model

DeepLabV3+ 모델을 이용한 PlanetScope 영상의 해상 유출유 탐지

Abstract

Since oil spills can be a significant threat to the marine ecosystem, it is necessary to obtain information on the current contamination status quickly to minimize the damage. Satellite-based detection of marine oil spills has the advantage of spatiotemporal coverage because it can monitor a wide area compared to aircraft. Due to the recent development of computer vision and deep learning, marine oil spill detection can also be facilitated by deep learning. Unlike the existing studies based on Synthetic Aperture Radar (SAR) images, we conducted a deep learning modeling using PlanetScope optical satellite images. The blind test of the DeepLabV3+ model for oil spill detection showed the performance statistics with an accuracy of 0.885, a precision of 0.888, a recall of 0.886, an F1-score of 0.883, and a Mean Intersection over Union (mIOU) of 0.793.

유출유는 해양 생태계에 큰 위협이 되므로 피해 최소화를 위해 신속한 현황정보파악이 필요하다. 위성원격탐사는 항공기에 비해 광역적 모니터링이 가능하기 때문에 시공간적 범위에서 장점을 가진다. 최근에는 딥러닝 영상인식 기술의 발전으로 인해 딥러닝을 활용한 유출유 탐지의 필요성이 대두되고 있으나, 기존의 Synthetic Aperture Radar (SAR) 영상 위주의 유출유 탐지와는 달리 고해상도 광학영상에 딥러닝 기법을 적용하는 경우는 많지 않았다. 이에, 본 연구에서는 PlanetScope 위성의 광학영상을 활용하여 유출유 레이블을 제작하고, 이를 기반으로 DeepLabV3+모델을 활용하여 유출유 탐지 모델을 구축하였으며, 암맹평가에서 정확도 0.885, 정밀도 0.888, 재현율 0.886, F1점수 0.883, 평균 교집합 대 합집합 비율(Mean Intersection over Union, mIOU) 0.793 등의 상당히 높은 정확도를 나타냈다.

1. 서론

해상 유출유는 해양 생태계에 큰 위협이 되고, 주변 지역사회의 어업 및 관광업에 큰 피해를 주게 되므로, 이러한 피해를 최소화하기 위해 신속하게 유출유에 대한 현황정보를 수집하는 것이 필요하다. 인공위성으로 유출유를 탐지하는 것은 항공기 및 무인항공기에 비해 광역적 모니터링이 가능하므로 시공간적 범위에서 장점이 있다(Brekke and Solberg, 2005). 기존에는 인공위성기반 유출유 탐지에 있어서 주로 SyntheticAperture Radar (SAR) 영상을 활용하였지만, 바람이 약하거나, 바다의 내부파, 유기물에 의한 막(biogenic film) 등은 SAR 영상에서 기름과 유사하게 나타나 구분이 어렵다는 단점이 있다(Solberg, 2012; Alpers et al., 2017).

지금까지 유출유 탐지는 거의 SAR 영상에 의해서만 이루어져 왔고, 광학영상이 사용되더라도 중·저해상도 영상이 주를 이루었다. Zhao et al. (2014)은 유출유 검출 가능성의 연구를 위해 Moderate Resolution Imaging Spectroradiometer (MODIS), Medium Resolution Imaging Spectrometer (MERIS), Landsat 7, Landsat 8 영상을 사용하였다. Mityagina et al. (2016)은 EnvisatAdvanced Synthetic Aperture Radar (ASAR), Sentinel-1 SAR, Landsat-5, Landsat-8등 SAR 영상과 광학영상을 함께 사용하여 유출유 탐지 향상을 시도하였다. Kolokoussis et al. (2018)은 Sentinel-2를 사용하여 Object-Based Image Analysis(OBIA) 방법으로 객체기반 유출유 분석을 연구하였다. Arslan (2018)은 Sentenel-1 SAR, Landsat-8 영상을, Rajendran et al. (2021)은 Sentinel-1 SAR, Sentinel-2 영상을 함께 사용하여 유출유 탐지를 수행하였다.

시인성이 높은 고해상도 영상에서는 유사 물질과의 구분이상대적으로용이한장점이있기때문에(Mityagina et al., 2016; Park et al., 2020) Unmanned Aerial Vehicle (UAV) 촬영 영상을 활용하는 연구도 진행되었다(Aznar et al., 2014; Odonkor et al., 2019). Aznar et al. (2014)은 군집 드론을 사용하여 유출유 탐지 모델링을 하였으며, Odonkor et al. (2019)는 UAV 팀을 이용하여 연안 유출유 매핑을 위한 분산 접근법을 연구하였다. 최근에는 딥러닝을 활용한 유출유 탐지 연구도 활발하게 이루어지고 있으며, Topouzeliset al. (2007)과 Singha et al. (2013)은두운 부분(dark spot)과 유출유를 구분하기 위해 딥러닝을 활용하였다. Krestenitiset al. (2019)은 U-Net, LinkNet, Pyramid Scene Parsing Network (PSPNet) 및 3가지 버전의 DeepLab 모델을 이용하여 각 신경망 별로 유출유 탐지의 성능과 속도를 비교 평가하였다. Yekeen et al. (2020)은 인스턴스 분할 모델인 MaskRegionalConvolutionalNeural Network (Mask R-CNN)을 사용하여 새로운 유출유 탐지 기법을 개발하였으며, Jiao et al. (2019)은 딥러닝을 이용하여 UAV 영상으로부터 유출유를 탐지하는 연구를 수행하였다.

유출유 탐지 연구에서는 SAR 영상이 주를 이루고 드론 영상이 간혹 활용되었으나, 최근 초소형위성의 증가로 고해상도 광학영상으로 유출유를 탐지하는 연구의 필요성이 제기되고 있다. 이에 본 연구에서는 3미터 해상도의 PlanetScope 광학영상을 사용하여 유출유 레이블을 제작하고 DeepLabV3+ 모델을 최적화하여 의미론적 영상분할(semantic segmentation)을 수행하였다. 또한 암맹평가를 통해 정확도(accuracy), 정밀도(precision), 재현율(recall), F1점수, 평균 교집합 대 합집합 비율(Mean Intersection over Union, mIOU) 등의 지표를 계산하여 유출유 탐지 성능을 평가하였다. 딥러닝 영상인식을 기반으로 PlanetScope 위성영상을 활용한 유출유 탐지의 선행연구가 거의 없었다는 점에서 이 연구의 차별성이 존재한다.

2. 이론적 배경

최근 컴퓨팅 파워가 향상되면서 기존 신경망과 달리 깊고 두터운 네트워크 구성이 가능해졌고, 보다 향상된 활성화함수와 최적화 알고리듬을 사용할 수 있게 되었다. 딥러닝 영상인식의 대표적인 기술인 Convolutional Neural Network (CNN)은 1) 컨볼루션층(convolution layer)과 풀링층(pooling layer)을 반복적으로 배치하여 영상의 특징(feature)을 효과적으로 구성하는 과정과 2) 마지막 단계의 완전연결층(fully connected layer)과 출력층(output layer)을 통해 영상 분류를 수행하는 과정을 포함한다(Fig. 1). 컨볼루션 필터(convolution filter)는 히트맵(heatmap) 형태의 Class Activation Map (CAM)을 산출하며, 현재 층의 CAM과 다음 층의 CAM은 필터 뱅크 (filter bank) 가중치 시스템에 의해 연결된다(Fig. 2). Rectified Linear Unit (ReLU)과 같은 비선형 활성화 함수는 이러한 계층 간의 정보 전달에 있어 경사소실(gradient vanishing)을 방지한다(LeCun et al., 2015). CNN을 활용한 의미론적 영상분할은 영상 내의 모든 픽셀에 대한 분류(classification)의 결과로 영상의 분할이 이루어지는데, 이때 화소 간 또는 화소군 간의 맥락(context)을 고려하여 객체별 분할이 수행된다. 전형적인 의미론적 영상분할 모델인 Fully Connected Network (FCN)은 모든 레이어를 밀도 높은 컨볼루션 레이어로 하는 네트워크로 구성된다(Long et al., 2015) (Fig. 3).

Fig. 1. Structure of a convolutional neural network (Saha, 2018).

Fig. 2. Transforming fully connected layers into convolution layers (Long et al., 2015).

Fig. 3. Afullyconvolutionalnetworkforsemanticsegmentation (Long et al., 2015).

DeepLab은 의미론적 영상분할을 보다 효율적으로 수행하기 위하여 atrous convolution을 활용한다. DeepLabV1에서는 atrous convolution을 적용하였고, DeepLabV2에서는 다중스케일 컨텍스트(multi-scale context) 활용을 위한 Atrous Spatial Pyramid Pooling (ASPP) 기법을 적용하였다. DeepLabV3에서는 기존 ResNet에 atrous convolution을 첨가하여 보다 더 조밀한 특징맵을 획득하였고, DeepLabV3+에서는 separable convolution과 atrous convolution이 합쳐친 atrousseparable convolution을 사용하였다. Atrous convolution은 필터 내부에 빈 공간을 둔 채로 작동하는데, 기존 컨볼루션과 동일한 계산량을 유지하면서도 Field of View (FOV)가 증가하는 효과가 있다. 특징맵의 한 화소가 입력 영상의 어느 정도의 영역을 커버하는지 나타내는 receptive field는 의미론적 영상분할의 성능에 영향을 미치는 요소이다. DeepLab의 atrous convolution은 receptive field를 증가시키는 역할을 한다. 또한 DeepLab은 특징맵으로부터 복수의 atrous convolution을 병렬처리한 후 다시 합치는 ASPP 기법을 활용하는데, 이러한 다중스케일 컨텍스트 기법은 보다 정확한 영상분할이 가능하도록 한다(Chen et al., 2018) (Fig. 4).

Fig. 4. Structure of DeepLabV3+ (Chen et al., 2018).

3. 자료와 방법

1) PlenetScope 위성영상

PlanetScope는 Planet Labs PBC에서 운영하는 180기 이상의 5.8 kg 초소형위성으로 구성된 군집위성이다. 이 초소형위성은 대부분 태양동기궤도를 가지며 적도 횡단 시각은 9시 30분에서 11시 30분 사이이다. PlanetScope 영상은 Blue (455–515 nm), Green (500–590 nm), Red (590–670 nm), Near Infrared (NIR, 780–860 nm) 스펙트럼 대역이 포함되어 있다. 공간해상도는 3 m이고, 위치 오차는 10 m 미만이다(Planet Labs PBC, 2020) (Table 1). 해상유출유는 흔한 현상이 아니며, 광학위성영상의 경우 날씨의 영향을 많이 받고 유출된 기름의 양이 적으면 유출유가 영상에 포착될 가능성도 낮아진다. 그러나 PlanetScope 영상은 시공간해상도가 높아 유출유가 포착될 확률이 상대적으로 높기 때문에 본 연구에서 활용하게 되었다.

Table 1. Instruments of PlanetScope sensors

Fig. 5. PlanetScope orbits: (a) inertial view and (b) rotating view (Planet Labs PBC, 2020).

2) 레이블 제작

문헌과 기사 등을 참조하여 유출유 사고 8건에 대한 PlanetScope영상 16장을 확보하였다(Table 2). PlanetScope 영상은 Blue, Green, Red, NIR 밴드로 구성되어 있고, 레이블 영상을 제작할 때는 유출유 화소와 정상 화소의 차이가 뚜렷해야 하기 때문에 감마 보정을 통해 밝기를 조절하고, 히스토그램 조정을 통해 대비강조를 수행하였다(Fig. 6). Magic Wand는 사용자가 선택한 화소와 유사한 특성을 가진 영역을 선택하여 분류해주는 반자동 화소 선택 도구이며, 이를 활용하여 유출유 레이블 영상을 생성하였고, 레이블 영상은 원본 PlanetScope 영상과 같은 좌표참조계를 가지도록 설정하였다(Fig. 7).

Table 2. PlanetScope images used in this study

Fig. 6. Example of gamma correction and histogram adjustment.

Fig. 7. Example of creating oil spill labels.

3) 자료 처리

DeepLabV3+ 모델에서의 학습을 원활하게 하기 위해서 PlanetScope 영상과 레이블 영상은 256×256 화소로 잘랐다. 이때, 유출유 부분과 해수 부분을 거의 절반씩 차지하도록 구성하기 위하여 256×256로 잘라진 영상에서 육지, 구름, 또는 널값이 너무 많은 영상은 제외하였다. 또한, 영상을 자를 때 Fig. 8과 같이 10%씩 오버랩 (overlap) 되도록 하여 118개의 데이터셋을 구성하였다.

Fig. 8. Example of crop image with overlap.

입력 영상은 일반적으로 최소-최대 정규화(min-max normalization)를 수행하지만 최소-최대 정규화의 경우 이상치(outlier)에 취약한 단점이 있어, 본 연구에서는 화소값이 평균(μ) 0, 표준편차(σ) 1의 분포가 되도록 z 표준화하여 사용하였다.

\(\begin{aligned}z=\frac{x-\mu}{\sigma}\\\end{aligned}\)

이는 스케일이 큰 입력변수의 영향이 과도해지거나 로컬미니마(local minima)에 빠지는 위험을 줄이고 학습속도를 향상시키는 효과가 있다.

4) 모델 최적화

118장의 데이터셋에 대하여 훈련 대 검증 대 시험 영상이 8:1:1의 비율이 되도록 구성하여 학습 및 평가를 수행하였다. 또한, 다양한 경우의 수를 확보하기 위하여 전체 데이터 셋을 셔플링(shuffling)하여 8:1:1 나누고 학습 및 평가하는 일련의 과정을 5회에 걸쳐 반복하였고, 성능 지표는 5회 실험의 평균으로 계산하였다. DeepLabV3+ 모델 훈련에서 손실함수(loss function)는 Binary Cross Entropy (BCE)를 사용하였고, 세밀한 가중치 조정을 위해 학습률(learning rate)은 1e-5로 설정하였으며, 옵티마이저(optimizer)는 학습의 안정성과 속도를 보장하는 Adaptive Moment Estimation (ADAM)을 사용하였다. Blue, Green, Red, NIR 4개의 입력채널을 가진 DeepLabV3+ 모델의 하이퍼파라미터 및 환경설정은 Table 3과 같다.

Table 3. Configuration for DeepLabV3+ model

5) 평가 방법

시험 데이터셋에서 레이블 영상과 예측 영상을 이용하여 혼동행렬(confusion matrix)을 작성하고, True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN)를 계산하여, 정확도, 정밀도, 재현율, F1 점수, mIOU 등의 성능지표를 산출하였다. 정확도는 예측 영상의 화소 중에 레이블 영상과 동일한 화소의 비율이다. 정밀도는 예측 영상 클래스별 화소 중에서 정답 화소의 비율이고, 재현율은 레이블 영상 클래스별 화소 중에서 정답 화소의 비율이며, F1점수는 정밀도와 재현율을 동시에 나타내기 위해 두 지표의 조화평균 (harmonic mean)으로 계산한다. Intersection over Union (IOU)은 딥러닝 영상인식 분야에서 가장 중요한 지표로, 레이블 영상과 예측 영상의 교집합 면적을 합집합 면적으로 나눈 값이며, mIOU는 각 클래스별 IOU의 평균이다.

\(\begin{aligned}\begin{array}{c}\text { Accuracy }=\frac{T P+T N}{T P+T N+F P+F N} \\ \text { Precision }=\frac{T P}{T P+F P} \\ \text { Recall }=\frac{T P}{T P+F N} \\ F 1 \text { score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }} \\ \text { IoU }=\frac{T P}{T P+F P+F N}\end{array}\\\end{aligned}\)

4. 결과 및 고찰

Table 4는 8:1:1로 나누었던 전체 데이터셋 중 10%에 해당하는 시험 데이터셋의 레이블 영상과 예측 영상을 비교하여 성능지표를 계산한 결과로서, 모든 클래스에 대한 정확도는 0.885로 나타났다. 정밀도는 예측 영상을 기준으로 정답률을 계산하는 개념으로 0.888이 나왔고, 재현율은 레이블 영상을 기준으로 정답률을 계산한 것으로 0.886을 기록했다. 정밀도와 재현율의 조화평균인 F1점수는 0.883로 계산되었다. Non-oil 클래스의 IoU는 0.795, oil 클래스의 IoU는 0.792으로, 두 클래스의 평균인 mIoU는 0.793이었다. 여러 측도를 미루어 볼 때 유출유의 탐지 정확도는 상당히 안정적으로 높은 수치라고 볼수 있다. Non-oil 클래스의 IOU와 oil 클래스의 IOU가 유사하고, 정밀도와 재현율이 비슷하게 산출된 것으로 볼 때, non-oil과 oil 중 어느 한쪽에 치우치지 않고 고르게 탐지하는 것을 알 수 있다. Fig. 9는 탐지 결과를 육안으로 비교하기 위해 시험 데이터셋에서 무작위로 추출된 데이터의 원본 영상, 레이블 영상, DeepLabV3+ 예측 영상이며, 예측 영상이 실제와 상당히 유사하게 나타난것을 확인할 수 있다.

Table 4. Performance indices for DeepLabV3+ model

Fig. 9. Examples of the result randomly chosen from test datasets.

5. 결론

본 연구에서는 고해상도 광학위성인 PlanetScope 영상을 활용하여 DeepLabV3+ 유출유 탐지 모델링을 수행하고, 암맹평가를 통해 객관적인 정확도 평가를 수행하였다. 256×256 화소로 구성된 118장의 학습자료에 대한 암맹평가 결과, 정확도 0.885, 정밀도 0.888, 재현율 0.886, F1점수 0.883, mIoU 0.793 등의 비교적 높은 정확도를 나타냈다. 그러나 일부 과탐지 및 미탐지가 발견되었는데, 이는 유출유의 특성상 충분한 학습자료 확보에 어려움이 있기 때문이다. 광학위성영상은 구름으로 인한 미관측의 한계가 있으며, 이로 인해 유출유의 특성에 따라 색깔과 두께의 다양성을 고려할 만큼 많은수의 유출유 케이스를 수집하기는 힘들지만, 향후 시공간 범위가 보다 더 확장된 학습자료를 구축할 필요가 있을 것이다. 또한 사전학습(pre-trained)된 모델을 반입 (import)하여 전이학습(transfer learning)을 수행하거나, High Resolution Network (HRNet)이나 Shifted Windows (Swin) Transformer 등 다른 딥러닝 모델을 추가 적용함으로써 연구가 발전될 수 있을 것으로 사료된다.