Korean Journal of Remote Sensing (대한원격탐사학회지)

Korean Society of Remote Sensing (대한원격탐사학회)
권호 표지
DOI QR코드

DOI QR Code

Development of Marine Debris Monitoring Methods Using Satellite and Drone Images

위성 및 드론 영상을 이용한 해안쓰레기 모니터링 기법 개발

  • 김흥민 ((주)아이렘기술개발 기업부설연구소) ;
  • 박수호 ((주)아이렘기술개발 기업부설연구소) ;
  • 한정익 ((주)아이렘기술개발 기업부설연구소) ;
  • 예건희 ((주)아이렘기술개발 기업부설연구소) ;
  • 장선웅 ((주)아이렘기술개발)
  • Received : 2022.10.31
  • Accepted : 2022.11.15
  • Published : 2022.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

This study proposes a marine debris monitoring methods using satellite and drone multispectral images. A multi-layer perceptron (MLP) model was applied to detect marine debris using Sentinel-2 satellite image. And for the detection of marine debris using drone multispectral images, performance evaluation and comparison of U-Net, DeepLabv3+ (ResNet50) and DeepLabv3+ (Inceptionv3) among deep learning models were performed (mIoU 0.68). As a result of marine debris detection using satellite image, the F1-Score was 0.97. Marine debris detection using drone multispectral images was performed on vegetative debris and plastics. As a result of detection, when DeepLabv3+ (Inceptionv3) was used, the most model accuracy, mean intersection over union (mIoU), was 0.68. Vegetative debris showed an F1-Score of 0.93 and IoU of 0.86, while plastics showed low performance with an F1-Score of 0.5 and IoU of 0.33. However, the F1-Score of the spectral index applied to generate plastic mask images was 0.81, which was higher than the plastics detection performance of DeepLabv3+ (Inceptionv3), and it was confirmed that plastics monitoring using the spectral index was possible. The marine debris monitoring technique proposed in this study can be used to establish a plan for marine debris collection and treatment as well as to provide quantitative data on marine debris generation.

본 연구에서는 단시간 내 광범위한 지역에 대한 해양쓰레기 발생 실태 파악이 가능하도록 위성 및 드론다중분광 영상을 이용한 해안쓰레기 모니터링 기법을 제안한다. Sentinel-2 위성 영상을 이용한 해안쓰레기 탐지를 위해 multi-layer perceptron (MLP) 모델을 적용하였고, 드론 다중분광 영상을 이용한 해안쓰레기 탐지를 위해 딥러닝 모델 중 U-Net, DeepLabv3+ (ResNet50), DeepLabv3+ (Inceptionv3)의 탐지 성능평가 및 비교를 수행하였다. 위성 영상을 이용한 해안쓰레기 탐지 결과 F1-Score 0.97을 보였다. 드론 다중분광 영상을 이용한 해안쓰레기 탐지는 초목류와 플라스틱류에 대한 탐지를 수행하였고, 탐지 결과 DeepLabv3+ (Inceptionv3) 모델이 mean Intersection over Union (mIoU) 0.68로 가장 우수한 성능을 보였다. 초목류는 F1-Score 0.93, IoU는 0.86을 보인 반면에 플라스틱류의 F1-Score 0.5, IoU는 0.33으로 낮은 성능을 보였다. 그러나 플라스틱류 마스크 영상 생성을 위해 적용된 분광 지수식의 F1-Score는 0.81로 DeepLabv3+ (Inceptionv3)의 플라스틱류 탐지 성능보다 높은 성능을 보이며, 분광 지수식을 이용한 플라스틱류 모니터링이 가능할 것으로 판단된다. 본 연구에서 제안된 해안쓰레기 모니터링 기법을 통해 해안쓰레기 발생에 대한 정량적 자료 제공과 더불어 해안쓰레기 수거·처리 계획 수립에 활용할 수 있다.

Keywords

1. 서론

해양쓰레기는 밀도에 따라 바닥에 가라앉는 침적쓰레기, 해수면이나 해수층의 부유쓰레기, 해안가로 떠밀려온 해안쓰레기로 크게 분류된다(Seo and Kim, 2019). 2020년 기준 우리나라 해양쓰레기는 13.8만 톤을 수거하였으며, 이 중 해안쓰레기가 약 7.8만 톤(69%)으로 가장 많았고, 침적쓰레기가 약 2.9만 톤(25%), 부유쓰레기 약 0.7만 톤(6%)을 수거하였다(MOF, 2021). 그러나 수거되지 않고 방치된 해양쓰레기는 그물 등으로부터 얽힘, 섭식으로 인한 환경·생태학적 피해, 미관훼손 및 관광 자원 피해로 유발되는 사회적 피해, 수거처리비용 소요 등 경제적 피해를 유발한다.

현재 우리나라 해안쓰레기 모니터링 방식은 고정 정점을 대상으로 폭 5 m 소구간 4개를 무작위로 추출 조사한다(KOEM, 2020). 이러한 방식은 해안 중 일부 구간만 선정하여 모니터링을 수행함으로써 시·공간적 한계 및 정확한 실태 파악에 한계가 있다. 해양쓰레기의 효율적 수거 관리 대책을 수립하기 위해서는 광범위한 해역을 신속하고 효과적으로 모니터링하고 이를 통한 객관적 결과를 바탕으로 한 해양쓰레기의 정확한 현황 파악이 필요하다.

광범위한 영역에 대한 관측이 가능한 위성영상이나 고해상도 영상 자료 취득이 가능한 드론 영상을 이용한 모니터링은 기존의 국소적 범위의 한계에서 벗어나 광범위한 지역에 대한 해안쓰레기 발생 실태 파악이 가능하다. Biermann et al. (2020)은 Sentinel-2 위성영상을 이용하여 부유 플라스틱(macroplastics) 패치를 탐지하였고 해수, 해초, 바다의 포말과 같은 자연적 물질과 구분 가능함을 확인하였다. 특히 floating debris index (FDI)를 사용하여 해수면에 존재하는 부유 플라스틱 패치를 구분하였다. Sasaki et al. (2022)는 WorldView-2, 3 고해상도 위성영상 및 기계학습을 이용하여 해안쓰레기 탐지 및 현존량 추정이 가능함을 확인하였다.

소규모 해안쓰레기가 발생할 경우 위성 영상을 이용한 모니터링은 한계가 있다. 이를 보완하기 위해 고해상도 드론 영상을 이용한 해안쓰레기 모니터링 기법에 제안되었다. Jang et al. (2011)은 백사장에 산재되어 있는 해안쓰레기를 대상으로 드론 영상 촬영을 수행하였고, 드론 영상에서 배경 차감 기법(Background subtraction method)을 이용하여 해안쓰레기 모니터링을 수행하였다. Kim et al. (2017)은 드론과 다중분광센서와 더불어 분광조사를 통해 취득된 부유쓰레기의 분광학적 특징을 이용하여 하천 부유쓰레기 탐지를 수행하였다. Fallati et al. (2019)은 드론 영상과 딥러닝 기반 소프트웨어를 활용한 해안쓰레기를 탐지하고 정량화하였다. Gonçalves and Andriolo (2022)는 드론 다중분광 영상과 spectral angle mapper (SAM)를 이용한 성상별 해안쓰레기 분류를 수행하였고, 모델 정확도(F1-Score)는 0.64로 드론 다중분광 영상을 이용한 해안쓰레기 탐지 및 분류가 가능함을 제시하였다. 이 외에도 최근에는 드론 영상 취득 및 딥러닝 모델을 이용한 해안쓰레기 탐지 연구가 수행되고 있다(Gonçalvesk et al., 2020; Papakonstantinou et al., 2021; Lee et al., 2021).

위성영상을이용한해안쓰레기모니터링은넓은범위에 대한 적용이 가능한 반면 낮은 공간해상도로 인해 해안쓰레기 발생량이 작은 경우 추정에 오차를 내포한다. 드론을 이용한 해안쓰레기 모니터링은 발생 지점 파악이 필요하며, 대상지 선정 후 대상지에 대한 비행계획 수립 등 사전 조사가 필요하다. 이러한 위성 영상과 드론 영상의 특성을 융합할 경우 보다 효율적으로 해안쓰레기 모니터링을 수행할 수 있다. 따라서 본 연구는 단시간 내 광범위한 지역에 대한 해안쓰레기 발생 실태 파악이 가능하도록 위성 및 드론 다중분광 영상을 이용한 해안쓰레기 모니터링 기법을 개발하고자 하였다.

2. 자료 및 방법

위성 영상 및 드론 다중분광 영상을 이용한 해안쓰레기 모니터링 기법을 개발하고자 위성 영상과 유사한 시기의 드론 다중분광 영상 촬영을 수행하였다. 위성 영상과 드론 다중분광 영상을 비교를 위해 드론 다중분광 영상의 공간 해상도를 위성 영상의 공간 해상도인 10 m로 resampling을 수행하고 각 영상을 동일한 위치로 일치시키는 작업을 수행하였다. 이후 위성 영상에서 해안 쓰레기의 탐지 가능성 확인을 위해 드론 resampling영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였고, 동일한 방법으로 위성 영상에서 해안쓰레기 탐지 모델의 정확도 평가를 수행하였다. 또한 해안쓰레기의 정확한 모니터링을 수행하고자 고해상도의 드론 다중분광 영상을 이용하여 해안쓰레기 탐지 모델의 정확도 평가를 수행하였다.

1) 연구 자료

장마나 집중호우 등으로 발생하는 육상 기인 해양쓰레기와 태풍 내습 시 양식장에서 이탈되는 부이, 인간의 해상 활동에 의해 발생하는 해상 기인 해양쓰레기가 혼재된 낙동강 하구의 사주해안 중 신자도를 대상으로 위성 영상 및 드론 다중분광 영상을 수집하였다(Fig. 2).

OGCSBN_2022_v38n6_1_1109_f0001.png 이미지

Fig. 1. Workflow.

OGCSBN_2022_v38n6_1_1109_f0002.png 이미지

Fig. 2. Study area (satellite and drone images).

위성영상은 10 m의 공간해상도를 가지며 재방문 주기가 5일로 짧은 Sentinel-2 A/B multispectral instrument(MSI) 영상을 사용하였다. 위성영상은 대기 상층 반사도인 Top-of-Atmosphere 반사도를 가지며, 지상의 반사도인 Bottom-of-Atmosphere 반사도를 산출하기 위해 대기 효과를 제거하는 대기보정 수행이 필요하다. Sentinel-2 위성영상은 대기보정이 수행되어 BOA 반사도를 가지는 Level-2A (L2A) 자료를 제공하며, 본 연구에서는 Sentinle-2 MSI의 L2A 영상을 사용하였고, Sentinel-2 MSI 영상 처리를 위해 Sentinel Application Platform (SNAP) 소프트웨어를 이용하였다.

신자도를 대상으로 드론 다중분광 영상 취득을 위해 Sensefly사의 eBee X를 활용하였다(Fig. 3(a)). eBee X는 고정익 드론으로 고정된 날개의 양력을 이용하여 비행하는 형태로 무게가 가볍고, 하나의 출력 모터를 사용하여 전력 소모가 적어 비행시간 최대 90분으로 넓은 지역의 영상 취득에 적합한 형태이다(Table 1). 이러한 장점을 이용하여 범위가 넓은 신자도를 대상으로 영상을 취득하였다. 드론 탑재 센서는 Rededge-MX를 사용하였고(Fig. 3(b)), RedEdge-MX는 Red, Green, Blue를 포함하여 Red edge, Near-Infrared (NIR) 밴드로 구성되어 총 5개 밴드의 영상을 수집하였다. 드론 다중분광 영상은 위성 영상의 촬영 시간을 고려하여 오전 11시~12시에 취득하였다. 비행 계획은 종·횡중복도 75%, 비행고도 110 m로 설정하였고, 매월 약 7,500장의 개별 영상을 수집하였다. 수집된 개별 영상은 드론 영상처리 소프트웨어(Pix4D Mapper)를 이용하여 기하보정 및 정사영상을 제작하였고, 비행 전·후 촬영된 Calibration panel을 이용한 방사보정 수행을 통해 밴드별 한 장의 반사도 영상 생성하였다. 생성된 반사도 영상의 면적은 약 1.0 km2, ground sampling distance (GSD)는 7.8 cm로 생성되었다.

OGCSBN_2022_v38n6_1_1109_f0003.png 이미지

Fig. 3. Shape ofdrone and multispectral sensor:(a) eBeeX, (b) Rededge-MX, (c) drone multispectral image acquisition.

Table 1. Specification of eBee X

OGCSBN_2022_v38n6_1_1109_t0001.png 이미지

위성 영상과 드론 다중분광 영상의 비교를 위해 드론 정사영상의 공간해상도를 위성 영상 해상도인 10 m로 일치시키는 resampling을 수행하였다. 드론 정사영상은 다중분광 센서 외부의 GPS를 통해 개별 영상에 위치정보가 메타데이터로 저장되며, 위치정보를 이용하여 기하보정이 수행된다. 그러나 GPS에서 발생하는 위치오차로 인해 수십 cm 또는 수 m의 위치오차가 발생할 수 있다. 따라서 위성 및 드론 영상 비교 시 픽셀의 위치오차를 최소화 하고자 Image registration 기능을 이용하여 두 영상의 위치를 일치시켰다. 또한 Sentinel-2 위성 영상에서 드론 다중분광 센서와 유사한 밴드를 선정하여 비교하였다(Table 2).

Table 2. Comparison of Sentinel-2 MSI and Rededge-MX wavelength band

OGCSBN_2022_v38n6_1_1109_t0002.png 이미지

드론 영상 수집과 더불어 325–1075 nm에서 1 nm 단위로 측정 가능한 스펙트럴라디오미터(spectralradiometer)를 이용하여 해안쓰레기 성상별 지상 분광 반사도 측정 및 대상물의 위치정보를 수집하였다(Fig. 4). 매 시간마다 99%의 반사율을 갖는 Spectralon panel을 사용하여 기준 반사율을 측정하였다. 지상 분광 반사도 측정은 드론 다중분광 영상 촬영과 동일한 시점에 수행하였다. 지상 분광 반사도 측정 시 센서와 대상물 간의 측정 거리를 1 m 이내를 유지하여 연직으로 측정하였고, 스펙트럴라디오미터에 장착된 GPS 센서를 이용하여 대상물의 위치정보를 취득하였다. 측정 시 바람에 의한 대상물의 움직임, 측정자의 흔들림, 잡음 등을 고려하여 지점 당 5회 측정을 수행하였고, 이를 평균하여 사용하였다.

위성 영상, 드론 다중분광 영상, 지상 분광 반사도 측정 일자는 Table 3과 같다.

Table 3. Acquisition date of satellite image, drone multispectral image and spectral measurement

OGCSBN_2022_v38n6_1_1109_t0003.png 이미지

OGCSBN_2022_v38n6_1_1109_f0004.png 이미지

Fig. 4. Measurement of ground reflectance of marine debris.

2) 해안쓰레기 탐지 모델 선정

본 연구에서는 해안쓰레기 탐지를 위해 영상 기반 분류법 중 픽셀 단위 분류 방식과 의미론적 분할 방식을 적용하였다. 위성 영상은 드론 다중분광 영상에 비해 상대적으로 낮은 공간해상도로 인해 해안쓰레기의 형태를 파악할 수 없기 때문에 해안쓰레기 패치가 위치한 픽셀의 반사도를 기준으로 해안쓰레기 탐지를 위해 multi-layer perceptron (MLP) 모델을 적용하였다. MLP 모델은 입력층과 은닉층, 출력층으로 구성되어 있으며, 원격탐사 분야에서 분류 문제에 활용되고 있다(Lee et al., 2019).

드론 다중분광 영상에서 해안쓰레기 탐지는 의미론적 분할 모델을 적용하였다. 의미론적 분할 모델은 해안쓰레기 패치의 형태, 픽셀 단위의 분광 정보 모두를 활용하여 대상물의 특징을 추출할 수 있다. 본 연구에서는 의미론적 분할 모델 중 U-Net과 DeepLabv3+의 Encoder를 각각 ResNet50, Inceptionv3를 적용한 3가지 모델의 탐지 정확도 비교를 수행하였다. U-Net은 의료 영상 분야에서 적은 양의 영상에 대한 문제를 해결하기 위해 Ronneberger et al. (2015)에 의해 제안되었다. 최근에는 의료분야 외에도 원격탐사 분야에서 많이 응용되고 있는 모델로 구조가 단순하지만 분할 성능이 우수하여 토지피복 분류, 구름 탐지 등 다양한 분야에서 활용되고 있다(Zhang et al., 2018; Stoian et al., 2019; Kang et al., 2021). DeepLabv3+는 ResNet50을 통해 추출된 특징을 atrous spatial pyramid pooling (ASPP) 기법을 활용하여 물체의 영역을 찾아낸다(Chen et al., 2017). ASPP 기법은 Atrous Convolution을 통해 영상의 다양한 특징을 효율적으로 활용할 수 있는 장점이 있다. 의미론적 분할 모델에서Encoder는 입력된 영상에서 특징을 추출하는 역할을 담당하며 DeepLabv3+ Encoder인 ResNet50을 InceptionV3로 변경하여 모델을 적용하였다. InceptionV3는 Inception 모듈을 활용한 CNN 중 하나로 다양한 특징을 병렬로 활용함과 동시에 연산량을 줄여 효율적으로 학습할 수 있는 장점이 있다. 따라서 본 연구에서 ASPP 기법을 이용하여 해안쓰레기 크기의 다양성을 활용할 수 있는 DeepLabv3+의 Encoder를 ResNet50, InceptionV3로 설정한 뒤 성능을 비교하였다.

3) 해안쓰레기 데이터셋 구축

위성 영상에 MLP 모델 적용을 위해 드론 다중분광 영상에서 육안으로 확인 가능한 해안쓰레기 패치의 위치정보를 이용하여 위성 영상에서 해안쓰레기 마스크 영상을 생성하였다. 위성 영상과 드론 영상의 촬영일이 최대 6일까지 차이가 발생하지만 신자도 특성상 사람의 접근이 드물고 해안쓰레기 수거가 즉시 발생하지 않는 점을 고려하여 드론 영상을 이용한 해안쓰레기 마스크 영상을 생성하였다. 모든 날짜의 위성 영상에서 픽셀 반사도를 추출하였으며, train, validation, test 데이터를 8:1:1의 비율로 분할하여 MLP 모델의 데이터셋을 구축하였다.

해안쓰레기 중 가장 많은 비율을 차지하는 초목류 및 플라스틱류(Lee et al., 2007)이며, 본 연구에서는 초목류, 플라스틱류 2종에 대한 탐지를 수행하고자 하였다. 의미론적 분할 모델의 데이터셋 생산을 위해 현장에서 측정된 해안쓰레기 반사도 특징을 이용하였다. 신자도에서 관측된 플라스틱류는 Red edge 밴드에서 높은 반사도를 보였고, 특히 스티로폼은 0.5 이상의 높은 반사도를 보였다. 그러나 자연물(초지, 모래 등)의 Red edge 밴드 반사도는 0.5보다 낮은 반사도를 보였다(Fig. 5). 스티로폼은 Red edge의 임계치를 0.5 이상으로 설정하여 검출하였다. 또한 성상별 분광 특성을 파악한 결과 파란색 플라스틱을 제외한 모든 성상에서 Blue밴드에서 Green밴드로 증가하는 패턴을 보였다. 자연물에서는 파란색 물체가 관측되지 않아 Blue밴드와 Green밴드의 비율을 이용하여 파란색 플라스틱을 별도로 검출하였다. 부표로 많이 사용되는 붉은 계열의 플라스틱의 경우 Red밴드와 Green밴드의 비율을 만족하면서 스티로폼류의 중복 검출을 방지하기 위해 NIR밴드와 Blue밴드의 비율을 이용하여 검출하였다. 각각 검출된 스티로폼과 플라스틱의 조건을 이용하여 식(1)을 적용하였고, 플라스틱류의 이진 마스크(Binary mask) 영상을 생성하였다(Fig. 6). 초목류는 모래, 마른 초지와 유사한 반사도를 보여 반사도를 이용한 구분의 한계로 육안으로 확인하여 polygon으로 라벨링 후 이진 마스크 영상을 생성하였다(Fig. 6).

OGCSBN_2022_v38n6_1_1109_f0005.png 이미지

Fig. 5. Reflectance of natural and artificial objects.

OGCSBN_2022_v38n6_1_1109_f0006.png 이미지

Fig. 6. Binary mask image of marine debris.

\(\begin{aligned} \text { Plastics }: & (\text { Red edge } \geq 0.5) \text { or }\left(\frac{\text { Blue }}{\text { Green }}>1\right) \\ & \text { or }\left(\frac{\text { Red }}{\text { Green }}>2 \text { and } \frac{\text { NIR }}{\text { Blue }}>2\right)\end{aligned}\)       (1)

본 연구에서 생성된 드론 정사영상은 큰 영상 크기(약 35,000×13,000)로 인하여 의미론적 분할 모델 입력에 부적합하다. 의미론적 분할 모델 입력을 위해 정사영상은 224×224 크기의 tile 영상으로 분할하였고(Fig. 7), 총 7,000장의 tile 영상에서 train, validation, test 데이터를 8:1:1의 비율로 분할하여 데이터셋을 구축하였다. 전체 픽셀수에 비해 플라스틱류의 픽셀수는 약 3%로 매우 낮은 비율로 인하여 편중된 학습이 진행될 수 있다. 따라서 플라스틱류가 포함된 tile 영상을 별도로 추출 후 증강을 수행하였고, train 데이터셋에 gridmask augmentation을 이용하여 영상 증강 후 의미론적 분할 모델의 학습 데이터로 활용하였다.

OGCSBN_2022_v38n6_1_1109_f0007.png 이미지

Fig. 7. Example of split tile image from orthomosaic and model input.

위성 및 드론 다중분광 영상 내에서 해안쓰레기의 면적이 주변 배경에 비해 매우 적은 면적을 차지하는 불균형을 보이며, 클래스 간 불균형이 심할 경우 많은 양의 데이터에 편중된 학습이 진행될 수 있다. 특히, 해안 쓰레기와 같이 영상 내에서 차지하는 면적이 작은 경우 해안쓰레기보다 배경을 잘 학습하는 문제가 발생한다. 이를 해소하기 위해 클래스별 가중치를 난이도 가중치까지 추가한 Focal Loss를 손실함수로 사용하였다.

FL(pt) = -(1 - pt)γ log(pt)       (2)

Focal Loss는 클래스 불균형 문제를 해결하고자 Lin et al. (2017)에 의해 제안되었다. Focal Loss는 모델에서 좀 더 높은 확률을 출력할 경우 벌점을 부여하며, 낮은 확률을 보이는 클래스는 손실 값을 크게 하여 학습 과정에서 업데이트가 원활히 이루어지게 한다.

4) 해안쓰레기 탐지 정확도 평가

위성 영상은 MLP 모델을 이용하여 해안쓰레기를 탐지하고자 하였고, 정확도 평가는 Precision, Recall, F1-Score를 이용하였다. Precision은 모델이 해안쓰레기로 탐지한 픽셀 중 실제로 해안쓰레기가 존재하는 픽셀의 비율로 0–1 사이의 값을 가진다. Recall은 실제로 해안쓰레기가 존재하는 픽셀 중 모델이 해안쓰레기로 탐지하는 픽셀의 비율을 의미하며 0–1 사이의 값을 가진다. Precision과 Recall은 Confusion Matrix를 통해 산출되며, 산출 방법은 Table 4와 같다.

Table 4. Confusion matrix

OGCSBN_2022_v38n6_1_1109_t0004.png 이미지

\(\begin{aligned}Precision=\frac{\sum P}{\sum T P+F P}\end{aligned}\)       (3)

\(\begin{aligned}Recall=\frac{\sum T P}{\sum T P+F N}\\\end{aligned}\)       (4)

불균형이 심한 데이터의 평가 지표로 주로 F1-Score가 활용되며, Precision과 Recall의 조화평균으로 산출된다. F1-Score는 Precision과 Recall이 낮으면 0, Precision과 Recall이 높고 편차가 적을수록 1에 가까운 값을 가지며 1에 가까울수록 우수한 성능을 나타낸다.

\(\begin{aligned}F1\; Score = 2 \times \frac{Precision \times Recall}{Precision + Recal}\end{aligned}\)       (5)

드론 다중분광 영상은 의미론적 분할 모델을 이용하여 해안쓰레기를 탐지하고자 하였고, 정확도 평가는 Precision, Recall, F1-Score와 더불어 mean Intersection over Union (mIoU)를 평가 지표로 사용하였다. IoU는 탐지하고자 하는 대상의 실제 영역과 탐지된 영역이 겹쳐진 정도를 평가하는 지표다(Fig. 8). IoU는 0–1의 값을 가지며 매우 엄격한 지표로 조금만 벗어나도 IoU는 낮은 수치로 산출된다.

OGCSBN_2022_v38n6_1_1109_f0008.png 이미지

Fig. 8. Definition and examples of IoU.

3. 연구 결과 및 토의

1) 드론 Resampling 영상을 이용한 해안쓰레기 탐지 정확도 평가 및 발생량 산정

위성 영상에서 해안쓰레기 패치의 탐지 가능성을 확인하고자 Sentinel-2 위성 영상과 동일한 공간해상도인 10 m로 Resampling한 드론 다중분광 영상을 활용하였다. 위성 영상에 적용되는 동일한 MLP 모델을 이용하여 해안쓰레기 탐지 결과 precision 0.93, recall 0.98, F1-Score는 0.95를 보였다. precision에 비해 recall이 높은 것으로 보았을 때, 실제 해안쓰레기에 비해 MLP 모델이 과대탐지 경향이 보이는 것으로 판단된다.

드론 resampling 영상에서 파악되는 실제 월별 해안쓰레기 발생 면적은 4월 이후 감소하여 6월 1,400 m2로 가장 적은 면적을 보인 후 장마철인 7월 이후 증가하였고, 태풍 내습 후 9월 8일 가장 넓은 면적을 보였다. MLP 모델을 적용한 해안쓰레기 탐지 면적은 3월 가장 넓은 면적으로 탐지하였으며, 이후 감소하다가 7월부터 증가하여 태풍 내습 후 9월 8일 큰 폭으로 증가하였다. 3월~6월 MLP 모델의 탐지 결과가 큰 오차를 보이며 과대 추정하는 경향을 보였고, 7월 이후 실제 해안쓰레기 발생 면적과 모델 탐지 면적의 오차가 감소하며 동일한 패턴을 보였다(Fig. 9).

OGCSBN_2022_v38n6_1_1109_f0009.png 이미지

Fig. 9. Monthly marine debris occurrence and detection area of drone resampling images (10 m).

2) Sentinel-2 위성영상을 이용한 해안쓰레기 탐지 정확도 평가 및 발생량 산정

위성 영상에서 해안쓰레기 패치 위치는 드론 다중분광 영상에서 파악된 위치를 활용하였다. 위성 영상에서 해안쓰레기 탐지를 위해 MLP 모델을 적용한 결과 precision 0.95, recall 0.99, F1-Score는 0.97을 보였다.

위성 영상에 MLP 모델을 적용한 해안쓰레기 탐지 면적은 4월에 가장 넓은 면적으로 탐지하였으며, 이후 감소하다가 7월부터 증가하여 태풍 내습 후 9월 11일 큰 폭으로 증가하였다. 드론 resampling영상과 동일한 오차 패턴을 보이며, 6월 이후 해안쓰레기 발생 면적과 탐지 면적의 오차가 급격히 감소하며 동일한 증가 패턴을 보였다(Fig. 10).

OGCSBN_2022_v38n6_1_1109_f0010.png 이미지

Fig. 10. Monthly marine debris occurrence and detection area of sentinel-2 images.

3) 드론 다중분광 영상을 이용한 해안쓰레기 탐지 정확도 평가 및 발생량 산정

드론 다중분광 영상 및 의미론적 분할 모델을 이용한 해안쓰레기 탐지 결과는 Table 5와 같다. 모델별 성능 평가 결과 U-Net의 mIoU가 가장 낮은 성능을 보였으며 DeepLabV3+(ResNet50),DeepLabV3+(InceptionV3)가 각각 0.67, 0.68로 유사한 성능을 보였다(Table 5). 성상별로 확인하면 초목류는 U-Net 모델에 비해 DeepLabV3+ 모델에서 F1-Score 0.9 이상의 우수한 성능지표를 보였고, DeepLabV3+ (ResNet50)와 DeepLabV3+ (InceptionV3)에서 F1-Score는 0.93으로 동일한 성능 지표를 나타냈다. 반면 플라스틱류는 모든 모델에서 낮은 성능지표를 보였다. U-Net 모델이 가장 낮은 탐지 성능을 보였고, DeepLabV3+의 경우 Encoder를 InceptionV3로 적용한 모델이 가장 높은 성능을 보였다. 또한 모든 모델에서 플라스틱류의 precision이 recall과 비교하여 높은 수치를 나타냈다. 모델에서 탐지된 플라스틱 중 실제 플라스틱인 확률은 높지만 실제 존재하는 플라스틱을 탐지하는 성능은 낮은 것으로 해석된다. 드론 다중분광 영상에서 플라스틱류가 차지하는 픽셀 크기는 최소 1개의 픽셀만 존재하는 경우가 일부 확인되었고, 모델 학습 시 padding되는 과정에서 작은 크기의 플라스틱류의 특징이 소실되어 학습되지 않은 것으로 판단된다. 이는 Fig. 11과 같이 일정 크기 이하의 플라스틱류는 탐지되지 않았으며, 이로 인해 Precision이 Recall 보다 높은 것으로 판단된다.

Table 5. Performance indicator of marine debris detection model in drone multispectral image

OGCSBN_2022_v38n6_1_1109_t0005.png 이미지

OGCSBN_2022_v38n6_1_1109_f0011.png 이미지

Fig. 11. Results of marine debris detection (DeepLabv3+ (Inceptionv3)).

드론 다중분광 영상에서 파악되는 해안쓰레기 탐지 면적은 3월 가장 넓은 면적으로 탐지하였으며, 7월 이후 실제 해안쓰레기 면적과 유사한 경향을 보였다. 태풍 내습 후 9월 8일 실제 해안쓰레기 면적 증가와 더불어 탐지 면적 또한 증가하였다(Fig. 12). 플라스틱류의 탐지 면적은 실제 발생량에 비해 과소 추정하였으나, 발생량의 증감 패턴은 동일하게 유지하였다(Fig. 13(a)). 플라스틱류의 실제 면적과 탐지 면적의 상관성 분석 결과 R2 = 0.59로 나타났으며, 플라스틱류 면적이 급격히 증가한 8월 26일에 가장 큰 오차를 보였다(Fig. 13(b)). 초목류의 탐지 면적은 3월~6월에 과대추정하는 양상을 보이며 이후 오차가 감소하며 실제 발생량과 유사한 패턴을 보인다(Fig. 13(c)). 초목류의 실제 면적과 탐지 면적의 상관성 분석 결과 R2 = 0.73으로 플라스틱류에 비해 높은 설명력을 나타냈다(Fig. 13(d)).

OGCSBN_2022_v38n6_1_1109_f0013.png 이미지

Fig. 12. Monthly marine debris occurrence and detection area of drone multispectral image.

OGCSBN_2022_v38n6_1_1109_f0012.png 이미지

Fig. 13. Correlation between detection and occurrence area by properties of marine debris: (a) Area of occurrence and detection of plastics, (b) Correlation between the area of occurrence and detection of plastics, (c) Area of occurrence and detection of vegetative debris, (d) Correlation between the area of occurrence and detection of vegetative debris (unit: m2).

4) 해안쓰레기 탐지 오차 발생 원인

3월~6월 신자도에는 대부분의 식생이 마른 상태로 존재했으며, 7월 이후 넓은 범위에서 식생이 활력을 보이기 시작했다. 현장 분광 반사도 측정 결과 해안쓰레기 중 초목류의 분광 반사 특성과 마른 초지의 분광 반사 특성이 매우 유사한 패턴을 보였고(Fig. 14), 이로 인해 3~6월의 오차가 큰 것으로 판단된다. Kim et al. (2017)은 Red와 NIR의 비율과 경험적 임계치를 이용하여 하천 부유쓰레기를 탐지하였는데, 이는 잘 알려진 식생지수인 normalized difference vegetation index (NDVI)와 유사한 형태를 나타내며, 식생지수와 초목류 간 반사도 특징이 상관성이 있을 것으로 판단된다.

OGCSBN_2022_v38n6_1_1109_f0015.png 이미지

Fig. 14. Reflectance of grass (dry) and vegetative debris.

식생지수와 해안쓰레기 탐지 결과 간의 상관성을 확인하고자 월별 NDVI를 산출하였다. 드론 다중분광 영상에서 NDVI를 적용한 결과 3월 NDVI 0.2의 면적이 가장 넓은 범위로 나타났고, 시간이 지남에 따라 NDVI 0.2의 면적은 감소하고 NDVI 0.6 이상의 면적이 증가하였다(Fig. 15, 16).

OGCSBN_2022_v38n6_1_1109_f0014.png 이미지

Fig. 15. Monthly NDVI images.

OGCSBN_2022_v38n6_1_1109_f0016.png 이미지

Fig. 16. Histogram of monthly NDVI images.

우리나라는 주로 겨울철 식생의 활력이 감소하여 NDVI 0.5 이하의 낮은 값을 보인다(Son et al., 2021). 본 연구에서도 3월 NDVI 0.5 이하의 값을 보였고, 3월에 NDVI 0.1–0.3의 값이 가장 많은 픽셀을 차지하였다. 0.1–0.3의 면적과 MLP 모델의 해안쓰레기 탐지 면적간 상관성 분석 결과 R2 = 0.76 이상의 높은 상관성을 보였다(Fig. 17). 즉, 활력이 낮은 식생과 해안쓰레기 중 초목류는 본 연구에서 사용되는 밴드에서 유사한 반사 패턴을 나타내며, 여름철을 제외한 다른 계절에는 해안쓰레기 탐지 시 과대 추정될 수 있다는 점을 의미한다. 그러나 우리나라는 집중호우나 태풍 내습 등 여름철 홍수기에 많은 강우량이 집중되어 있다. 홍수기에 육상으로부터 해상으로 유입, 해안선 주변에서 발생, 해상에서 발생하는 해양쓰레기는 태풍 내습 후 해안선으로 해안쓰레기의 유입이 주로 발생한다(Park and Yoon, 2007; Jang et al., 2014). 따라서 해안쓰레기의 유입량이 많은 홍수기에 해안쓰레기 모니터링의 중요성이 부각되며, 이 시기에 Sentinel-2 위성영상을 이용한 해안쓰레기 발생 추이, 발생 분포 등 모니터링이 가능할 것으로 판단된다.

OGCSBN_2022_v38n6_1_1109_f0017.png 이미지

Fig. 17. Correlation between NDVI (0.1 to 0.3) area and detected marine debris area.

5) 드론 다중분광 영상을 이용한 해안쓰레기 모니터링 방안

드론 다중분광 영상과 의미론적 분할 모델 이용한 해안쓰레기 탐지 결과 모든 모델에서 플라스틱류의 낮은 성능지표를 보였다. 플라스틱류의 경우 크기 및 형태가 다양하여 특정 크기 이하의 플라스틱류는 학습이 원활히 진행되지 않는 것으로 판단된다.

의미론적 분할 모델의 학습을 위한 플라스틱류의 마스크 영상 생성은 분광 지수식을 이용하였고, 분광 지수식을 이용한 플라스틱류 탐지가 가능함을 의미한다. 이에 분광지수식을 적용하여 플라스틱 검출을 해안쓰레기 모니터링에 활용하고자 정확도 평가를 수행하였다. 검증 자료는 신자도 현장 조사에서 취득된 해안쓰레기 위치정보를 이용하여 분광 지수식에서 산출된 플라스틱류의 검증을 수행하였다. 분광 지수식의 정확도 평가 결과 precision 0.89, recall 0.94, F1-Score 0.81로 플라스틱류 검출에 가장 높은 성능을 보였던 DeepLabv3+(Inceptionv3) 모델(F1-Score 0.5)에 비해 높은 성능지표를 보였다. 이러한 결과는 해안쓰레기 모니터링 시 플라스틱류는 분광 지수식을 이용하여 모니터링이 가능함을 의미한다. DeepLabv3+ (Inceptionv3) 모델은 탐지를 위해 정사영상 분할, 모델 입력, 탐지, 분할 영상의 병합 순으로 이루어진다. 그러나 분광 지수식을 이용한 플라스틱 탐지 방법은 전체 영상에 대해서 연산이 이루어지므로 비교적 빠르고 간단하다. 드론 다중분광 영상을 이용한 플라스틱류 탐지 시 분광 지수식이 효율적일 것으로 판단된다.

우리나라는 홍수기에 초목류를 비롯한 많은 양의 해안쓰레기가 발생하며 해안가에 넓게 분포하여 집적된다. 해안쓰레기 중 플라스틱류는 해안가에 개별로 존재하기도 하나 초목류에 포함되어 존재하거나 일부는 초목류에 덮여 식별되지 않는 경우도 발생한다. 이에 따라 드론을 이용한 플라스틱류의 총량 추정에는 오차 발생 가능성이 존재한다. 그러나 홍수기에 발생하는 해안 쓰레기는 특성상 넓은 범위에 대한 발생량 및 분포를 파악하여 해안쓰레기 수거를 위한 정보 제공이 중요하다. 본 연구에서 제시한 해안쓰레기 모니터링 방안은 초목류의 분포 면적과 더불어 개별로 존재하는 플라스틱류의 분포 파악이 가능함으로 해안쓰레기 수거 및 처리를 위한 기초자료로 활용할 수 있다.

4. 결론

본 연구는 위성 영상과 드론 영상의 특성을 융합한 해안쓰레기의 모니터링을 제안하였다. 위성 영상에서 MLP 모델을 적용한 경우 홍수기에 해안쓰레기 모니터링이 가능함을 확인하였다. 또한 드론 다중분광 영상과 딥러닝을 이용하여 해안쓰레기 중 초목류, 플라스틱류에 대한 탐지를 수행하였다. 3종의 딥러닝 모델의 해안쓰레기 탐지 성능 비교 결과 U-Net (mIoU 0.59), DeepLabv3+(mIoU 0.67)에 비해 DeepLabv3+(Inception)모델이 mIoU 0.68로 가장 우수한 성능을 보였다. 모든 모델에서 초목류 탐지는 높은 성능을 보인 반면, 플라스틱류 탐지는 다소 낮은 성능을 보였다. 그러나 분광지수식을 이용할 경우 플라스틱류의 탐지 및 발생량 추정이 가능할 것으로 판단된다.

본 연구에서 제안하는 위성 및 드론 영상을 이용한 해안쓰레기 모니터링 방안은 다음과 같다. 해양쓰레기 유입이 많은 홍수기에 위성 영상을 이용하여 해안쓰레기의 유입, 발생량을 모니터링하고 해안쓰레기 실태조사 우선순위를 선정한다. 이후 우선순위에 따라 대상 해안에 대한 드론 다중분광 영상 촬영을 수행한다. 취득된 드론 다중분광 영상에 분광 지수식을 이용하여 플라스틱류의 발생량 파악하고, 딥러닝 모델을 이용하여 해안에 분포한 초목류의 발생량, 발생 범위를 파악하여 해안쓰레기 수거·처리 계획에 활용할 수 있다.

본 연구에서는 낙동강 하구의 사주해안 중 신자도를 대상으로 해안쓰레기 자료를 수집하였고, 1개 해안에 대해 적용한 결과로 향후에는 적용 대상 해안의 확대 및 모델 탐지 정확도 개선이 필요하다. 본 연구에서 수집된 플라스틱류의 비율은 전체 데이터셋에 비해 약 3%에 불과하여 데이터셋에 포함된 사례가 부족하다. 또한 플라스틱류의 경우 그 형태의 다양함으로 인해 보다 많은 배경 및 형태에 대한 영상을 취득하여 데이터셋 내 다양성을 확보할 필요가 있다.

본 연구에서 제안하는 해안쓰레기 모니터링 기법을 활용하면, 단시간에 효율적으로 넓은 범위에 대한 모니터링이 가능하고, 해안쓰레기의 발생량 및 범위를 파악할 수 있을 것으로 판단된다. 또한 해안쓰레기 발생에 대한 정량적 자료를 제공할 수 있으며, 이를 통한 수거·처리 계획 수립에 활용할 수 있을 것으로 판단된다.

사사

이 논문은 (재)부산테크노파크의 「미래해양도시 부산의 신산업 혁신성장 생태계 조성」의 지원사업으로 지원된 연구입니다.

References

  1. Biermann, L., D. Clewley, V. Martinez-Vicente, and K. Topouzelis, 2020. Finding plastic patches in coastal waters using optical satellite data, Scientific Reports, 10(1): 1-10. https://doi.org/10.1038/s41598-020-62298-z
  2. Chen, L.C., G. Papandreou, F. Schroff, and H. Adam, 2017. Rethinking atrous convolution for semantic image segmentation, arXiv preprint arXiv:1706.05587. https://doi.org/10.48550/arXiv.1706.05587
  3. Fallati, L., A. Polidori, C. Salvatore, L. Saponari, A. Savini, and P. Galli, 2019. Anthropogenic Marine Debris assessment with Unmanned Aerial Vehicle imagery and deep learning: A case study along the beaches of the Republic of Maldives, Science of The Total Environment, 693: 133581. https://doi.org/10.1016/j.scitotenv.2019.133581
  4. Goncalves, G. and U. Andriolo, 2022. Operational use of multispectral images for macro-litter mapping and categorization by Unmanned Aerial Vehicle, Marine Pollution Bulletin, 176: 113431. https://doi.org/10.1016/j.marpolbul.2022.113431
  5. Goncalves, G., U. Andriolo, L. Pinto, and D. Duarte, 2020. Mapping marine litter with Unmanned Aerial Systems: A showcase comparison among manual image screening and machine learning techniques. Marine Pollution Bulletin, 155: 111158. https://doi.org/10.1016/j.marpolbul.2020.111158
  6. Jang, S.W., D.H. Kim, Y.H. Chung, and H.J. Yoon, 2014. Behavior Characteristics of Floating Debris Spilled from the Nakdong River, Korean Journal of Remote Sensing, 30(1): 127-136. https://doi.org/10.7780/kjrs.2014.30.1.10
  7. Jang, S.W., S.K. Lee, S.Y. Oh, D.H. Kim, and H.J. Yoon, 2011. The Application of Unmanned Aerial Photography for Effective Monitoring of Marine Debris, Journal of the Korean Society of Marine Environment & Safety, 17(4): 307-314. https://doi.org/10.7837/kosomes.2011.17.4.307
  8. Kang, J., G. Kim, Y. Jeong, S. Kim, Y. Youn, S. Cho, and Y. Lee, 2021. U-Net Cloud Detection for the SPARCS Cloud Dataset from Landsat 8 Images, Korean Journal of Remote Sensing, 37(5): 1149-1161. https://doi.org/10.7780/kjrs.2021.37.5.1.25
  9. Kim, H.M., H.J. Yoon, S.W. Jang, and Y.H. Chung, 2017. Detection Method of River Floating Debris Using Unmanned Aerial Vehicle and Multispectral Sensors, Korean Journal of the Remote Sensing, 33(5): 537-546. https://doi.org/10.7780/kjrs.2017.33.5.1.7
  10. KOEM (Korea Marine Environment Management Corporation), 2020. 2020 National Coastal Litter Control and Monitoring Investigation Service, Korea, https://www.koem.or.kr/site/koem/ex/board/View.do?cbIdx=370&bcIdx=30182, Accessed on Nov. 16, 2022.
  11. Lee, J.H., Y.W. Lee, M.H. Choe, S.C. O., H.U. Kim, J.G. Gang, and G.H. Park, 2021. Coastal debris detection experiment using ENVI's deep learning image recognition module, Water for Future, 54(12): 22-28.
  12. Lee, Y.B., S. Park, C.R. Ryu, H.T. Kim, and H.S. Yoon, 2007. Characteristics of Marine Debris collected from the Coastline of Sandbar in the Nakdong River Estuary, Journal of the Korean Society for Marine Environmental Engineering, 10(3): 148-154.
  13. Lee, Y.S., W.K. Baek, and H.S. Lee, 2019. Forest Vertical Structure Classification in Gongju City, Korea from Optic and RADAR Satellite Images Using Artificial Neural Network, Korean Journal of Remote Sensing, 35(3): 447-455. https://doi.org/10.7780/kjrs.2019.35.3.8
  14. Lin, T.Y., P. Goyal, R. Girshick, K. He, and P. Dollar, 2017. Focal loss for dense object detection, Proc. of 2017 IEEE International Conference on Computer Vision, Venice, Italy, Oct. 22-29, pp. 2980-2988. https://doi.org/10.48550/arXiv.1708.02002
  15. MOF (Ministry of Oceans and Fisheris), 2021. Last year, 138,000 tons of marine debris were collected, about 45% more than in 2018, Korea, https://www.mof.go.kr/statPortal/bbs/report/view.do?ntt_id=973, Accessed on Nov. 16, 2022.
  16. Papakonstantinou, A., M. Batsaris, S. Spondylidis, and K. Topouzelis, 2021. A citizen science unmanned aerial system data acquisition protocol and deep learning techniques for the automatic detection and mapping of marine litter concentrations in the coastal zone, Drones, 5(1): 6. https://doi.org/10.3390/drones5010006
  17. Park, S. and H.S. Yoon, 2007. Distribution of Marine Debris collected from the Sandbar Coastline of Nakdong River Estuary after the Typhoons' Passage, Journal of Korea Society of Marine Environment & Safety, 13(4): 1-7.
  18. Ronneberger, O., P. Fischer, and T. Brox, 2015. U-net: Convolutional networks for biomedical image segmentation, Proc. of 2015 International Conference on Medical Image Computing and Computer-assisted Intervention, Munich, Germany, Oct. 5-9, pp. 234-241. https://doi.org/10.48550/arXiv.1505.04597
  19. Sasaki, K., T. Sekine, L.J. Burtz, and W.J. Emery, 2022. Coastal Marine Debris Detection and Density Mapping With Very High Resolution Satellite Imagery, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 6391-6401. https://doi.org/10.1109/JSTARS.2022.3193993
  20. Seo, D.C. and J.P. Kim, 2019. Comparison and Analysis Monitoring Methods for Marine Debris on Beach, Journal of Korea Society of Waste Management, 36(8): 802-810. https://doi.org/10.9786/kswm.2019.36.8.802
  21. Son, M.B., J.H. Chung, Y.G. Lee, and S.J. Kim, 2021. A Comparative Analysis of Vegetation and Agricultural Monitoring of Terra MODIS and Sentinel-2 NDVIs, Journal of the Korean Society of Agricultural Engineers, 63(6): 101-115. https://doi.org/10.5389/KSAE.2021.63.6.101
  22. Stoian, A., V. Poulain, J. Inglada, V. Poughon, and D. Derksen, 2019. Land cover maps production with high resolution satellite image time series and convolutional neural networks: Adaptations and limits for operational systems, Remote Sensing, 11(17): 1986. https://doi.org/10.3390/rs11171986
  23. Zhang, P., Y. Ke, Z. Zhang, M. Wang, P. Li, and S. Zhang, 2018. Urban land use and land cover classification using novel deep learning models based on high spatial resolution satellite imagery, Sensors, 18(11): 3717. https://doi.org/10.3390/s18113717