Semantic Segmentation of the Submerged Marine Debris in Undersea Images Using HRNet Model

HRNet 기반 해양침적쓰레기 수중영상의 의미론적 분할

Abstract

Destroying the marine environment and marine ecosystem and causing marine accidents, marine debris is generated every year, and among them, submerged marine debris is difficult to identify and collect because it is on the seabed. Therefore, deep-learning-based semantic segmentation was experimented on waste fish nets and waste ropes using underwater images to identify efficient collection and distribution. For segmentation, a high-resolution network (HRNet), a state-of-the-art deep learning technique, was used, and the performance of each optimizer was compared. In the segmentation result fish net, F1 score=(86.46%, 86.20%, 85.29%), IoU=(76.15%, 75.74%, 74.36%), For the rope F1 score=(80.49%, 80.48%, 77.86%), IoU=(67.35%, 67.33%, 63.75%) in the order of adaptive moment estimation (Adam), Momentum, and stochastic gradient descent (SGD). Adam's results were the highest in both fish net and rope. Through the research results, the evaluation of segmentation performance for each optimizer and the possibility of segmentation of marine debris in the latest deep learning technique were confirmed. Accordingly, it is judged that by applying the latest deep learning technique to the identification of submerged marine debris through underwater images, it will be helpful in estimating the distribution of marine sedimentation debris through more accurate and efficient identification than identification through the naked eye.

해양환경 및 해양생태계를 파괴하고 해양사고의 원인이 되는 해양쓰레기는 매년 늘어나고 있으나 그 중 해양침적쓰레기는 해저에 위치해 있어 파악과 수거에 어려움이 있다. 이에 효율적인 수거와 분포량 파악을 위해 수중촬영 이미지를 이용하여 폐그물과 폐밧줄을 대상으로 딥러닝 기반의 의미론적 분할을 실험하였다. 분할에는 최신 딥러닝 기법인 high-resolution network (HRNet)을 사용하고 최적화 알고리즘(optimizer) 별 성능 비교를 하였다. 분할 결과 그물에서는 adaptive moment estimation (Adam), Momentum, stochastic gradient descent(SGD) 순으로 F1 score=(86.46%, 86.20%, 85.29%), IoU=(76.15%, 75.74%, 74.36%) 이며, 밧줄은 F1 score=(80.49%, 80.48%, 77.86%), IoU=(67.35%, 67.33%, 63.75%)로 그물과 밧줄에서 모두 Adam의 결과가 가장 높게 나타났다. 연구 결과를 통해 optimizer 별 분할 성능 평가와 최신 딥러닝 기법의 해양침적쓰레기 분할에 대한 가능성을 확인하였다. 이에 따라 수중촬영 이미지를 통한 해양침적쓰레기 식별에 최신 딥러닝 기법을 적용시킴으로써 육안을 통한 식별보다 정확하고 효율적인 식별을 통해 해양침적쓰레기의 분포량 산정에 기여할 수 있을 것으로 사료된다.

1. 서론

해양쓰레기는 해양환경과 해양생태계를 파괴하고 해양사고의 원인이 되기도 하며 육상과 해상 모두에서 기인한다. 육상의 쓰레기는 주로 하천과 해안가로부터 유입되고 해양에서는 어선어업, 양식업, 항만에서 발생된다. 이러한 해양쓰레기는 해수면을 바람, 조류 흐름에 따라 떠다니는 부유쓰레기, 해안에 표착해 있는 해안쓰레기, 해저에 침적하는 해양침적쓰레기로 구분된다(Jeong et al., 2021). 해양환경공단에 따르면 우리나라 연간 해양쓰레기 유입량은 14만 5천톤에 달하며, 현존량은 해안쓰레기 2만 8천톤, 부유쓰레기 6천톤, 침적쓰레기 11만 4천톤으로 총 14만 8천톤으로 추정된다. 그에 비해 2016년 연간 총 수거량은 7만톤에 그치고 있으며, 침적쓰레기의 경우 2만 4천톤으로 현존량 대비 부족한 실정이다. 해안쓰레기 전체 수거량은 2018년 약 4만 8천톤에서 2020년 약 11만톤으로 2배 이상 증가하였지만 해양침적쓰레기는 최대 4만 1천톤까지 수거된 2018년에 비해 2021년에는 1만 8천톤으로 매년 감소하고 있다(KOEM, 2019). 이는 해양쓰레기가 집중호우, 태풍 등으로 인해 해안으로 유입되어 발생량이 늘어난 만큼 전체 수거량이 증가하였지만 해양침적쓰레기는 해저에 위치해 있어 수압과 어둠으로 인해 상대적으로 수거가 어려워 수거량이 감소한 것으로 파악된다(Kuroda et al.,2020; Wang et al., 2022).

해양침적쓰레기는 수거되지 못한 해양쓰레기들이 시간에 지나면서 해저면에 가라 앉고 그에 따라 수거율이 현저히 떨어지게 되어 그 양이 증가하고 있다. 이러한 해양침적쓰레기는 대부분 인간에 의해 만들어진 것으로 특히 폐그물과 폐밧줄은 해양생물과 수산 자원에 영향을 미치는 유령어업(ghost fishing)과 생물 서식지를 덮어버리는 등의 서식지 훼손을 발생시킨다. 유령어업은 침적된 폐그물이나 폐밧줄은 그 기능을 그대로 가지고 있어, 이로 인해 해양 생물이 걸려 죽게 되고 죽은 생물이 미끼가 되어 다른 생물을 또 다시 걸려 죽게 만든다(Jeong et al., 2020; Kim et al., 2016; Kuroda et al., 2020; Song et al., 2022). Kim et al. (2016)은 유령어업에 대한 연구를 수행하여 실험어인 볼락의 약 20% 가 유령어업으로 폐그물에 걸려 미끼 역할이 되고 먹이활동을 하는 다른 개체들을 유인하는 현상을 확인한 바 있다. 또한 수조가 아닌 실제 환경에서는 연쇄적인 유령어업 효과가 발생하여 대형 개체나 각종 저서성 어종 그리고 회유성 어종들이 그물에 걸리는 경우가 많아 더욱더 심각한 유령어업 피해가 발생할 것으로 판단하였다. 해양수산부 조사에 따르면 유령어업에 인한 피해가 연간 전체 어획량의 10%에 달하며 피해액은 수천 억원으로 추산된다. 유령어업뿐만 아니라 어 패류의 산란, 치어의 성장, 성어의 서식장 파괴 등과 같은 피해를 일으켜 수중 생태계를 교란한다. 생태계 뿐만 아니라 인명이나 선박 피해도 발생하는데 폐그물이나 폐밧줄이 선박 스크류에 걸려 선박사고를 일으키고 잠수사의 안전을 직접적으로 위협하기도 한다.

이처럼 해양생태계 및 인적 피해를 발생시키는 해양 침적쓰레기인 폐그물과 폐밧줄의 신속하고 효율적인 수거를 위해서는 공간적 분포량 파악이 필요하다. 분포량 파악에는 사이드스캔소나, 잠수부가 직접 카메라로 촬영하거나 remotely operated underwater vehicle (ROV)가 사용된다. 사이드 스캔 소나의 경우 비교적 효율적으로 광범위한 해역을 조사할 수 있으나 사이드 스캔 소나 이미지는 공간정보와 색상정보 등 주요 정보가 손실되어 이미지만으로 분류가 어려운 경우가 발생한다. 따라서 정확한 해양침적쓰레기 분포량 파악을 위해서는 수중촬영 이미지도 함께 활용할 필요가 있다. 하지만 육안 만으로 객체를 분류하기에는 어려움이 있어 정확하고 효율적인 객체 식별을 위해서는 딥러닝과 같은 분류 알고리즘은 필수적이다(Xue et al., 2021a). 따라서 본 연구에서는 해양침적쓰레기에 대한 양질의 수중촬영 이미지를 학습자료로 사용하여 최신 딥러닝 기반의 의미론적 분할을 통해 정확하고 효율적인 객체를 분류하고자 한다.

수중촬영 이미지를 이용한 해양침적쓰레기 탐지연구로 Xue et al. (2021a)은 수중촬영 된 deep-sea debris image(DDI)를 plastic, rubber, natural, metal, glass, fish net& rope 그리고 cloth 8개의 클래스를 convolutional neural network(CNN) 기법인 ResNetV2-34, ResNetV2-152, MobileNet, LeNet, Xception과 해당연구에서 제시하는 Xception에 기반하여 Shuffle-Xception을 통해 분할하고 기법별 성능을 비교하였다. Shinde (2021)은 수중촬영 이미지를 eel, fish, 등과 같은 생물과 fishing gear, metal 등 16개의 클래스로 분류하여 CNN 기법인 Mask RCNN 과 SegCaps 기법을 이용하여 분할하고 기법 별 성능을 비교하였다.

Chin et al. (2022)은 autonomous underwater vehicles(AUVs)를 통해 획득된 자료를 3개의 YOLO 모델과 Faster R-CNN을 이용 22개의 해양침적쓰레기를 탐지하였다. Politikos et al. (2021)은 towed underwater camera(TUC)를 통해 그리스 시로스 섬 주변 해역의 수중촬영 이미지를 이용하여 Mask R-CNN을 적용 그물을 포함한 11개의 해양침적쓰레기를 탐지하였다. Radeta et al. (2022)은 AUVs, ROV와 같은 장비를 수중에서 실시간으로 해양침적쓰레기 탐지 가능성을 확인하고자 MobileNet을 통해 4종류의 해양침적쓰레기를 탐지하였다. Xue et al. (2021b)는 그물, 밧줄이 포함 된 7개의 해양침적쓰레기를 ResNet50-YOLOV3 모델을 통해 탐지하고 R-CNN, SSD 모델과 결과 비교하였다.

딥러닝을 활용한 해양침적쓰레기의 효율적 탐지 및 분할을 위한 해외연구는 많이 수행되었으나 국내 연구로 시도된 바는 많지 않다. 또한 CNN을 포함한 딥러닝에서 효율과 정확도를 높일 수 있는 최적화(optimization)과정을 위한 다양한 최적화 알고리즘(optimizer)이 적용된 연구도 미미하다. 본 연구는 국내 해양침적쓰레기 데이터에 대해 최신 CNN 기법인 high-resolution network(HRNet)을 여러 optimizer를 이용하여 의미론적 분할 모델을 개발하고, 성능을 비교 평가하였다.

2. 연구 자료 및 방법

1) 연구 자료

해양침적쓰레기(그물, 밧줄)의 이미지는 사이드 스캔 소나 조사 및 잠수부가 직접 수중 카메라로 촬영하여 획득된다. 본 연구에서는 잠수부가 직접 수중 카메라로 촬영한 이미지를 사용하였으며, 잠수사는 해양침적쓰레기와 0.5–1 m 내외의 거리에서 촬영하고 부유물이 발생되지 않도록 조류의 역방향으로 촬영하였다. 이미지의 크기는 3480 × 2160 픽셀로 수작업을 통해 그물, 밧줄 객체 별 폴리곤(polygon)으로 레이블링(labeling) 작업을 진행하였다. 레이블링 자료는 Json 형식으로 각 객체 별 폴리곤의 꼭지점 X, Y 좌표와 촬영위치의 위경도, 평균 수심 등의 메타데이터로 구성되어 있다. 딥러닝에 활용하기 위해 폴리곤의 꼭지점 X, Y 좌표를 이용 레스터 레이블링 이미지를 구축하였다. 구축된 해양 침적 쓰레기 레이블링 이미지는 그물만 포함된 이미지 236장, 그물과 밧줄 318장, 밧줄만 포함된 이미지 5,008장으로 총 5,562장을 연구에 사용하였다. Fig. 1, Fig. 2, Fig. 3은 해양침적쓰레기 이미지와 레이블 예시이다.

Fig. 1. Data construction example I: (a) fish net image and (b) label image.

Fig. 2. Data construction example II: (a) rope image and (b) label image.

Fig. 3. Data construction example III: (a) fish net and rope image, (b) label image.

연구에 사용된 객체 별 이미지의 수가 불균형 하기 때문에 그물이 포함된(그물, 그물과 밧줄) 554장의 이미지와 밧줄만 포함된 5,008장의 이미지를 각각 셔플링(shuffling)하고 그물 객체의 수가 적기 때문에 80%는 taining set 20%는 test set으로 데이터셋을 구축하였다. 각 객체 별 픽셀의 개수는 Table 1 과 같다.

Table 1. Number of pixels for each class in the training set and test set

2) 연구 지역

연구에 사용된 수중촬영 이미지는 부산광역시 수영만 일대 40개 지점, 월내항 24개 지점, 영도구 부산만 8개 지점, 통영시 5개 지점, 사천시 4개 지점, 동해시 묵호항 2개 지점, 남해군 1개지점으로 총 84개 지점이다. 삼면이 바다로 둘러 쌓여 어업 활동이 활발한 우리나라 해역의 폐어구 발생량은 연간 3만 9천톤으로 추정되며 서남해 2만 2천톤 동해 1만 7천톤으로 전 해역에 걸쳐 발생량이 많은 것으로 보고되고 있다. 이에 따라 다양한 지역에 대해 딥러닝을 활용한 해양침적쓰레기 의미론적 분할 가능성을 파악하기 위해 여러 지역의 수중촬영 이미지를 사용하였다(Fig. 4).

Fig. 4. Study area.

3) 이미지 분할 딥러닝 기법

이미지 의미론적 분할은 이미지로부터 획득하고 하고자 하는 정보를 취득하는 기본적인 과정으로 이미지에 있는 객체의 위치 및 세부 경계를 정확하게 예측해야 한다. 이미지 분류와 비교하여 이미지 분할은 픽셀 단위의 예측이 필요하여 많은 양의 계산량과 알고리즘이 더 복잡하다. 또한 이미지의 객체 간 다른 스케일과 불규칙한 모양, 흐릿한 경계와 사진의 조명 변화, 폐색으로 인해 이미지의 의미론적 분할은 어렵다. 딥러닝 기술 발전에 따라 다양한 CNN 기법이 정확한 의미론적 분할을 위해서 제안되었다.

2015년에 제안된 fully convolutional neural network(FCN)은 이미지 의미론적 분할을 위해 인코더(encoder) 및 디코더(decoder)와 end to end 방식을 제안하였다(Zhou, 2021). Encoder과정에서 기존 CNN 방식에서 제시했던 fully connected layer (FCL)은 이미지의 위치정보를 알 수 없게 된다. 이를 convolution layer로 변경하여 이미지의 위치 정보를 유지하고 pooling layer를 같이 활용하여 feature를 추출하고 객체에 대한 학습을 진행한다. Convolution layer를 사용하게 되면서 입력 이미지의 제한도 없다. 하지만 encoder 과정에서 convolution layer를 거칠수록 입력 이미지 보다 크기가 작아지게 되며 이를 복원하기 위해 decoder는 upsampling과 deconvolution을 수행한다(Zhang et al., 2020). FCN의 구조는 Fig. 5와 같고 대부분의 딥러닝 기반 이미지 분할 연구의 기반이 되는 기법이다. 하지만 FCN encoder 과정에서 국소정보가 사라지기 때문에 객체의 크기가 크거나 작은 경우 예측에 어려움이 있다. 또한 decoder 과정에서 upsampling과 deconvolution 과정이 단순하여 객체의 경계를 학습하기 어렵다.

Fig. 5. Structure of FCN (Li et al., 2018).

FCN의 한계점을 보완하고자 Ronneberger et al. (2015)은 Unet을 제안하였다. Unet은 FCN의 encoder-decoder 구조를 기반으로 한 기법이다. Fig. 6와 같이 U자형 구조를 가지며 좌측의 encoder를 수축경로, 우측의 decoder를 확장경로라 한다. 수축경로에서는 FCN과 마찬가지로 convolution layer 와 pooling layer를 통해 feature를 추출하고 객체에 대한 학습을 진행한다. 이 과정에서 저하된 해상도를 복원하는 확장경로에서는 FCN 보다 확장된 개념의 upsampling과 skip connection을 사용한다. Upsampling 시에도 높은 채널 수를 유지하여 상위 layer에 context 정보를 전파할 수 있고 skip connection을 통해 수축경로에서 생성된 feature를 확장경로에 전달시켜 더 정확한 위치 정보를 가진 분할 결과를 얻을 수 있다(Kim et al., 2022; Ronneberger et al., 2015; Zhang et al., 2020).

Fig. 6. Structure of Unet (Ronneberger et al., 2015).

FCN, UNet의 제안 이후 encoder-decoder를 기반으로 한 SegNet, RefineNet, DeepLabv3+ 그리고UNet++ 기법들이 제안되었다. 하지만 이러한 encoder-decoder 구조는 encoder 단계에서 공간 정보가 손실되고 이를 복원하기 위한 decoder 단계에서 모든 공간정보를 복원하기에는 한계가 있다. 이러한 한계를 극복하기 위해 Zhang et al. (2020)는 HRNet 기법을 제안하였다. HRNet은 입력 이미지와 같은 해상도를 가지는 고해상도의 서브네트워크(subnetworks)를 학습이 진행되는 동안 유지하고 단계가 진행됨에 따라 high-to-low resolution subnetwork를 추가한다. 각각의 subnetwork는 parallel 한 구조를 가지며, 다중 해상도의 subnetwork 간 추출 한 feature map의 정보를 교환하기 위해 반복적으로 융합을 진행한다. 이러한 HRNet의 구조는 학습 동안 높은 해상도를 유지할 수 있어 encoder와 decoder 과정이 불필요 하여 세밀한 분할이 가능하며, 저해상도의 정보들을 지속적으로 고해상도에 융합시킴으로써 높은 분할 정확도를 얻을 수 있다(Cheng and Fu, 2020; Seong and Choi, 2021).

Fig. 7. Structure of HRNet (Wang et al., 2019).

4) 이미지 분할 딥러닝 optimizer

CNN을 포함한 대부분의 신경만 기반 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이다. 이를 최적화(optimization)라 하며, 경사 하강법(gradient descent, GD)은 가장 처음으로 제안된 optimizer 이다. 1회 학습시에 모든 데이터에 대한 예측값의 gradient 를 학습률(learning rate)만큼 보정하여 가중치를 계산하기 때문에 계산 속도가 느리다. 이러한 문제를 해결하기 위해 다양한 optimizer가 제안되었다(Yaqub et al., 2020).

Stochastic gradient descent (SGD)는 GD의 단점을 보완한 알고리즘으로 전체 데이터가 아닌 일부 데이터에 대해 손실 함수의 값을 찾는다. 전체 데이터를 사용하지 않기 때문에 local minimum에 빠지지 않고 손실 함수의 값이 최소가 되는 global minimum을 찾을 수 있다. 이에 따라 계산량이 줄어들어 컴퓨팅 속도가 향상된다(Yang and Yang, 2018). 하지만 방향에 따라 gradient 가 달라지는 비등방성 함수 일 때 global minimum을 찾는 과정이 비효율적이다. 이러한 단점을 개선해 주기 위해 Momentum, adaptive moment estimation (Adam) 등 의 optimizer가 제안되었다.

Momentum은 기존 SGD 방식에 운동량 이라는 개념을 도입한 것으로, 관성의 법칙을 이용한다. Momentum 기법의 수식은 식(1)이다. L: 손실함수, W: 가중치, n: 학습률, a: 가속도, v: 속도를 뜻한다. 이는 이전 gradient에 이전 가속도를 추가하여 현재 가중치 값을 찾는 방식으로 기울기 값이 계속해서 누적되어 반영되기 때문에 local minimum 구간에 빠지지 않고 SGD 보다 빠르게 global minimum을 찾을 수 있다(Ruder, 2017).

\(\begin{aligned}W \leftarrow W+a v-n \frac{\partial L}{\partial W}\\\end{aligned}\)       (1)

Kingma and Ba (2015)가 제안한 Adam은 momentum과 root mean square prop (RMSProp)의 장점을 결합한 optimizer이다. 장점의 결합을 통해 학습의 방향과 크기(학습률)를 모두 개선하고 편향에 대한 보정이 가능하며 first-order gradient 기반 알고리즘으로 연산량이 적고 효율적인 optimizer이다. 특히 gradient의 첫 번째와 두번째 moment의 추정치로부터 각각의 가중치 마다 다른 학습률을 적용하며, 파라미터가 직관적이고 tuning이 거의 요구되지 않는 특징을 가져 딥러닝에서 가장 많이 사용되는 optimizer이다.

이와 같이 optimizer는 각각 장단점이 달라 적용되는 데이터에 따라 성능이 달라지므로 이에 본 연구에서는 HRNet을 통해 해양침적쓰레기 분할 시 optimizer 별 분할 결과를 비교하였다.

3. 결과

1) 평가 방법

HRNet의 optimizer 별 성능 비교를 위해 혼동행렬을 기반으로 그물과 밧줄에 대한 분할 결과를 추정하였다. 혼동행렬은 Table 2와 같으며 4가지의 케이스에 대해 true positive (TP), false positive (FP), false negative (FN), true negative (TN)으로 표현된다. TP, FP, FN, TN을 이용 분할 성능 비교를 위해 accuracy, precision, recall, F1-score 그리고 intersection over union (IoU)을 산출하였다. 재현율(recall)은 실제 true 인 것 중에서 모델이 true라고 예측한 것의 비율이며 식(2)와 같다. 정밀도(precision)는 모델이 true라고 분류한 것 중에서 실제 true인 것의 비율로 식(3)으로 계산된다. 정확도(accuracy)는 실제 true인 것 중에서 모델이 true라고 예측한 것과 실제 false 인 것 중에서 모델이 false라고 예측한 것의 합과 전체 예측에 대한 비율을 의미하며 식(4)와 같다. 정확도는 가장 직관적으로 모델의 성능을 평가할 수 있지만 편중(bias)될 수 있다. Recall 및 precision 또한 클래스 별 데이터가 불균형 할 때 모델의 성능 평가에 어려움이 있다. 이에 사용되는 지표는 F1 score 와 IoU이며, F1 score는 클래스 별 픽셀의 개수가 불균형 할 때 사용되는 지표로 성능을 하나의 숫자로 표현할 수 있으며 식(5)와 같다. 그리고 Iou는 실제 값과 예측하는 값이 일치하는 정도를 나타내는 지표로 식(6)으로 표현된다.

Table 2. Confusion matrix

\(\begin{aligned}Recall=\frac{TP}{TP+FN} \end{aligned}\)       (2)

\(\begin{aligned}Precision=\frac{TP}{TP+FP} \end{aligned}\)       (3)

\(\begin{aligned}Accuracy=\frac{TP+TN}{TP+FN+FP+TN} \end{aligned}\)       (4)

\(\begin{aligned}F1\;score=2 \times \frac{recall \times precision}{reacall + precision} \end{aligned}\)       (5)

\(\begin{aligned}IoU=\frac{TP}{TP+FN}\end{aligned}\)       (6)

2) 분할 결과

HRNet을 이용하여 해양침적쓰레기(그물, 밧줄) 이미지 분할을 수행하였으며, optimizer 별 분할성능비교를 위해 Adam, Momentum, SGD를 사용하였다. HRNet 공통 파라미터의 batch size는 64, epoch는 288 이며, learning rate는 Momentum, SGD는 앞선 연구결과에 따라 일반적으로 결과가 좋다고 알려진 기본값 0.01로 선정하였다. Adam은 Kandel and Castelli (2020)의 batch size와 learning rate에 따른 관계에 대한 연구 결과에 따라 선정되었다. 의료용 이미지와 VGG16 기법을 활용한 분할 결과는 batch size가 64, learning rate가 0.0001일때 결과가 좋았으며, 이에 따라 0.0001로 선정하였다. 각 optimizer별 분할 결과의 혼동 행렬은 Table 3이며, Table 4는 혼동 행렬을 통해 구해진 분할 결과이다. 그물에 대한 분할 결과는 Adam, Momentum, SGD 순으로 F1 score는 86.46%, 86.20%, 85.29%, IoU는 76.15%, 75.74%, 74.36%로 F1 score와 IoU에서 모두 Adam이 가장 높은 결과를 보였다. 밧줄 분할 결과에서도 F1 score 80.49%, 80.48%, 77.86%, IoU는 67.35%, 67.33%, 63.75%으로 Adam이 F1 score와 IoU 모두 가장 높은 결과를 보였다. Fig. 8에서도 Adam을 적용한 HRNet 모델이 가장 정교하게 분할하는 것을 확인 할 수 있었으며, HRNet을 사용하여 해양 침적 쓰레기 분할에 있어 가장 우수한 optimizer는 Adam으로 나타났다.

Table 3. Confusion matrix of optimizer (Adam, Momentum, SGD)

Table 4. Segmentation result of recall, precision, F1 score, IoU, and accuracy values (unit: %)

Fig. 8. Semantic segmentation result of HRNet by optimizer: (a) input image, (b) ground truth, (c) Adam, (d) Momentum, and (e) SGD.

그러나 수중촬영 이미지 분할에는 다음과 같은 한계점이 있다. Fig. 9과 같이 그물과 밧줄 분할이 이루어지지 못한 경우로 수중촬영 이미지는 물 속에 다양한 불순물로 인해 이미지가 깨끗하지 못하여 분할에 어려움이 있고 수중에는 다양한 생물과 물체가 서로 인접하게 존재하여 분할하고자 하는 객체가 주변의 생물이나 물체로 인해 그 특성을 잃어버리기 때문이다. 또한 Fig. 10의 경우 그물과 밧줄이 아닌 다른 물체를 분할한 경우로 이는 수중의 생물이나 물체가 그물과 밧줄의 특성과 유사하게 나타나 오분할 된 것으로 보인다.

Fig. 9. Semantic segmentation low result of HRNet I: (a) input image, (b) ground truth, and (c) Adam.

Fig. 10. Semantic segmentation low result of HRNet II: (a) input image, (b) ground truth, and (c) Adam.

4. 결론

본 연구에서는 수중촬영 이미지를 활용하여 해양침적쓰레기인 그물과 밧줄에 대한 분할을 진행하였다. 5,562장의 수중촬영 이미지를 training set 80%, test set 20%로 데이터 셋을 구축하고 최신 이미지 의미론적 분할 기법인 HRNet을 적용하였다. 여러 파라미터 중 optimizer에 따른 분할 성능 평가를 위해 Adam, Momentum, SGD 3개의 optimizer를 선정하여 분할을 수행하였다. 분할 결과 그물에서는 Adam, Momentum, SGD 순으로 F1 score=(86.46%, 86.20%, 85.29%), IoU=(76.15%, 75.74%, 74.36%) 이며, 밧줄은 F1 score=(80.49%, 80.48%, 77.86%), IoU=(67.35%, 67.33%, 63.75%)로 그물과 밧줄에서 모두 Adam의 결과가 가장 높게 나타났다. 연구 결과를 통해 optimizer 별 분할 성능 평가와 최신 딥러닝 기법의 해양침적쓰레기 분할에 대한 가능성을 확인하였다. 이에 따라 수중촬영 이미지를 통한 해양침적쓰레기 식별에 최신 딥러닝 기법을 적용시킴으로써 육안을 통한 식별보다 정확하고 효율적인 식별이 가능하며 해양 침적쓰레기의 분포량 산정에 도움이 될 것으로 판단한다. 다만 깨끗하지 못한 수중촬영 이미지와 수중의 생물이나 물체로 인한 미분할과 오분할 문제를 해결하기 위한 방안이 필요하며, 향후 수중촬영 이미지에 대한 보정과 수중의 다양한 생물이나 물체에 대한 추가 클래스의 분할 연구가 필요할 것으로 사료된다.