A Comparative Study on the Object Detection of Deposited Marine Debris (DMD) Using YOLOv5 and YOLOv7 Models

YOLOv5와 YOLOv7 모델을 이용한 해양침적쓰레기 객체탐지 비교평가

Abstract

Deposited Marine Debris(DMD) can negatively affect marine ecosystems, fishery resources, and maritime safety and is mainly detected by sonar sensors, lifting frames, and divers. Considering the limitation of cost and time, recent efforts are being made by integrating underwater images and artificial intelligence (AI). We conducted a comparative study of You Only Look Once Version 5 (YOLOv5) and You Only Look Once Version 7 (YOLOv7) models to detect DMD from underwater images for more accurate and efficient management of DMD. For the detection of the DMD objects such as glass, metal, fish traps, tires, wood, and plastic, the two models showed a performance of over 0.85 in terms of Mean Average Precision (mAP@0.5). A more objective evaluation and an improvement of the models are expected with the construction of an extensive image database.

해양생태계 및 수산자원, 해상안전에 부정적인 영향을 미치는 해양침적쓰레기는 주로 음파탐지기, 인양틀 및 잠수부를 통해 탐지되고 있다. 시간과 비용을 고려하여 최근에는 수중영상과 인공지능을 결합한 방법이 시도되고 시작했다. 본 연구에서는 효율적이고 정확한 해양침적쓰레기 탐지를 위하여, 수중영상과 딥러닝 객체탐지 모델인 You Only Look Once Version 5 (YOLOv5)와 You Only Look Once Version 7 (YOLOv7)을 학습 및 비교평가를 수행하였다. 유리, 금속, 어망, 타이어, 나무, 플라스틱 등의 객체탐지에 있어, 두 모델 모두 0.85 이상의 Mean Average Precision (mAP@0.5)를 기록하였다. 향후 영상자료 용량이 충분해지면, 보다 객관적인 성능평가 및 모델 개선이 가능할 것으로 사료된다.

1. 서론

해양쓰레기는 인간의 활동으로 인해 유실되거나 폐기되어 해양에서 발견되는 물질로, 분포위치에 따라 해안쓰레기, 부유쓰레기, 침적쓰레기 등으로 구분된다(Kim and Jeong, 2016). 그중 해저에 가라앉아 있는 물질을 일컫는 해양침적쓰레기는 선박사고, 수산자원 파괴, 조업 방해 등의 부정적인 영향을 끼친다. 2021년 1,971건의 어선사고 가운데 268건의 사고가 선박 추진기가 어망에 감겨 발생한 바 있다(Korea Maritime Safety Tribunal, 2022). 또한 해양생물이 유실된 어구 등에 갇히면 이것이 미끼가 되어 다른 해양생물이 연쇄적으로 갇혀서 죽는 등의 유령 어업을 유발하는데, 이로 인한 피해액은 약 3,700억으로 추산된다(Suhyup, 2022). 해양침적쓰레기를 수거하기 위해서는 어디에 얼마만큼의 쓰레기가 분포하는지 탐지하고 쓰레기의 종류를 분류하는 작업이 필요하다. 현재 해양침적쓰레기의 탐지는 주로 양방향 음파탐지기와 인양틀을 이용하거나 잠수조사를 통해 이루어지고 있는데, 시간과 비용의 문제 때문에 최근에는 수중 드론과 인공지능(Artificial Intelligence, AI)을 이용하는 방법이 시도되고 있다.

딥러닝 모델인 Region Based Convolutional Neural Networks (R-CNN) (Girshick et al., 2014)를 시작으로 객체탐지 알고리즘이 발전하기 시작하여 자율주행, 영상의학, 원격탐사 등 다양한 분야에 적용되고 있다. 해양침적쓰레기도 딥러닝 기반 객체 탐지를 사용한 연구가 이루어지고 있다. 대부분의 연구에서는 R-CNN에서 발전된 형태인 Fast R-CNN, Mask R-CNN 모델 또는객체 탐지의 대표 모델인 You Only Look Once (YOLO)시리즈를 사용하였다. Hong et al. (2020)은 동해 상에서 Autonomous Underwater Vehicle (AUV)을 사용하여 수집한 음료 캔 영상에 Fast R-CNN과 Mask R-CNN 모델을 적용하여 0.55 정도의 Mean Average Precision (mAP@0.5)을 기록하였다. Chin et al. (2022)은 동일한 데이터셋에 Tiny-YOLO, YOLOv2, YOLOv5s, Fast R-CNN, Single Shot Multibox Detector (SSD) 모델을 사용하였고, mAP@0.5는 각각 0.316, 0.479, 0.681, 0.810, 0.674를 기록하였다. Xue et al. (2021)은 AUV로 수집한 데이터와 ResNet50을 백본(backbone)으로 하는 You Only Look Once Version 3(YOLOv3) 모델을 사용하여 0.834의 mAP@0.5를 기록하였다. Politikos et al. (2021)은 Towed Underwater Camera(TUD)를 사용하여 그리스 Syros Island의 해양침적쓰레기 영상을 수집하였고, Mask R-CNN을 적용하여 0.62의mAP@0.5를 기록하였다. Musić et al. (2020)은 인터넷에서 수집한 해양침적쓰레기 영상과 바다 배경에 쓰레기 그림을 합성한 영상을 사용하여 YOLOv3 모델로 탐지를 수행하였고, 정확도(accuracy) 0.61, 정밀도(precision) 0.80, 재현율(recall) 0.71을 기록하였다. Wang et al. (2021)은 AI 허브(https://aihub.or.kr/)에서 제공하는 해양침적쓰레기 영상과 YOLOv5 모델을 사용하여 테스트 데이터셋에 포함된 13개의 객체 중 9개의 객체를 탐지한 바있다. 또한 Yoon et al. (2022)은 같은 데이터셋에 YOLOv3와 End-to-End Object Detection with Transformers (DETR)을 적용하였고, 각각 0.799와 0.851의 mAP@0.5를 도출하였다.

해양쓰레기 객체탐지에 있어 가장 널리 사용되는 모델은 YOLO 시리즈이며, 특히 YOLOv3와 YOLOv5가 주류를 이루었다. 최신(state-of-the-art, SOTA) 모델로서 2022년 7월에 출시된 YOLOv7은 Microsoft Common Objects in Context (COCO) 객체탐지 경진대회에서 YOLOv5보다 더 높은 mAP@0.5를 기록한 바 있다(Meta AI, 2022). 또한 탐지 속도도 YOLOv5가 83 Framesper Second (FPS), YOLOv7가 161 FPS로 향상되었다(Wang et al., 2022). 본 연구에서는 수중영상으로부터 해양침적쓰레기의 객체탐지를 위하여, 선행 연구가 존재하는 YOLOv5와 함께, SOTA 모델인 YOLOv7을 사용한 비교평가를 수행하였다.

2. 자료 및 방법

1) 사용자료

본 연구에서 해양침적쓰레기 탐지를 위해 학습 및 평가에 사용한 자료는 AI 허브 고도화 사업을 통해 구축 중에 있는 수중영상이다. 부산, 경남 연안에서 수중드론과 고정형 수중 카메라를 사용하여 수집된 영상은 프레임 이미지 추출, 이미지 화질 개선(명암/색상 왜곡보정), 불량 이미지 선별 등의 정제 과정을 거쳤고, 바운딩박스(bounding box) 레이블은 오픈소스 어노테이션(annotation) 도구인 LabelMe를 사용하여 생성하였다. 구축된 영상은 3,480 × 2,160 픽셀의 Red-Green-Blue (RGB)이미지 1,318장이며, 영상 내 객체는 8개의 클래스로 구분되었다. 유리(glass) 104개, 금속(metal) 890개, 나무(wood) 186개, 플라스틱(plastic) 249개, 어망(fish trap) 206개, 타이어(rubber tire) 94개, 고무(rubber) 40개, 기타(etc.) 463개 등이 영상 내에 존재한다(Fig. 1, 2).

Fig. 1. Number of objects in the underwater images.

Fig. 2. Sample images of the bounding boxes for (a) glass, (b) metal, (c) wood, (d) plastic, (e) fish trap, (f) tire, (g) rubber, and (h) etc.

2) 사용모델

객체탐지 분야에 Convolutional Neural Network (CNN)이 적용되기 시작하면서 가장 먼저 등장한 R-CNN은 영상 내 객체로 추정되는 모든 것에 바운딩박스를 먼저 생성한(region proposal) 후에 이를 CNN에 전달하여 분류를 수행하는 구조로 연산시간이 오래 걸렸다(Girshick et al., 2014). 이후 YOLO는 물체의 위치를 찾는 문제(localization)와 분류 문제(classification)를 동시에 해결하는 1-stage detector 방식을 실현하였다. 이를 통해 탐지 속도를 45 FPS로 향상시켰으며, Fast YOLO는 155 FPS를 기록하기도 했다. Fast R-CNN의 속도가 5 FPS인것에 비교하면, 9배 이상의 속도 향상이 있었다(Redmon et al., 2016). YOLO 모델은 다른 객체 탐지 알고리즘과 마찬가지로 backbone, neck, head로 구성되어 있다. Backbone은 입력 영상으로부터 컨볼루션(convolution)과 풀링(pooling)을 통해 특징맵(feature map)을 추출하고, neck은 backbone에서 생성된 여러 크기의 특징맵을 융합하는 역할을 한다. 그리고 head에서는 생성된 특징맵을 바탕으로 객체의 위치를 탐색하여 최종 결과물을 출력한다.

YOLOv5는 2020년 6월 발표된 PyTorch 기반 모델로서, 모델의 복잡도에 따라 YOLOv5n, YOLOv5s,Y OLOv5m, YOLOv5l, YOLOv5x 등을 포함한다(Jocher, 2020). 약 123,000장의 COCO 데이터셋을 기준으로 평가하였을 때, 가장 가벼운 모델인 YOLOv5n부터 가장 무거운 모델인 YOLOv5x로 갈수록 탐지 성능은 향상되었지만 탐지 속도는 떨어졌다. 이처럼 모델 구조의 복잡도과 탐지 속도는 일종의 트레이드오프(tradeoff) 관계에 있다고 할 수 있다. 복잡도가 높은 모델의 경우, 데이터의 수가 충분치 않으면 과적합(overfitting)이 발생할 우려가 있으므로(Du et al., 2018), 구조가 상대적으로 단순하면서 성능이 상대적으로 우수한 모델을 사용하는 것이 바람직하다. 그런 점에서 YOLOv5 중에서는 YOLOv5s가 가장 적합한 모델로 판단되었다.

YOLOv7은 2022년 7월에 출시된 객체 탐지 분야의 SOTA 모델이다. YOLOv7도 모델의 복잡도에 따라 YOLOv7-tiny, YOLOv7, YOLOv7x, YOLOv7w6, YOLOv7e6, YOLOv7d6, YOLOv7e6e 등이 있다. 본 연구에서는 두 번째로 구조가 단순한 YOLOv7을 사용했으며,COCO 데이터셋 기준으로 YOLOv7-tiny보다 mAP가 13%p 높고 YOLOv7x보다 mAP가 1.5%p 낮은 정도로서, 정확도 차이가 크지 않지만 탐지 속도는 47 FPS 더 빠르다. 또한 YOLOv5에 비해 탐지 속도 및 정확도가 다소 개선되었다(Fig. 3) (Wang et al., 2022).

Fig. 3. Comparison of YOLOv7 and other models in terms of MS COCO object detection (https://viso.ai/computer-vision/coco-dataset/).

3. 과정 및 결과

1) 훈련 및 검증

1,318장의 해양침적쓰레기 영상은 셔플링(shuffling)후에 8:1:1의 비율로 분할하여 훈련(1,055장), 검증(131장), 시험(132장)에 사용하였다. 이는 훈련, 검증, 시험 시에 같은 영상이 중복 사용되지 않도록 하여 객관적인 암맹평가(blind test)를 수행하기 위해서이다(Gorman and Bedrick, 2019). 본 연구에서는 사전훈련(pre-trained)된 모델을 반입하여 사용하는 전이학습(transfer learning)을 통해 탐지성능을 높이고 학습시간을 줄이고자 하였다(Pan and Yang, 2010). 사전훈련된 모델은 다양한 영상의 특징을 학습하여 생성한 가중치체계(weighting scheme)를 가지고 있다. 전이학습을 하지 않을 경우 딥러닝 가중치는 랜덤한 초기치로부터 학습을 시작하지만, 이러한 전이학습을 통해 사전훈련된 가중치를 사용함으로써 보다 더 학습효과가 향상되는 것이다. YOLOv5s와 YOLOv7 모두 COCO 데이터셋으로 사전훈련된 가중치를 초기치로 사용하였다.

학습 영상의 일반화 성능을 향상하기 위하여, 원본 영상을 변형해서 모델의 입력자료로 사용하기도 한다. 본 연구에서는 색상-채도-명도(Hue-Saturation-Value, HSV)변경, 영상 확대 및 축소, 좌우 반전, 그리고 모자이크(mosaic)가 사용되었다. 모자이크는 하나의 영상에 다른 영상 세 장을 덧붙여 네 장을 하나로 만드는 방법이다(Fig. 4). 네 장의 영상을 병합하는 과정에서 영상의 크기가 줄어들면서 영상 내 객체의 크기도 함께 작아져 자연스럽게 작은 객체가 늘어나기 때문에, 작은 객체를 더 잘 탐지하는 효과가 발생한다. 또한 네 장의 영상이 하나의 영상에 포함되면서 배치사이즈(batch size)가 4배가 되는 것과 비슷한 효과를 통해 학습 효율이 증가하기도 한다(Bochkovskiy et al., 2020).

Fig. 4. Transformation of training images using HSV revision, zooming, reversing, and mosaic.

딥러닝 모델의 하이퍼파라미터(hyperparameter)는 네트워크 구조와 구동 환경을 정의하는 조건으로서, 하이퍼파라미터 최적화는 모델의 성능과 학습 시간을 좌우하는 가장 중요한 요소이다(Géron, 2017). 본 연구에서는 YOLOv5s와 YOLOv7의 기본 하이퍼파라미터를 사용하였으며, 이는 Table 1, 2와 같다. 전량의 훈련 자료를 투입하여 가중치를 조정하는 것이 1회의 에퍽(epoch)에 해당하며, 매 에퍽마다 검증 스코어를 산출한다. 모든 에퍽을 마치고 나면, 가장 성능이 좋았던 하나의 모델을 선정한다. 이러한 검증 결과를 반영하여 일반화 성능을 향상시킬 수 있도록 하이퍼파라미터를 조정하는 등의 후속 작업을 수행할 수 있다.

Table 1. Hyperparameters of YOLOv5s

Table 2. Hyperparameters of YOLOv7

2) 시험평가

훈련과 검증 과정이 끝난 후 생성된 모델 중 검증 과정에서 가장 높은 mAP@0.5 값을 나타냈던 모델을 선택하여 시험평가를 수행하였으며, 성능 측도로는 정밀도, 재현율, mAP@0.5를 사용하였다. 객체 탐지에서는 예측 바운딩박스와 레이블 바운딩박스의 교집합 대 합집합 비율(Intersection over Union, IOU)이 일정 임계치 이상이면(예를 들어, 0.5) 정답으로 간주하며, 이를 기준으로 혼동행렬(confusion matrix)을 생성할 수 있다. 혼동행렬로부터 정밀도와 재현율을 계산할 수 있는데, 정밀도는 맞다고 예측한 것 중에 정답이 어느 정도인지의 비율이고, 재현율은 정답 중에 맞게 예측된 것의 비율이다. 정밀도와 재현율은 트레이드오프 관계에 있기 때문에, 모델의 정확한 성능평가를 위해서 precision-recall(PR) 곡선의 아래쪽 넓이에 해당하는 Average Precision(AP)을 사용한다. 모든 클래스의 AP를 평균한 것이 mAP이고, mAP@0.5는 IoU=0.5 이상을 정답으로 간주할 때의 mAP이다.

\(\begin{aligned}Precision\;=\frac{TP}{TP+FP}\end{aligned}\)       (1)

\(\begin{aligned}Recall\;=\frac{TP}{TP+FP}\end{aligned}\)       (2)

3) 결과 및 토의

Table 3과 4는 YOLOv5s와 YOLOv7 최적 모델에 대한 시험 결과를 혼동행렬로 나타낸 것이고, Table 5와 6은 시험평가 성능을 정밀도, 재현율, mAP@0.5로 표현한 것이다. 전반적인 성능을 나타내는 지표인 mAP@0.5는 Fig. 5의 PR 곡선 아래 면적을 통해 계산되었으며, 거의 모든 클래스에서 YOLOv5s보다 YOLOv7이 더 높게 나타났지만, 기타(Etc.) 클래스에서는 YOLOv5s가 다소 높은 성능을 보였다. 유리(Glass), 금속(Metal), 어망(Fishtrap), 타이어(Tire) 등은 모양과 색깔 등 객체의 특징이 뚜렷하여 두 모델 모두에서 탐지 결과가 좋았다. 나무(Wood) 클래스는 객체와 배경이 비슷하게 생겼고, 플라스틱(Plastic) 클래스는 객체의 색이 투명해서 배경과 잘 구분이 되지 않아, 탐지 정확도가 상대적으로 다소 낮게 나타났다. 그러나, YOLOv7이 나무 클래스에서 0.824, 플라스틱 클래스에서 0.831의 mAP@0.5를 기록하여 YOLOv5s에 비해(나무 0.745, 플라스틱 0.700) 향상된 탐지성능을 보였다. 기타고무(Rubber) 클래스는 객체 수가 너무 적어 유의미한 평가가 이루어지지 못했고, 기타 클래스는 객체 수는 많지만 크기와 형태가 불규칙하기 때문에 탐지 성능을 일반화해서 말하기 힘들다. Fig. 6은 평가 영상과 함께 정답 레이블, YOLOv5s 탐지 결과, YOLOv7 탐지 결과를 바운딩박스로 표현한 예시이다. YOLOv7의 경우 모든 객체가 잘 탐지되었으나, YOLOv5s는 어망과 금속이 하나씩 탐지되지 않았고, 하나의 알루미늄에 두 개의 바운딩박스가 그려져 중복으로 탐지되는 경우도 있었다. YOLO에서는 모든 클래스에 대해 1,500장 이상의 영상으로 학습할 것을 권장하기 때문에, 이 실험에서는 학습자료의 수량의 부족으로 엄밀한 평가가 이루어지지는 못했으나, 향후 데이터베이스 구축이 완료되면, 보다 객관적인 성능평가가 가능해지고 영상에 대한 신뢰도를 개선할 수 있을 것으로 사료된다.

Table 3. Confusion matrix of YOLOv5s

Table 4. Confusion matrix of YOLOv7

Table 5. Test performance of YOLOv5s

Table 6. Test performance of YOLOv7

Fig. 5. PR curve for (a) YOLOv5s and (b) YOLOv7.

Fig. 6. Images with bounding boxes: (a) ground truth, (b) YOLOv5s detection, and (c) YOLOv7 detection.

4. 결론

본 연구에서는 효율적인 해양침적쓰레기 탐지 방법을 제시하기 위해 YOLOv5s와 YOLOv7 모델을 사용하여 해양침적쓰레기 수중영상을 학습하고 시험평가를 수행하였다. 선행 연구에서 사용된 YOLOv5s와 2022년 7월 출시된 SOTA 모델인 YOLOv7의 비교를 통해, YOLO 모델의 성능 및 해양침적쓰레기 탐지에 대한 활용 가능성을 확인하였다. 1,055장의 영상으로 학습한 후 132장의 영상으로 암맹평가를 실시한 결과 YOLOv5s와 YOLOv7의 mAP@0.5는 각각 0.850와 0.862를 기록하여 두 모델 모두 양호한 탐지결과를 보여주었다. 그러나 수중영상이라는 한계 때문에 자료 수량이 충분하지 못했기 때문에, 향후 수중영상 데이터를 추가 확보하거나 객체 수가 적은 클래스에 대한 영상자료증대(image data augmentation) 기법을 적용하고, 모델의 하이퍼파라미터 최적화를 수행함으로써, 보다 더 향상된 탐지 성능을 기대할 수 있을 것으로 사료된다.