딥러닝 기반 육상기인 부유쓰레기 탐지 모델 성능 비교 및 현장 적용성 평가

A Performance Comparison of Land-Based Floating Debris Detection Based on Deep Learning and Its Field Applications

Abstract

집중강우 시 육상으로부터 다량으로 유입된 부유쓰레기는 사회, 경제적 및 환경적으로 부정적인 영향을 주고 있으나 부유쓰레기 집적 구간 및 발생량에 대한 모니터링 체계는 미흡한 실정이다. 최근 인공지능 기술의 발달로 드론 영상과 딥러닝 기반 객체탐지 모델을 활용하여 수계 내 광범위한 지역을 신속하고 효율적인 연구의 필요성이 요구되고 있다. 본 연구에서는 육상기인 부유쓰레기의 효율적인 탐지 기법을 제시하기 위해 드론 영상뿐만 아니라 다양한 이미지를 확보하여 You Only Look Once (YOLO)v5s와 최근에 개발된 YOLO7 및 YOLOv8s로 학습하여 모델별로 성능을 비교하였다. 각 모델의 정성적인 성능 평가 결과, 세 모델 모두 일반적인 상황에서 탐지성능이 우수한 것으로 나타났으나, 이미지의 노출이 심하거나 수면의 태양광 반사가 심한 경우 YOLOv8s 모델에서 대상물을 누락 또는 중복 탐지하는 사례가 나타났다. 정량적인 성능 평가 결과, YOLOv7의 mean Average Precision (intersection over union, IoU 0.5)이 0.940으로 YOLOv5s (0.922)와 YOLOvs8(0.922)보다 좋은 성능을 나타냈다. 데이터 품질에 따른 모델의 성능 비교하기 위해 색상 및 고주파 성분에 왜곡을 발생시킨 결과, YOLOv8s 모델의 성능 저하가 가장 뚜렷하게 나타났으며, YOLOv7 모델이 가장 낮은 성능 저하 폭을 보였다. 이를 통해 수면 위에 존재하는 부유쓰레기 탐지에 있어서 YOLOv7 모델이 YOLOv5s와 YOLOv8s 모델에 비해 강인한 모델임을 확인하였다. 본 연구에서 제안하는 딥러닝 기반 부유쓰레기 탐지 기법은 부유쓰레기의 성상별 분포 현황을 공간적으로 파악할 수 있어 향후 정화작업 계획수립에 기여할 수 있을 것으로 판단된다.

A large amount of floating debris from land-based sources during heavy rainfall has negative social, economic, and environmental impacts, but there is a lack of monitoring systems for floating debris accumulation areas and amounts. With the recent development of artificial intelligence technology, there is a need to quickly and efficiently study large areas of water systems using drone imagery and deep learning-based object detection models. In this study, we acquired various images as well as drone images and trained with You Only Look Once (YOLO)v5s and the recently developed YOLO7 and YOLOv8s to compare the performance of each model to propose an efficient detection technique for land-based floating debris. The qualitative performance evaluation of each model showed that all three models are good at detecting floating debris under normal circumstances, but the YOLOv8s model missed or duplicated objects when the image was overexposed or the water surface was highly reflective of sunlight. The quantitative performance evaluation showed that YOLOv7 had the best performance with a mean Average Precision (intersection over union, IoU 0.5) of 0.940, which was better than YOLOv5s (0.922) and YOLOv8s (0.922). As a result of generating distortion in the color and high-frequency components to compare the performance of models according to data quality, the performance degradation of the YOLOv8s model was the most obvious, and the YOLOv7 model showed the lowest performance degradation. This study confirms that the YOLOv7 model is more robust than the YOLOv5s and YOLOv8s models in detecting land-based floating debris. The deep learning-based floating debris detection technique proposed in this study can identify the spatial distribution of floating debris by category, which can contribute to the planning of future cleanup work.

1. 서론

최근 이상기후로 인한 국지성 집중강우 증가로 육상으로부터 다량의 부유쓰레기가 유입되고 있는데, 이로 인해 수계환경 내에서 사회, 경제적 및 환경적 피해가 증가하고 있는 추세다(Korea Maritime Institute, 2020; Jang et al., 2015). 육상기인 부유쓰레기는 평수기에 하천 주변에 수주 또는 수개월 동안 집적되어 있거나, 수거한 부유쓰레기의 경우 운반비용 등의 문제로 수시 운반이 어려워 대부분 이동식 집하시설에서 장기간 방치된다(Jang et al., 2014). 이러한 부유쓰레기가 장시간 정체될 경우, 1차적으로 수생태계 파괴와 수질오염 및 경관 훼손 등 수계 내 환경에 악영향을 미칠 수 있으며(Kim et al., 2017), 장마나 태풍 내습 시 육상을 통해 해양으로 유출되어 어업피해, 해상 선박사고나 해양 생태계 파괴 등 2차적인 피해를 발생시킬 수 있다. 따라서 육상으로부터 유입되는 부유쓰레기 유입량을 최소화하기 위해 광범위한 수계를 신속하게 모니터링하여 부유쓰레기의 정확한 현황 파악의 필요성이 대두되고 있다.

국내에서 육상기인 부유쓰레기의 발생량과 시공간별 현존량을 파악하기 위한 다양한 시도가 수행되고 있다. 유효강우량, 유역 기초정보를 활용하여 강우 시 하천으로 유입되는 부유쓰레기의 발생량을 산정하거나(Korea Environment Institute, 2013), 부유쓰레기 수거사업 및 유입 차단막을 통해 부유쓰레기 유입을 추정하고 있다. 그러나 기존의 모니터링 체계는 대부분 목시조사로 수행되고 있어 길이가 수백 km에 달하는 하천으로부터 부유 쓰레기의 현존량을 파악하기 어렵다는 한계가 있다. 뿐만 아니라 부유쓰레기를 수거하기 위한 비용을 마련하거나 사전에 유입을 차단하는 방안에 집중되어 있으며, 발생량 파악은 대부분 인문사회적 요소에 기반한 통계적 기법에 의존하고 있어 과학적이고 체계적인 발생량 및 현존량 산출은 미흡한 실정이다. 따라서 시간과 비용을 절감하고 인력 접근이 힘든 지역이나 넓은 구간에 신속하고 효율적으로 모니터링하고 이를 통한 육상기인 부유쓰레기의 정확한 현황 파악에 대한 연구가 요구되고 있다.

최근 육상기인 부유쓰레기 발생 및 분포 현황을 신속하고 효율적으로 파악하기 위해 인공위성 영상자료나 드론(drone) 영상 등 원격탐사 기법과 인공지능(artificial intelligence) 기반 모델을 활용한 부유쓰레기 객체 탐지 연구가 증가하고 있다.

Gómez et al. (2022)은 Drina River, Los Angeles River 및 Yangtze River를 대상으로 Sentinel-2 위성영상과 딥러닝 모델(U-net, DeeplabV3+)을 활용하여 육상으로부터 강으로 유입된 부유쓰레기 탐지 방법을 제시하였으며, Maharjan et al. (2022)은 드론과 YOLOv5 모델을 활용하여 강으로 유입된 부유 플라스틱 탐지가 가능함을 확인하였다. 이 외에도 드론 영상과 다양한 이미지를 취득 및 딥러닝 모델을 이용한 육상기인 해양쓰레기 성상별 탐지 연구가 수행되고 있다(Lin et al., 2021; Qiao et al., 2022).

국내에서는 모니터링을 통해 육상기인 부유쓰레기의 성상분류나 거동 특성 파악(Lee et al., 2007; Jang et al., 2014), 드론과 다중분광센서를 이용하여 초목류와 스티로폼 육상기인 부유쓰레기를 탐지하여 그 발생 면적을 파악한 사례가 있었지만(Kim et al., 2017), 부유쓰레기의 성상별 발생 및 분포 현황에 대한 연구는 수행되지 않았다. 따라서 본 연구에서는 하천기인 부유쓰레기의 성상별 분포 파악을 위하여 효율적 운행이 가능한 드론 영상 자료를 획득하였으며, 획득한 영상으로 딥러닝 기반 객체 탐지 알고리즘을 적용하여 부유쓰레기 모니터링 기법을 개발하고자 하였다. 관측된 데이터에 대해 해양쓰레기 객체 탐지에 대표적으로 활용되는 YOLOv5와 최근 개발된 YOLOv7과 YOLOv8을 개발하고, 성능을 비교 분석하였다. 성능이 우수한 모델을 활용하여 부유쓰레기 성상별 발생 및 분포 파악을 위한 드론 영상과 딥러닝 모델의 활용 방안을 제시하고자 하였다.

2. 연구자료 및 방법

2.1. 탐지 대상물 선정

육상기인 부유쓰레기에 대한 분류 기준이 마련되지 않아 본 연구에서는 우리나라 해양쓰레기 모니터링 기준을 참고하여 탐지 대상물을 선정하였다. 국가 해안쓰레기 모니터링 결과 발생량 상위 3개 재질인 플라스틱, 유리, 금속(누적 비율 약 93%)을 대상으로 선정하였으며(Korea Marine Environment Management Corporation, 2021), 플라스틱류는 그 범위가 넓어 스티로폼 박스, 스티로폼 파편, PET병, 기타 플라스틱, 로프류로 선별하여 총 7종을 탐지 대상물로 구분하였다(Table 1). 주요 모니터링 대상이 강과 하천이므로 어업기인 쓰레기인 부표(스티로폼 부표, 플라스틱 부표)와 어망은 대상물에서 제외하였다.

Table 1. List of land-based floating debris for each category

2.2. 데이터셋 구축

딥러닝 기반 객체 탐지 모델 개발을 위해 학습데이터를 구축하는 단계는 원시데이터 수집, 데이터 정제, 데이터 가공, 데이터 품질 검수로 구성된다. 원시데이터 수집 단계에서는 데이터셋의 대상물이 포함된 원시데이터를 수집 및 촬영한다. 본 연구에서는 2021년 6월부터 12월까지 낙동강 수계 내 육상기인 부유쓰레기 집적우심 구역을 대상으로 DJI사의 회전익 드론인 Mavic 2 Pro와 Phantom 4 Pro를 활용하여 드론 영상 촬영 범위내 식별 가능한 5–10 m 고도에서 촬영을 수행하였다. 육상기인 부유쓰레기는 대부분 집중강우 기간에 대량으로 유입되어 이미지 수집 시기가 제한되어 있으므로, 각 탐지 대상물에 대한 다양한 사례(색상, 형태, 크기 등)와 드론 영상 촬영 조건(각도, 고도, 방향 등)을 반영할 수 있도록 데이터셋을 구축하였다. 데이터 정제 단계는 원천데이터로 부적합한 이미지를 제거하거나 전처리를 수행하는 단계로, 원시데이터에서 대상물이 포함되어 있지 않거나 불량 이미지가 존재할 경우 이를 선별하여 제거하였다. 데이터 가공 단계는 데이터 정제 과정을 거쳐 생산된 원천데이터(source data) 내에서 대상물의 위치를 태깅(tagging)하고 클래스명을 기입하는 과정으로, 본 연구에서는 오픈소스 데이터 가공 도구 중 하나인 Labelme를 활용하여 대상물을 바운딩 박스(bounding box)로 태깅하였다. 마지막으로 데이터 품질 검수 단계에서는 구축된 데이터셋의 구문정확성과 의미정확성을 확인하고 불량 데이터 식별 시 교정하여 데이터셋 수준에서 모델의 성능 저하를 방지하는 작업을 수행하였다 구문정확성은 라벨링 데이터 내 속성(attribute)의 구조 적합성과 자료형의 무결성과 각 속성의 누락 및 오탈자를 검사하는 작업으로, 구축된 전체 데이터셋을 대상으로 전수검사를 하였다. 의미정확성은 태깅된 바운딩 박스의 정밀도 및 클래스명의 타당성을 평가하는 것으로, 이는 육안 판독을 통해 검사를 수행하여 전체 데이터의 10%를 임의 추출하여 표본검사 하였다. 검사를 위해 추출된 표본 데이터셋에서 의미정확성이 95% 이상을 달성하지 못할 경우 교정 후 재표본 추출하여 검사하는 방식으로 데이터셋의 품질을 개선하였다. 본 연구에서는 총 44,847장의 이미지 데이터를 수집 및 가공 하였으며, 구축된 데이터셋은 8:1:1로 분할하여 모델 학습(35,877장)과 검증(4,484장), 성능평가(4,485장)에 활용하였다.

2.3. 딥러닝 기반 부유쓰레기 모니터링 시스템

본 연구에서 제안하는 딥러닝 기반 부유쓰레기 모니터링 시스템은 이미지 촬영, 이미지 전처리, 탐지 및 대상물별 집계의 3가지 프로세스로 구성된다(Fig. 1). 이미지 촬영 단계에서는 수역에 대한 이미지를 수집하기 위해 20 MP급 RGB 카메라를 활용하였으며, 이미지간 중복률을 허용하지 않는 블록촬영을 수행하였다. 이미지 전처리는 사전 학습된 딥러닝 모델에 입력하기 전 원시 데이터를 가공하는 과정으로, 모델 학습용 데이터셋과 유사한 해상도를 확보하기 위해 원시 데이터를 zero-padding 후 1,200 × 800 px의 이미지로 분할하였다. 이 때, 생성된 이미지가 모델에 입력되는 입력 이미지로 활용된다.

Fig. 1. Processes for automatic detection of land-based floating debris based on deep learning.

탐지 및 집계 단계에서는 이미지 전처리 단계에서 생성된 입력 이미지를 사전 학습된 딥러닝 기반 객체 탐지 모델에 입력하여 클래스별 수량을 집계하며, 원시 이미지의 exchangeable image file format (EXIF) 내에 저장된 위치정보와 결합하여 벡터 형식의 공간자료를 생산한다.

2.4. 딥러닝 기반 객체 탐지 모델

육상기인 부유쓰레기 탐지를 위한 딥러닝 기반 객체 탐지 모델은 탐지 속도를 고려하여 1-Stage 모델 중 하나인 YOLO 모델을 활용하였으며, 그 중 최근 3년 이내에 공개된 YOLOv5, YOLOv7, YOLOv8 모델을 적용하였다. YOLOv5는 인공지능 기반 컴퓨터비전 전문 기업인 Ultralytics에서 2020년 6월에 공개한 모델로 모델의 복잡도와 크기에 따라 YOLOv5-Nano, YOLOv5-Small, YOLOv5-Medium, YOLOv5-Large, YOLOv5-XLarge로 구분된다. YOLOv7은 YOLOv4를 개발한 연구팀에서 2022년 7월에 공개한 모델로 네트워크 구조의 효율성을 높이기 위해 extended efficient layer aggregation network (E-ELAN) 구조와 새로운 모델 스케일링 방법(scaling method) 등을 적용하여 모델의 효율성을 극대화시켜 적은 파라미터로도 높은 성능을 구현할 수 있다는 장점이 있다(Wang et al., 2022). YOLOv7의 경우 모델 복잡도에 따라 YOLOv7-Tiny, YOLOv7, YOLOv7x, YOLOv7w6, YOLOv7e6, YOLOv7d6, YOLOv7e6e로 구분된다. YOLOv8은 YOLOv5를 공개한 Ultralytics에서 2023년 1월에 공개한 모델로 모델의 구조를 개선하였으며, anchor free detection 방식으로 구현되었다. YOLOv8의 경우 모델 복잡도에 따라 YOLOv8-Nano, YOLOv8-Small, YOLOv8-Medium, YOLOv8-Large, YOLOv8-XLarge가 있다.

본 연구에서는 부유쓰레기 탐지에 가장 적합한 모델을 선정하기 위해 모델의 복잡도가 두 번째로 단순한 YOLOv5s, YOLOv7, YOLOv8s를 활용하여 각각의 성능을 비교하였으며, 모든 모델은 Microsoft Common Objects in Context (MS-COCO) 데이터셋으로 사전 학습된 모델의 가중치를 활용하여 전이학습을 수행하였다.

2.5. 모델 성능평가 지표

딥러닝 기반 객체 탐지 모델의 탐지 성능은 mean Average Precision (mAP), Precision, Recall로 평가하였다. Precision은 모델이 참(True)으로 분류한 것 중에 실제로 참인 사례의 비율로 객체 탐지 모델이 예측한 바운딩 박스 중 예측에 성공한 바운딩 박스의 비율을 의미한다. Recall은 실제로 참인 사례인 것 중에 모델이 참으로 분류한 사례의 비율로 해양쓰레기가 존재하는 픽셀 중 모델이 해양쓰레기로 탐지한 픽셀의 비율을 의미한다. 혼동행렬(confusion matrix)을 활용한 수식은 다음과 같다.

\(\begin{aligned}\text {Precision}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Positive }}\end{aligned}\)       (1)

\(\begin{aligned}\text {Recall}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Negative }}\end{aligned}\)       (2)

라벨링된 바운딩 박스와 예측된 바운딩 박스의 intersection over union (IoU)가 0.5 이상인 경우 모델 예측이 성공한 것으로 집계되며, 이때 AP는 각 이미지에서 산출된 Precision의 평균값으로 산출한다. mAP는 객체 탐지 모델이 예측한 바운딩 박스의 정확도를 평가하기 위해 많이 활용되는 지표로 기준 IoU는 0.5 또는 0.5 : 0.95를 많이 활용한다. 본 연구에서는 바운딩 박스의 위치 정밀도보다 탐지 성공 여부에 초점을 두어 IoU 기준 0.5를 활용하여 모델 성능평가를 수행하였다.

2.6. 현장적용성 평가

하천 부유쓰레기 발생은 강수량 및 유량의 영향을 받으며, 기상 조건에 따라 발생량이 크게 변동된다. 2021년에는 평년보다 강수량 및 강수일수가 적어 하천 내 부유쓰레기 발생량이 미비하여 딥러닝 기반 객체 탐지모델 적용에 한계가 있었다. 따라서 본 연구에서 제안하는 딥러닝 기반 부유쓰레기 탐지 기법을 시험적용을 위해 추가적으로 2022년 9월 태풍 힌남노 내습 이후 남강댐 상류에 위치한 진양호에서 발생한 부유쓰레기를 대상으로 드론 항공 촬영을 수행하였다. RGB센서를 이용하여 구축된 데이터셋과 동일한 촬영 고도인 5–10 m에서 촬영하였으며, 촬영 속도를 3–4 m/s를 유지하며 매 3초마다 이미지를 촬영하여 중복률을 최소화하였다. 총 681장의 이미지를 확보하였고 예찰 결과 다량의 초목류와 스티로폼 조각, 플라스틱 등의 부유쓰레기가 집적되어 있는 것을 확인할 수 있었다(Fig. 2).

Fig. 2. Monitoring station to field application and land-based floating debris image in Jinyang lake (photographed on September 8, 2022).

3. 연구결과 및 토의

3.1. 성능 평가 비교

육상기인 부유쓰레기 객체 탐지를 위해 학습이 완료된 모델에 평가용 데이터셋을 활용하여 YOLO 모델간 성능을 비교하였다. 각 모델간 정성적 비교 결과, 모두 대부분의 이미지에서 대상물 탐지가 가능한 것을 확인할 수 있었다(Fig. 3), 누락 객체 빈도는 YOLOv5s가 가장 높았으며, 탐지된 객체의 confidence는 YOLOv8s 모델이 YOLOv5s와 YOLOv7 모델 대비 10–20% 정도 낮게 나타냈다. 일부 미탐지 사례를 제외하면 YOLO 모델은 초점이 정확하지 않은 이미지에서도 대상물을 잘 식별할 수 있었으며(Fig. 4a), 한편 YOLOv8s 모델의 경우 과노출 이미지 또는 수면의 태양광 반사가 심한 경우 일부 사례에서 대상물을 누락하거나 하나의 객체에 2개 이상의 바운딩 박스를 예측하는 사례가 식별되었다(Fig. 4b, c).

Fig. 3. Comparison of floating debris detection results. (a, b) YOLOv5s detection. (c, d) YOLOv7 detection. (e, f) YOLOv8s detection.

Fig. 4. Examples of floating debris object detection in various environments: (a) out of focus, (b) high-object density, and (c) reflected sunlight on the water surface.

각 모델별 정량적인 성능 평가 결과, mAP (IoU 0.5)를 기준으로 YOLOv7 모델이 0.940을 기록하여 가장 높은 탐지 정확도를 나타냈다. YOLOv5s와 YOLOv8s 모델의 mAP는 동일하게 0.922로 나타났다(Table 2). 한편 클래스별로 탐지 정확도를 파악한 결과, 금속류(metal)의 경우 모든 모델에서 가장 높은 탐지 성능을 나타냈다. 이는 금속류가 대부분 음료캔 또는 가스캔과 같이 대상물의 형태가 비교적 유사하기 때문이다. 그러나 로프류 (rope)의 mAP (IoU 0.5)는 다른 클래스와 비교하여 모든 모델에서 낮은 성능을 나타냈는데 로프류는 색상, 형태가 다른 클래스에 비해 상대적으로 다양하고 데이터셋이 부족하여 모델의 학습 과정에서 특징 추출이 잘 수행되지 않은 것으로 판단된다. 스티로폼 박스와 유리의 경우 적은 양으로도 높은 탐지 정확도를 나타냈는데 색깔 정보와 형태가 유사하기 때문인 것으로 보이며, 이는 대상물이 정형화가 명확할 경우 적은 양으로도 높은 탐지 성능을 확보할 수 있다는 것을 의미한다.

Table 2. Performance results for each model and number of bounding boxes in each dataset class

3.2. 데이터 품질에 따른 모델 정확도 비교

YOLO 모델의 기반인 합성곱 신경망은 이미지의 색상(각 채널의 값)과 형태(고주파 성분)를 기반으로 특징을 추출한다. 입력 이미지의 각 영역은 필터의 매개변수들과 대응되는 입력 볼륨의 내적 연산을 수행한다 (Aggarwal, 2018). 합성곱 신경망은 학습 과정에서 최적의 성능을 확보하기 위한 최적의 필터 매개변수 조합을 학습하게 된다. 학습이 완료된 이후에는 학습 결과로 얻은 필터를 활용하여 이미지를 재처리함으로써 입력 이미지의 각 영역을 구성하는 픽셀의 색상과 명암 요소가 만들어내는 고주파 성분의 변화가 학습된 모델의 출력 결과를 바꿀 수 있으며, 이는 모델 성능에 영향을 미칠 수 있다. 데이터셋 구축 과정에서 이러한 문제를 해결하기 위해 다양성 측면을 고려하여 이미지 인스턴스를 수집하며, 모델 학습 단계에서 색상 변화 및 고주파 성분이 만들어내는 패턴 변화에 강인하도록 유도하기 위해 데이터 증강(data augmentation)을 수행한다. 그러나 드론으로 블록촬영시 이미지의 중복률을 허용하지 않기 때문에 대상물의 다양성이 떨어질 수 있으며, 촬영 당시의 태양 고도각, 광량, 바람 등에 의해 불량 이미지가 발생할 수 있다. 이는 모델의 성능에 영향을 미치며 해당 이미지에 대한 속성 정보 취득에 문제가 발생할 수 있다. 따라서 부유쓰레기 모니터링에 활용될 딥러닝 모델은 초점 소실, 색온도 변화, 노출 변화와 같은 데이터 품질이 저하된 조건에서도 평가용 데이터셋과 유사한 성능이 유지될 수 있어야 한다. 본 연구에서는 데이터의 품질 상태에 따른 모델별 정확도를 비교하기 위해 평가 데이터셋에 인위적인 왜곡을 발생시켰다. 사전 학습된 합성곱 신경망에 영향을 미칠 수 있는 색상 및 고주파 성분을 왜곡하여 평가용 데이터셋을 구성하였다. 극단적인 색상을 가정하기 위해 회색조(grayscale) 이미지로만 구성된 평가용 데이터셋을 생산하였으며(Fig. 5a), 고주파 성분 왜곡을 가정하기 위해 블러(blur) 효과를 추가한 데이터셋을 생산하였다(Fig. 5b). 블러 효과는 고주파 성분 왜곡을 위해 평균 필터(average filter)를 활용하여 구현하였으며, 강도 조절을 위해 필터 크기를 3 × 3부터 7 × 7까지 활용하였다.

Fig. 5. Comparison of model accuracy according to data quality. (a) Example of grayscale image. (b) Example of average filter size.

회색조 이미지로 평가용 데이터셋을 적용하여 모델별 성능을 비교한 결과, mAP (IoU 0.5)를 기준으로 YOLOv7 모델은 0.940에서 0.777로 17.38% 감소하여 성능 저 하의폭이 가장 낮았으며, YOLOv8s 모델의 0.922에서 0.676으로 26.73% 감소하여 성능 저하의 폭이 가장 높게 나타났다(Table 3). 클래스별로 비교했을 때, 모든 모델에서 공통적으로 스티로폼 박스 클래스가 가장 낮은 성능저하를 보였으며, 유리 클래스의 경우 가장 높은 성능저하를 보였다(Table 4).

Table 3. Comparison of mAP for each model

Table 4. Comparison of mAP for each model in grayscale image

필터의 강도에 따른 각 모형간 성능을 비교한 결과, 상대적으로 약한 블러 효과(3 × 3 average filter)가 적용된 경우 각 모델별 성능 저하가 크지 않았으나 필터 강도가 높아짐에 따라 YOLOv5s와 YOLOv8s 모델의 성능 저하폭이 YOLOv7 모델과 비교하여 크게 나타나는 것을 확인할 수 있었다(Table 3). 클래스별로 비교했을 때, 모든 모델에서 PET 병과 금속 클래스가 가장 낮은 성능 저하를 보였으며, 스티로폼 조각 클래스가 가장 높은 성능저하를 보였다(Table 5). 종합적으로 YOLOv5s 모델과 YOLOv8s 모델은 평가용 데이터셋 내에서는 YOLOv7과 유사한 성능을 보였으나, 수면 반사가 심하거나 과노출 환경에서 대상물을 누락하는 사례가 일부 식별되었으며, 성능 저하 폭이 YOLOv7보다 커서 실제 운영상 오류를 발생시킬 확률이 상대적으로 높다고 판단하였다. 따라서 본 연구결과 드론을 이용하여 낙동강 수계 내 육상기인 부유쓰레기의 유형별 발생량을 탐지하고, 부유쓰레기의 개별 성상 구별 및 개체수 산출을 위한 딥러닝 기반 객체 탐지모델은 YOLOv7이 가장 적합한 것으로 나타났다.

Table 5. Comparison of mAP for each model in average blur images

3.3. 딥러닝 기반 부유쓰레기 탐지 기법 현장 적용 결과

딥러닝 기반 육상기인 부유쓰레기 탐지는 모델의 성능이 가장 우수하였던 사전 학습된 YOLOv7 모델을 적용하였다. 딥러닝 모델이 탐지한 결과 초목류 위에 존재하는 스티로폼류 및 플라스틱, 금속류를 대부분 식별한 것을 확인할 수 있었다(Fig. 6). 데이터셋 구축 기간(2021년)에 평년에 비해 강수량이 부족하여 초목류가 대량으로 발생한 구역의 부유쓰레기 인스턴스가 부족했음에도 불구하고 탐지가 가능하였다. YOLOv7 모델을 이용한 진양호 일대에서 발생한 성상별 부유쓰레기 탐지 결과, 스티로폼 조각(styrofoam piece)이 5,210개로 가장 많이 발생하였으며 PET 병, Plastic etc., 금속 성상 순으로 부유쓰레기가 발생하였다(Table 6).

Fig. 6. Results of land-based floating debris detection in Jinyang lake using YOLOv7 model.

Table 6. Amount of land-based floating debris by category in Jinyang lake

3.4. 부유쓰레기 주요 집적구역 탐색

최근 다양한 분야에서 드론을 활용한 모니터링을 수행하고 있는데, 광범위한 구역의 영상정보 획득이 가능하다는 장점은 있으나 촬영된 영상을 인력에 의해 육안으로 판독해야 한다는 어려움이 있어 다량의 부유쓰레기가 발생한 경우 현존량을 파악하는데 활용하기 어렵다. 따라서 부유쓰레기의 군집 정도를 시각적으로 표현할 수 있는 히트맵(heat map)을 통해 주요 집적구간 파악이 필요하다. Fig. 7은 성상별 위치정보를 활용하여 공간분포를 나타낸 것이다. 로프류를 제외하고 대부분의 성상은 촬영구역 기준 북쪽(경남 진주시 남강로, 진양호 공원 인근)에 밀집 구역이 형성된 것을 확인할 수 있었다. 촬영구역 기준 남쪽은 댐 방류 위치이므로 남쪽보다 북쪽에 부유쓰레기가 밀집되어 있는 것으로 판단된다. 본 연구에서 제안하는 시스템을 부유쓰레기 모니터링 및 현존량 파악에 활용한다면 신속하고 효율적으로 모니터링을 통해 부유쓰레기 발생 즉시 현존량 파악이 가능하므로 정화활동 주기를 단축시킬 수 있을 것으로 기대한다. 또한 성상별 수량 파악이 가능하며, 성상별 공간분포도 생성이 가능하므로 발생 구역별 부유쓰레기 구성에 맞춰 정화작업 계획수립이 가능할 것으로 판단된다.

Fig. 7. Spatial distribution of land-based floating debris on each category in Jinyang lake.​​​​​​​

4. 결론

본 연구에서는 육상기인 부유쓰레기의 효율적인 탐지 기법을 제시하기 위해 최신 인공지능 객체 탐지 모델 기법을 적용하고 그 성능을 비교하여 최적의 객체 탐지 모델을 선정하고자 하였다. 딥러닝 모델의 학습 데이터 셋은 낙동강 중, 하류 및 인근 해역에서 수집한 이미지를 활용하였으며, 구축된 데이터셋을 통해 YOLOv5s, YOLOv7, YOLOv8s 모델을 학습시키고 성능 평가 결과 다음과 같은 결론을 얻었다.

1) 학습용 데이터셋을 활용하여 정성적 평가 결과 세 모델 모두 일반적인 상황에서 부유쓰레기 탐지에 활용할 수 있을 것으로 판단된다. 다만, 태양 천정각 등의 이유로 수면에 반사가 심한 상황에서 과노출 이미지가 획득되는 경우 YOLOv8s 모델의 경우 누락 또는 중복 탐지되는 사례가 발생할 수 있다.

2) 학습용 데이터셋을 활용하여 정량적 평가 결과 세 모델 모두 성능 차이가 크게 발생하지는 않았으나 YOLOv7 모델이 대부분의 지표에서 가장 높은 성능을 보였다.

3) 데이터 품질에 따른 모델의 성능 비교하기 위해 색상 및 고주파 성분에 왜곡을 발생시킨 결과, YOLO v8s 모델의 성능 저하가 가장 뚜렷하게 나타났으며, YOLOv7 모델이 가장 낮은 성능 저하 폭을 보였다. 이를 통해 수면 위에 존재하는 부유쓰레기를 탐지에 있어 YOLOv7 모델이 타 모델(YOLOv5s, YOLOv8s)에 비해 색상 및 고주파 성분에 대한 강인함이 우수한 모델임을 확인하였다. 따라서 하천, 강 또는 해수면 상에 존재하는 플라스틱류, 금속류, 유리류를 탐지하기 위한 솔루션 개발을 위해서는 세 모델 중 YOLOv7 모델을 활용하는 것이 타당한 것으로 판단된다.

그러나 본 연구에서는 데이터셋의 상당수가 평수기에 촬영되어 홍수기에 주로 발생하는 초목류와 혼합된 부유쓰레기 인스턴스는 그 비율이 낮으며, 본 연구에서는 각 모델의 모델 복잡성이 낮은 backbone 네트워크 간의 비교만 수행하였기 때문에 해당 아키텍처 전체의 성능에 일반화를 하기에는 한계가 있다. 향후 데이터 수집의 공간적, 시간적 범위를 확대하여 추가 데이터셋 구축을 통해 데이터셋의 다양성을 개선하고 각 모델의 다양한 backbone 네트워크를 활용한다면 더욱 신뢰성 있는 결과를 도출할 수 있을 것으로 판단된다.