Deep Learning based Fish Object Detection and Tracking for Smart Aqua Farm

스마트 양식을 위한 딥러닝 기반 어류 검출 및 이동경로 추적

Abstract

Currently, the domestic aquaculture industry is pursuing smartization, but it is still proceeding with human subjective judgment in many processes in the aquaculture stage. The prerequisite for the smart aquaculture industry is to effectively grasp the condition of fish in the farm. If real-time monitoring is possible by identifying the number of fish populations, size, pathways, and speed of movement, various forms of automation such as automatic feed supply and disease determination can be carried out. In this study, we proposed an algorithm to identify the state of fish in real time using underwater video data. The fish detection performance was compared and evaluated by applying the latest deep learning-based object detection models, and an algorithm was proposed to measure fish object identification, path tracking, and moving speed in continuous image frames in the video using the fish detection results. The proposed algorithm showed 92% object detection performance (based on F1-score), and it was confirmed that it effectively tracks a large number of fish objects in real time on the actual test video. It is expected that the algorithm proposed in this paper can be effectively used in various smart farming technologies such as automatic feed feeding and fish disease prediction in the future.

현재 국내 수산 양식업은 스마트화를 추진하고 있지만, 여전히 양식 단계의 많은 과정에서 사람의 주관적인 판단으로 진행되고 있다. 수산 양식업 스마트화를 위해서 선행되어야 할 부분은 양식장 내 물고기들의 상태를 효과적으로 파악하는 것이다. 어류 개체 수, 크기, 이동경로, 이동속도 등을 파악하여 실시간 모니터링 할 수 있게 된다면 사료 자동 급이, 질병유무판단 등 다양한 양식자동화를 진행할 수 있을 것이다. 본 연구에서는 수중 촬영한 어류비디오 데이터를 이용하여 실시간으로 어류의 상태를 파악 할 수 있는 알고리즘을 제안하였다. 어류 객체검출을 위해 딥러닝 기반 최신 객체검출 모델들을 적용하여 검출 성능을 비교 평가 하였고, 검출 결과를 이용하여 비디오내의 연속적인 이미지 프레임에서 어류 객체 ID부여, 이동경로 추적 및 이동속도를 측정할 수 있는 알고리즘을 제안하였다. 제안한 알고리즘은 객체 검출 성능 92%(F1-score 기준)를 보였으며, 실제 테스트비디오 상에서 실시간으로 다수의 어류 객체를 효과적으로 추적하는 것을 확인하였다. 본 논문에서 제안하는 알고리즘을 이용하여 향후 사료 자동 급이, 어류 질병 예측 등 다양한 스마트양식 기술에 효과적으로 활용될 수 있을 것으로 기대한다.

Ⅰ. 서론

국내의 수산 양식어업 생산량은 지속적인 성장으로 인해 2018년 기준 약 225만 톤이며 생산액 기준으로는 약 2조 8,814억 원에 달한다. 이는 2010년 약 136만 톤 생산액 기준 약 1조 8,156억 원과 대비하여 약 65.4% 증가하였다[1]. 그러나 아직 우리나라 수산 양식어업은 대부분의 과정을 사람의 경험적 판단에 의존하거나 부분적으로 기계화한 방식을 채택하는 데에 그치고 있다.

최근 수산 양식업을 스마트화하기 위한 다양한 방법들이 제안되고 있으며, 어류양식업에서 급이 과정을 자동화하기 위한 연구가 진행된 바가 있다. 논문[2]에서는 수온과 어류 개체 중량에 따라 먹이 공급량을 조절하는 자동 먹이 공급 시스템을 설계하였다. 제안한 시스템이 실제 먹이 공급량의 오차 범위 5% 이내로 먹이를 공급하는 것을 확인함으로써, 수온 및 중량에 따라 먹이 공급량을 조절할 수 있는 기술을 개발하였다. 또한, 국가 차원에서는 2015년에 국립수산과학원에서 양식장에 설치된 센서를 통해 수온, 산소량, 수질 등과 주변 지역의 기상을 어업인의 스마트폰에 제공하여 양식장을 관리할 수 있는 ‘스마트 어장 관리 시스템’을 구축한 바가 있다[3][4].

국제적인 연구로는 수중 영상에서 어류를 검출하려는 시도가 진행되고 있다. 논문[5]에서는 바다속을 촬영한 영상 데이터로부터 Haar-Cascades 방식의 전통적인 특징기반 다단계 분류방법을 어류 검출에 적용하였으며, 논문[6]에서는 최근 많이 활용되고 있는 딥러닝 기반의 검출방법을 어류 검출에 적용하여 성능을 평가하였다. 하지만, 두 가지 방법 모두 어류 검출에 초점을 맞추어 평가가 진행되어 어류의 현재 상태를 파악하기에는 부족한 점이 있다.

본 논문에서는 스마트양식을 위한 딥러닝 기반 어류검출 및 이동경로 추적 연구를 수행한다. 수중 어류 촬영 데이터를 이용하여 이미지 내에서 어류검출을 진행하였고 여기에 딥러닝 기반 최신 객체검출 모델들을 적용하여 검출 성능을 비교 평가한다. 또한, 수중 어류 상태 파악을 위해 비디오 내의 연속적인 이미지 프레임에서 이동경로 추적 및 이동속도를 측정할 수 있는 알고리즘을 제안하고 평가한다.

본 연구에서는 어류 객체검출을 위해 딥러닝 기반 최신 객체검출 모델들을 적용하여 검출 성능을 비교 평가하고, 검출결과를 이용하여 비디오 내의 연속적인 이미지 프레임에서 어류 객체 ID부여, 이동경로 추적 및 이동속도를 측정할 수 있는 알고리즘을 제안한다. 본 연구에서 제안한 알고리즘은 객체 검출 성능 92%(F1-score 기준)를 보였으며, 실제 테스트 비디오 상에서 실시간으로 다수의 어류 객체를 효과적으로 추적하는 것을 확인하였다.

본 논문의 구성은 2장에서 제안하는 딥러닝 기반 어류객체검출 및 이동경로 추적 등의 방법론 및 알고리즘에 대해 기술하고, 3장에서는 본 논문에서 사용하는 실험데이터와 실험환경을 기술하고 객체검출 실험 결과 및 이동경로추적 실험결과에 대해서 기술한다. 마지막으로 4장에서는 본 논문의 결론과 향후 연구 방향에 대하여 기술 한다.

Ⅱ. 관련연구

이미지 객체검출은 이미지 내에서 찾고자 하는 객체의 위치를 표시해 주는 분야이다. 이미지 객체검출을 위해서는 이미지내의 특정 객체의 종류와 객체의 위치를 나타내는 사각형 형태의 bounding box 정보가 필요하다. 이 정보를 이용하여 모델을 학습하고 테스트 이미지에 대해 원하는 객체의 위치정보를 얻게 된다. 최근 딥러닝 기반의 객체검출 방법들이 활발하게 연구되고 있으며 다양한 분야에 적용되고 있다. 가장 대표적인 딥러닝 기반 객체 검출방법으로 Faster R-CNN [7], SSD[8], YOLO[9] 등이 있다.

Faster R-CNN 모델은 2-단계 검출기에 속하며 첫 번째 단계에서 CNN의 기능을 사용하여 이미지에서 객체가 존재할만한 영역을 찾는 지역 제안 네트워크를 사용한다[7]. 두 번째 단계에서 알고리즘은 최종 클래스(class) 정보와 객체의 위치정보를 경계상자(bounding box) 형태로 찾기 위한 최적화과정을 거친다. Faster R-CNN 모델은 뛰어난 검출 정확도를 갖는 것으로 알려져 있지만, 2-단계 검출로 인해 물체 검출모델 중 검출 속도가 느리다. Faster R-CNN의 느린 속도를 극복하기 위해 1-단계 감지기 모델에 속하는 SSD가 제안되었다.

SSD는 Faster R-CNN에서 사용되는 첫 단계인 지역 제안 네트워크의 사용 없이 하나의 네트워크로 전체객체 검출 모델을 학습시킨다[8]. SSD는 빠른 검출속도로 인한 정확도 손실을 방지하기 위해 CNN 네트워크의 여러 계층에서 검출을 수행하도록 설계되었다.

YOLO 모델은 SSD와 같은 1-단계 검출기에 속하며 딥러닝 기반 검출기 중에서 가장 빠른 속도로 잘 알려져 있다[9]. 이에 따라 실시간 검출이 필요한 동영상 연구 등에 적용되고 있다[10]. YOLO모델은 Faster R-CNN 과 같은 2-단계 검출기에 비해 낮은 정확도를 보완하기 위해 여러 차례 모델 개선을 진행해 왔다. YOLO 모델은 V1 부터 V4까지 객체 검출을 위한 성능이 지속적으로 개선되고 있으며, 최근에는 YOLO V4 모델은 효율적이고 강력한 객체 검출기를 빠르고 정확하게 학습시킬 수 있고, 학습과정에서 학습방법의 정확도를 높이기 위한 데이터셋의 증강 및 포스트 처리과정의 성능을 향상 시켰다[11].

Ⅲ. 제안하는 방법

[그림 1]은 본 논문에서 제안하는 딥러닝 기반 어류객체 검출 및 이동경로 추적 시스템의 도식도이다. 딥러닝 모델을 이용해 어류 객체 검출을 진행하였고, 검출 결과를 이용해 연속적인 이미지프레임에서의 객체 ID부여 및 이동경로를 추적할 수 있는 알고리즘을 제안하였다. 또한, 어류가 얼마나 활발히 움직이는지를 파악하기 위한 이동속도 측정도 진행하였다.

그림 1. 딥러닝 기반 어류 객체 검출 및 이동 경로 추적 시스템 도식도

1. 딥러닝 기반 객체검출

본 연구에서는 실시간 어류 객체 검출 및 이동 경로추적을 위해 앞서 언급한 딥러닝 기반 객체검출 방법인 Faster R-CNN, SSD, YOLO방법을 이용하여 어류 객체검출 성능을 비교평가 하였다. Faster R-CNN 적용을 위하여 Tensorflow 객체 검출 API에서 제공하는 구현체와 사전 학습 된 ResNet-101 모델을 CNN 백본으로 사용하였다. 또한, SSD모델 실험을 위해 역시 Tensorflow 객체 검출 API에서 제공하는 SSD 구현을 사용하였으며, 사전 훈련된 ResNet-50 모델을 CNN 백본으로 이용하였다.

YOLO 모델의 경우 가장 최신 모델인 YOLO v4를 사용하였다[11]. YOLO v4의 특징은 깊은 CNN 네트워크(Dark net 53)를 백본으로 사용하고 있으며, 공간 피라미드 풀링(SPP) 기술을 사용하여 검출 정확도를 개선했다. 또한, 모델 학습에 있어서도 다양한 최신 딥러닝 학습 기법들을 활용하고 있다. 본 연구에서는 YOLO v4 학습을 위해 Darknet 프레임워크를 사용하였으며, 사전 학습된 Darknet-53 모델로 어류데이터를 학습하였다.

본 연구에서는 어류 검출 정확도와 검출속도를 기반으로 가장 적합한 딥러닝 기반 검출 모델을 선정하였다. 또한, 딥러닝 검출모델 학습 시에 적은 학습 이미지 개수를 극복하기 위해 사용될 수 있는 이미지 증강 기법 및 전이학습 방법을 어류검출모델 학습에 적용하였다. 자세한 실험 결과는 IV. 실험 및 결과에 잘 나타나 있다.

2. 어류 객체 검출 및 추적 알고리즘

본 연구에서는 딥러닝 기반 검출 결과를 이용하여 어류의 이동경로 추적, 이동속도 측정을 진행하였다. 앞서 언급한 딥러닝 기반 검출 방법 중 검출 정확도와 속도가 가장 뛰어난 모델을 최종 선정하여 동영상내의 이미지 프레임별 어류 검출을 진행하였고, 이를 이용하여 이동 경로 추적 및 속도를 측정하였다. [그림 2]는 본 연구에서 제안하고 있는 어류 객체 검출을 통한 어류 객체 ID부여 및 객체 ID별 이동경로 추적 알고리즘의 흐름도이다.

그림 2. 어류 객체 ID 부여 및 이동경로 추적 알고리즘 흐름도

본 연구에서 제안하는 알고리즘은 테스트 비디오의 첫 번째 이미지 프레임부터 마지막 알고리즘까지 적용된다. 먼저 첫 번째 이미지 프레임에서 딥러닝 기반 어류 검출이 수행이 되고, 수행결과로 나오는 예측 bounding box들에 대해서 object ID를 등록한다.

다음 이미지프레임에 대해 예측된 bounding box들에 대해서는 기존에 object ID가 존재하는 객체들과의 거리를 계산하여 거리가 가장 가까운 ID의 객체로 간주하고 현재 bounding box의 중심위치로 기존 ID의 객체 위치를 갱신한다. 거리계산은 예측된 bounding box의 중심좌표와 기존 ID 객체의 중심좌표간의 유클리디안 거리를 사용하였다. 거리 계산시에 만약 거리의 최소값이 거리임계값인 40픽셀보다 크면 이는 새로운 object로 간주하고 새로운 ID를 부여한다.

또한, 기존 ID가 존재하는 객체들이 다음번 프레임에 위치가 갱신되지 않는다면 해당 ID객체들의 사라짐값을 1증가 시킨다. 만약 이 사라짐값이 임계값인 40보다 크거나 같아지면 해당 ID를 등록해제하고 추적을 중지한다. 제안한 추적알고리즘은 복잡한 계산없이 딥러닝 기반 검출결과를 이용하여 실시간 추적이 가능하다. 자세한 추적 성능은 섹션 IV-4 어류 추적 성능에대한 실험 결과 부분을 참고하기 바란다.

예측된 어류 객체별 이동 경로를 이용하여 객체별 이동 속도 예측도 진행하였다. 어류 이동속도는 향후 딥러닝 기반 스마트양식에서 어류의 상태를 파악할 때 얼마나 활발하게 움직이는지 파악할 때 사용 될 수 있을 것으로 기대된다. 이동속도계산은 객체 ID별로 전체 픽셀 단위 이동 거리를 전체 이미지 프레임 수로 나누어 평균 이동속도(픽셀/프레임)를 계산하였다.

Ⅳ. 실험 및 결과

1. 실험 데이터

본 논문에서 사용한 데이터 셋은 NOAA Fisheries [5] 에서 제공하는 “Labeled Fishes in the Wild” 이미지 데이터 셋으로서, ROV(Remotely Operated Vehicle)로 수중을 촬영한 이미지로 구성되어 있다. 데이터 셋은 학습 및 테스트 셋으로 나누어져 있으며, 자체적인 물고기의 위치정보 (bounding box) 라벨링 정보를 포함하고 있다. 학습셋의 경우 이미지로 주어져 있고, 테스트셋의 경우 2분 52초에 해당하는 동영상으로 주어져 있다. 라벨링 정보는 학습셋의 경우 578장의 이미지, Test 셋의 경우 207장의 이미지에 대하여 존재한다. [그림 3]은 데이터셋에서 제공하는 학습 이미지 및 라벨링 정보 (bounding box) 예시이다.

그림 3. 학습이미지 및 라벨링 정보(bounding box) 예시

그러나 [그림 4]에서 볼 수 있듯이, 데이터셋 중에 크기가 충분히 크고 육안상으로 뚜렷한 어류객체가 존재함에도 불구하고, 해당 어류객체의 라벨링이 없는 이미지들이 다소 존재하였다. 이러한 문제점은 같은 데이터셋을 사용하는 논문[6]에서도 보고된 바가 있으며, 이러한 라벨링 오류는 모델 성능에 악영향을 끼치게 된다. 따라서 우리는 데이터셋 이미지들의 재 라벨링을 진행하였다. 재 라벨링을 통해 준비된 데이터셋은 학습 데이터가 1227장, 테스트 데이터가 207장이다.

그림 4. 학습이미지에 포함된 오라벨링 이미지 예시

2. 실험 환경

본 논문에서 진행한 딥러닝기반 어류 객체검출 및 추적 실험은 공정한 비교를 위해 동일한 PC 환경에서 진행하였다. 딥러닝기반 검출 모델 학습을 위한 딥러닝 프레임워크로는 Tensorflow (Faster R-CNN, SSD) 및 Darknet (YOLO)을 사용하였고 나머지 이동 경로추적 및 속도측정 등의 알고리즘은 Python을 이용하여 직접 구현하였다. 실험에 사용된 GPU는 NVIDIA TITAN XP (12GB 메모리)를 사용하였다.

3. 어류 검출

3.1 어류 검출 성능 평가 지표

본 논문에서의 어류 검출 성능 평가를 위하여 TP(true positive), FP(false positive), FN(false negative)을 다음과 같이 정의하였다:

TP: 모델의 검출 결과 bbox와 실제 정답 bbox 사이의 IoU(Intersection over Union)값이 50% 이상인 경우

FP: 모델의 검출 결과 bbox와 실제 정답 bbox 사이의 IoU(Intersection over Union)값이 50% 미만인 경우

FN: 이미지 프레임 내에 어류 정답 bbox가 존재할 때, 모델의 검출 결과가 없는 경우

위에서 정의한 TP, FP, FN을 이용하여 Recall, Precision, F1-score를 최종 검출 성능 평가지표로 사용하였다:

\(\text { Recall }=\frac{T P}{T P+F N}\)       (1)

\(\text { Precision }=\frac{T P}{T P+F P}\)       (2)

\(F 1-\text { score }=\frac{\text { Pre } \times \operatorname{Rec}}{\operatorname{Pre}+\operatorname{Rec}}\)       (3)

추가적으로 추론시의 검출 속도를 비교하기 위해, 단일 테스트 이미지프레임에 대한 평균 검출 속도를 측정하였다.

3.2 어류 검출 성능 평가 결과

우리는 먼저 앞서 소개한 딥러닝 기반 검출 방법인 Faster R-CNN, SSD, YOLO v4를 이용하여 어류 검출 성능을 비교 평가하였다. 학습 데이터는 재 라벨링 된 1227장의 어류 이미지가 사용되었고 평가에는 학습에 사용되지 않은 207장의 정답라벨이 있는 테스트 이미지가 사용되었다.

[표 1]은 3가지 모델의 어류검출 성능 비교 결과표이다. 결과에서 볼 수 있듯이, YOLO v4 모델이 3가지 모델 중 가장 높은 Recall, Precision, F1-score를 보였다. 또한, 검출 속도에 있어서도 0.04초로 다른 모델들보다 빠른 검출속도를 보였으며 이는 실시간 검출에 적용할 수 있을만한 수치이다. [그림 5]는 YOLO v4를 이용해 실제 테스트 이미지에 대해 어류 객체 검출을 수행한 예시 이미지이다.

표 1. 딥러닝 기반 검출 모델별 어류 검출 성능 비교 결과표

그림 5. YOLO v4를 이용한 어류 검출 예시 이미지

일반적으로 딥러닝 모델 학습시에 학습데이터가 충분치 않은 경우 이미지 증강 및 사전학습 방법을 적용하여 성능향상을 얻을 수 있다. 하지만 분야별 데이터마다 적용할 수 있는 이미지 증강기법과 성능향상의 정도도 다르기 때문에 실험을 통해 이를 평가 하였다.

[표 2]는 앞서 [표 1]에서 가장 높은 어류검출 성능을 보인 YOLO v4 모델에 대해 학습시에 이미지증강 및 사전학습 적용여부에 따른 성능비교표이다. 사전학습을 적용한 경우 YOLO v4모델을 어류 학습데이터로 학습하기 이전에 대량의 일반이미지 데이터셋인 ImageNet 데이터로 사전 학습을 진행한 뒤 학습된 모델을 다시 어류 학습데이터로 추가학습을 진행하였다. 사전학습이 적용되지 않은 경우에는 어류 학습데이터로만 모델을 학습하였다.

표 2. 이미지증강 및 사전학습에 따른 검출 성능 비교 결과표

이미지증강의 경우 기법적용 후 이미지내의 어류객체가 실제 훈련데이터에 존재할만한 증강기법인 이미지 좌우 반전, 이미지 회전, 이미지 사이즈변환 등을 적용하였다. 이미지 회전은 –45 ~ 45도 각도사이에서 랜덤하게 회전되도록 하였고, 이미지 사이즈변환은 원래 사이즈의 70 ~ 100% 사이즈에서 랜덤하게 선택되도록 하였다.

[표 2]의 결과를 통해 사전학습과 이미지증강 각각의 적용을 통해 검출 성능이 향상되는 것을 확인하였다. 특히, 사전학습만을 통해서도 상당한 성능향상이 있는 것을 확인하였다. 이는 학습에 사용한 어류데이터가 1227장으로 깊은 딥러닝 모델을 학습하는데 충분치 않기 때문으로 파악된다. 이미지증강과 사전학습을 동시에 적용했을 때 F1-score기준 0.92로 가장 높은 검출성능을 보이는 것을 확인하였다. 또한, [표 2]의 모든 학습 방법에 대해서 모델 구조자체는 똑같으므로 검출 속도는 0.04초로 동일하다.

4. 어류 이동경로 추적

4.1 어류 이동경로 추적 평가 지표

어류 이동경로 추적 평가지표로 트랙매칭오차 (TME: Track Matching Error)를 사용하였다[12]. 트랙 매칭 오차는 테스트 비디오프레임 내에서 동일한 ID를 갖는 어류 객체에 대해, 객체의 정답라벨 (GT: Ground Truth)과 제안된 이동경로 추적시스템의 검출결과 (SP: System Prediction)를 이용하여 아래의 수식 (4)를 이용하여 계산한다. 이는 같은 프레임내의 정답라벨 (GT)과 시스템예측(SP)값 사이의 유클리디언거리의 합을 정답라벨(GT)과 시스템예측(SP)값이 동시에 존재하는 프레임의 전체 길이로 나누는 평균거리오차에 해당한다.

\(T M E=\frac{\sum \operatorname{Dist}(G T, S P)}{\operatorname{Length}(G T \cap S P)}\)       (4)

또한, 전체비디오시퀀스 트랙매칭오차 (TMEMT)를 측정하였으며 이는 수식 (4)를 전체 테스트 비디오에 나오는 어류 객체에 대해 적용한 것이다. 마지막으로 트랙 매칭 오차 (TME)와 전체비디오시퀀스 트랙 매칭 오차 (TMEMT)에 대한 각각의 표준편차인 트랙 매칭 오차 표준편차 (TMED)와 전체비디오시퀀스 트랙 매칭 오차 표준편차 (TMEMED)도 측정하였다.

4.2 어류 이동경로 추적 평가 결과

[그림 6]은 어류객체 ID 9번에 대한 이동경로 추적예시 이미지이다. 이미지내에 표시된 빨간색점은 해당 어류 객체에 대해 주어진 정답라벨(GT)의 중심점들이며, 흰색점들은 제안된 시스템 검출결과(SP)의 중심점들이다. 정답라벨의 경우 비디오 내의 모든 시퀀스에 대해 주어지지 않기 때문에 빨간점의 개수가 흰색 점의 개수보다 훨씬 적은 것을 볼 수 있다. 이미지내에 표시된 트랙매칭오차 (TME)와 트랙매칭오차 표준편차 (TMED)는 현재 ID 9번 어류객체에 대해 표시된 빨간 점과 흰점을 이용해 계산된 값이며, 전체 비디오 시퀀스 트랙 매칭 오차 (TMEMT)와 전체비디오시퀀스 트랙 매칭 오차 표준편차 (TMEMED)는 비디오 내의 첫 번째 어류객체 ID부터 현재 ID까지의 전체 평균오차와 표준편차이다.

그림 6. 어류 객체 이동경로 추적 예시 이미지

[그림 6]의 ID 9번 어류 객체에 대해서 제안된 이동 경로 추적시스템의 예측 점들(흰색)이 정답라벨 점들 (빨간색)을 잘 따라가고 있는 것을 볼 수 있으며, 이때의 트랙매칭오차 (TME)값은 8.08로 측정되었다.

[표 3]은 테스트 비디오 2분 52초에 대해서 전체 비디오 시퀀스 트랙매칭오차 (TMEMT)와 전체 비디오 시퀀스 트랙 매칭 오차 표준편차 (TMEMED) 그리고 추적된 총 ID개수를 표시한 결과이다. 앞서 [그림 6]의 ID 9번에 대한 추적 결과가 8.08의 트랙매칭오차 값을 갖는 것과 비교하여, 테스트 비디오 내의 모든 ID에 대한 트랙 매칭 오차 값이 6.14로 측정되었고 이는 제안한 이동 경로추적시스템이 실제 어류 객체를 효과적으로 추적하고 있다는 것을 알 수 있다.

표 3. 어류 이동경로 추적 성능 결과표

[그림 7]은 제안한 알고리즘을 이용하여 특정 어류객체에 대한 ID 부여, 이동경로 추적 및 이동속도 측정을 진행한 예시 이미지이다. 이동속도계산은 섹션 III-2 에서 언급한 것과 같이 추적중인 객체의 픽셀 단위 이동 거리를 이미지 프레임 수로 나눈 값이다. 우리는 전체 테스트 동영상에 대해 제안한 알고리즘을 적용하였고, 실시간으로 동작하는 것을 확인하였다.

그림 7. 어류 객체 이동경로 추적 및 이동속도 측정 예시

Ⅴ. 결론

본 연구에서 우리는 이미지내의 어류 객체검출을 위해 딥러닝 기반 최신 객체검출 모델들을 적용하여 검출성능을 비교 평가 하였다. 또한, 딥러닝 모델 학습에 충분치 않은 소량의 학습 데이터셋을 극복하기 위한 이미지증강 및 사전학습에 대한 성능 비교평가도 진행하였다. 딥러닝 모델의 객체 검출결과를 이용하여 비디오 내의 연속적인 이미지 프레임에 대해 어류 객체 ID부여, 이동경로 추적 및 이동속도를 측정할 수 있는 알고리즘을 제안하였다.

본 연구에서는 어류 객체 검출 성능평가를 위하여 학습 데이터는 재 라벨링된 1,227장의 어류 이미지가 사용되었고, 평가에는 학습에 사용되지 않은 207장의 정답 라벨이 있는 테스트이미지가 사용되었다. 어류 객체검출 성능은 YoloV4 딥러닝 모델이 F1-score 기준 0.92로 가장 높게 나타났다. 또한 어류 이동경로 추적평가 결과는 특정 어류 객체에 대해서 제안된 이동 경로추적시스템의 예측 점들이 정답라벨 점들을 잘 따라가고 있는 것을 볼 수 있으며, 이때의 트랙매칭오차(TME) 값은 8.08로 측정되었다. 실제 테스트비디오 상에서 실시간으로 다수의 어류 객체를 효과적으로 추적하는 것을 확인하였다.

본 연구의 한계점은 어류 객체 검출 및 이동 경로 추적을 성능 평가를 위하여 실제 수산 양식장에서 획득한 데이터가 아닌 다양한 종류의 어류객체가 포함된 오픈된 이미지 데이터셋을 사용하여 실험하였기 때문에 실제 국내 수산양식장에 적용 하는데는 한계점이 있다. 따라서 향후 연구에서는 실제 양식장 데이터를 적용하는 과정이 필요할 것으로 판단되고, 실제 어류행동 패턴에 대한 전문적인 분석이 보완되어야 할 것이다.

본 연구의 향후 연구 방향 및 기대효과는 국내 스마트 양식장의 실제 어류 활동 데이터 셋 확보 및 어류 활동 행동 패턴 분석을 통하여 딥러닝 기반의 어류 객체검출 및 이동 경로 추적 실험이 필요하고, 이러한 어류 활동 상태 추적 경로를 이용하여 스마트양식을 위한 지능형 사료 자동 급이 시스템 개발 및 어류 질병 예측 등에 효과적으로 활용될 수 있을 것으로 기대한다.