Current Status of Automatic Fish Measurement

어류의 외부형질 측정 자동화 개발 현황

Abstract

The measurement of morphological features is essential in aquaculture, fish industry and the management of fishery resources. The measurement of fish requires a large investment of manpower and time. To save time and labor for fish measurement, automated and reliable measurement methods have been developed. Automation was achieved by applying computer vision and machine learning techniques. Recently, machine learning methods based on deep learning have been used for most automatic fish measurement studies. Here, we review the current status of automatic fish measurement with traditional computer vision methods and deep learning-based methods.

서론

2013년 기준으로 1인당 1일 어패류 소비량은 한국이 145 g으로 노르웨이 143 g, 일본 135 g, 스페인 116 g, 중국 95 g 등 다른 국가들과 비교해서 높다. 우리나라의 1인당 연간 수산물 소비량은 2019년 69.8 kg으로 쌀 소비량 70.1 kg과 유사하고, 육류 소비량 68.1 kg보다는 많으며, 2001년 52.8 kg에 비해 수산물 소비량은 증가 추세에 있다. 특히 이렇게 늘어나는 소비와 더불어 수산생물 양식 또한 늘어나 국내 해수면어업 생산량은 2020년 약 234만톤, 내수면 어업은 약 2만톤으로 추정된다(KOSIS, 2021). 2018년도 기준으로 사람이 소비한 어류의 52%는 양식어류로 알려졌다(FAO, 2020). 양식 생산량의 증가와 함께 품종도 다양해지고 있지만, 가장 많이 양식되고 있는 어류는 넙치(Paralichthys olivaceus), 조피볼락(Sebastes schlegelii), 숭어(Mugil cephalus) 등으로 한정되어 있다. 양식업의 급증에 따라 병원체 감염 또한 증가하고 있는데(Park et al., 2021), 이에 따라 양식어류의 질병 치료를 위해 항생제와 바이러스 백신 사용 또한 지속적으로 증가하고 있다(Han et al., 2021). 또한 유전적 다양성 감소는 감염병 유행시에 특정 종의 멸종 등의 피해까지 초래할 가능성을 높일 수 있다.

수산분야 자원의 이용, 회복, 관리 및 어구의 적정성 판별, 종 다양성 연구를 위한 방류종자 인증 및 어류 자원조사 등을 위해 어류의 종류와 외부형질 측정이 필수이며, 이를 위해 자 또는 어체 측정판(Fig. 1) 등을 이용하여 어류의 전장(total length, TL), 체장(body length, BL), 가랑이체장(fork length, FL) 등을 측정하고 있으며, 저울로 중량 등을 측정 및 수기로 기록한다(Lee at al., 2012a). 이들 기록된 자료는 다시 컴퓨터 등에 입력되어 통계 분석 등에 활용된다. 하지만 이러한 측정, 기록 및 컴퓨터 입력 등 여러 단계에서 사람의 개입으로 인한 오차 및 실수가 발생한다. 매번 수많은 어류를 대상으로 외부형질을 측정하고 기록함에 따라 인력 및 다량의 시간이 소모된다. 따라서 비교적 정확하고 자동화된 어류의 외부형질 측정을 통해 인력의 소모와 시간 절약을 통한 효율성을 높이고 사람의 개입을 줄여, 반복된 측정과 기록으로 인한 피로감 등이 원인이 되는 휴먼 오차를 줄일 필요가 있다. 본 연구에서는 이러한 필요에 따라 그동안 개발되어 온 접촉식 어체 측정 방법부터 컴퓨터 비전과 컨베이어 벨트를 이용하는 방법, 비접촉식 수중 촬영 방법 및 최근 딥러닝 등의 기계학습을 이용하는 방법 등 어류의 외부형질 측정 자동화 연구 현황을 알아보고자 하였다.

Fig. 1. Conventional fish measurement boards.

컴퓨터 비전을 이용한 방법

모든 방법이 컴퓨터 비전기술을 사용한다고 볼 수 있지만 여기에서는 수중 촬영, 기계학습 방법 등을 제외한 고전적이고 기본적인 컴퓨터 비전만을 이용한 방법들만 알아보고자 하였다. 전통적 컴퓨터 비전 방법에서는 대부분 디지털 카메라를 이용하여 어체의 형태 정보를 획득한 후, 다양한 영상처리 기법을 적용하여 어류를 인식하고 그 크기를 측정한다. Strachan (1993, 1994)과 White et al. (2006)은 빛이 투과하는 컨베이어 벨트를 사용하여 그 위로 어류(대구, 넙치 등)를 투입하고, 카메라는 위쪽에 위치하는 컴퓨터 비전 시스템을 구성한 후, 일정 간격으로 어류의 폭의 중점을 이어서 그 길이로 어류의 TL을 측정하는 방법을 제안하였다. 이러한 방법은 어류가 휘어져 있거나 진행 방향에 수평으로 투입되지 않더라도 측정이 가능하나, 지느러미의 손상이 있을 경우 오차가 커지고 전체 시스템을 구성하는데 비용이 크다는 단점이 있다. 오차는 0.2–3%로 나타났다.

국내에서는 Lee et al. (2012a)이 컨베이어 벨트를 제외하고 Strachan (1993)의 것과 유사한 컴퓨터 비전 시스템을 개발하였다. 넙치의 TL, 체폭, 체고를 측정하기 위한 영상취득부와 무게측정부로 구성되었다. 백색 LED 조명은 투명한 유리 바닥 아래에, 유리 위에는 넙치를 위치하고 카메라는 시스템의 상단에 매달아 촬영하였다. 영상은 그레이 스케일 이미지로 변환, 명암 조절 후 이진화한 흑백 이미지로 변환, 최종적으로 형태학적 영상처리를 통해 측정이 가능하도록 변환 및 최적화하였다. 넙치의 특성상 꼬리자루 이후에 휘어지는 경우에도 측정의 정확도를 높이기 위해 꼬리자루를 기준으로 몸통 부분과 꼬리부분 두 영역으로 나누어 분석한 것이 특이한 점이다. 최대 측정오차는 0.49 mm로 보고되었다(Lee et al., 2012a). Lee et al. (2012b)은 영상시스템을 개선하고 템플릿 인식 및 매칭기법을 응용하여 넙치를 인식하고 자동으로 백신 주사를 놓는 로봇시스템을 개발하기도 하였다.

Viazzi et al. (2015)은 흰 바탕의 판 위에 검정색 정사각형 상자 내부에 어류를 위치시키고 길이를 측정하는 방법을 사용했으며, 이 방법은 위의 방법들처럼 어류와 카메라 사이의 거리를 고정시키지 않아도 어류의 크기를 측정할 수 있게 해준다. 흰 바탕에 대조적인 어류의 색을 이용해 흰 바탕과 어류를 흑백으로 이진화 영상 분할시켜서 분석하였다. 이로부터 연구팀은 jade perch Scortum barcoo의 윤곽을 결정하고 segmentation mask로부터 어류의 면적을 계산하였다. 길이 측정은 윤곽을 감싸는 bounding box로부터 계산되었다. 이들은 또한 꼬리부분을 제외시켜서 면적, 길이, 높이를 이용하여 회귀분석을 통해 무게를 예측하였다. 길이 오차는 0.4–3.7%로 보고되었고, 선형회귀를 사용했을 경우 최대 중량 오차는 19%였다(Viazzi et al., 2015).

위 방법들은 직접 측정과 비교해 정확한 오차 통계를 얻을 수 있는 장점이 있으나, 컨베이어 벨트 및 조명 장치와 고성능 카메라 등을 포함한 컴퓨터 비전 시스템 등을 구축해야해 비용이 드는 단점이 있다.

수중 촬영 방법

앞서 소개한 측정 방법들은 이미 잡은 어류를 분석할 때는 가능하지만 살아있는 어류에 적용할 수 없다. 때로는 수중 환경에서 살아있는 어류를 측정할 필요성이 요구되는데, 예를 들어 양식되는 고급 어종의 성장을 모니터링할 필요가 있을 때, 어류에 주는 스트레스를 최소화하고 외부형질에 대한 정량적인 정보를 획득할 수 있는 방법이 요구된다. 우리 눈에 무언가 작게 보이는 것은 그것과의 거리가 멀거나 크기 자체가 작은 경우이다. 따라서 크기를 결정하기위해 수중 촬영의 경우 어류와의 거리를 먼저 결정해야한다. 인간은 두 눈 사이 각도 변화로 초점을 맞춘 사물과의 거리를 인식한다. 이를 모방하기 위해 두 대의 카메라를 이용해 스테레오 비전 시스템을 구성하곤 한다. Harvey et al. (2003)은 수중 스테레오 캠코더 시스템을 개발하여 남방 참다랑어(Thunnus maccoyii)의 FL과 체고를 측정하는데 사용하였다. 최적의 측정은 두 카메라의 초점 평면에 남방 참다랑어가 몸통이 나란할 때 가능하며, 자동화된 측정은 아니고 화면에서 마우스 클릭으로 길이를 측정할 수 있다.

국내에서 Yang et al. (2011)은 수중 스테레오 카메라를 이용하여 참다랑어의 크기와 유영속도를 측정하는 방법을 개발하여 외해가두리 내에 유영하는 참다랑어에 적용하였다. 연구자들은 동기화된 두 대의 카메라에서 화상 비교 후, 대응점을 찾아 삼각측량법을 이용하여 3차원 위치 값을 결정하고 프레임간의 시간차를 이용해 유영 속도를 계산하였다. 카메라의 왜곡을 최소화하기 위해 교정하였지만 정확도는 3 m에서 오차율 0.5% 내외로 가장 높았으며, 8 m에서는 4% 이상이었다. 이를 기반으로 실제 측정에서는 오차율을 30% 정도로 예상하였다. 가두리 내의 참다랑어를 잡아서 실측과 비교하지 않아서 실제 측정오차의 보고는 없었다. 위 방법과 마찬가지로 자동화된 측정은 아니고 화면에서 길이를 측정하는 시스템이다. 따라서 정확한 측정 보다는 상대적인 크기로부터 양식 어류의 성장을 스트레스를 최소화하면서 모니터링하기에 좋은 방법으로 보인다(Yang et al., 2011).

수중 촬영 방법의 경우 고급 어종에 주는 스트레스를 최소화하며 성장 및 유영 상태 등을 모니터링할 수 있는 장점이 있지만, 컴퓨터 비전 시스템과 달리 거리가 고정된 카메라가 없어 스테레오 카메라를 구성해야만 거리를 결정할 수 있고 이에 따른 비용 증가와 함께 촬영한 어류를 즉시 포획하여 실측할 수 없어 길이 측정 오차의 정확도를 확인할 수 없다는 단점이 있다.

인공지능, 기계학습, 딥러닝 및 영상 인식

최근에는 연상분석과 관련된 연구는 대부분 기계학습(machine learning), 특히 딥러닝(deep learning) 기반의 측정 방법을 사용한다. 딥러닝은 영상분야에서 가장 활발하게 응용되어왔지만 현재는 음성 및 자연어 처리, 단백질 구조 예측, 신약개발 등 수많은 분야에서 뛰어난 성능을 발휘하고 있다. 기계학습이란 인공지능(artificial Intelligence, AI)이 판단하기 위해 이에 필요한 테이터의 어떠한 특징(feature)을 추출해 낼 때 인간의 개입을 최소화하여 프로그램을 사용하는 것을 말한다. 딥러닝은 기계학습 방법들 중에서 신경망(neural network; Fig. 2A)을 이용하는 기계학습 방법으로 망의 층이 증가, 혹은 깊어짐에 따라 성능이 향상되는 경향을 보여서 흔히 신경망을 이용한 기계학습을 딥러닝이라 한다. 최근 빅데이터와 GPU (graphic processing unit) 등 컴퓨터 하드웨어의 발달로 인해 층을 깊게 하여 설계된 신경망 기계학습의 경우 이미지 분류(영상 인식)와 같은 특정 영역에서는 인간의 판단력을 능가하게 되었다(He et al., 2016; Fig. 2B).

Fig. 2. A, An example of the neural network with two hidden layers; B, 2010-2015 ILSVRC (imagenet large scale visual recognition challenge) results and the best networks or companies. Since 2012 AlexNet, deep learning methods were the best.

합성곱 신경망

영상 인식 분야에서 딥러닝을 활용한 기법은 대부분 CNN (convolution neural network), 즉 합성곱 신경망을 기초로 한다(Fig. 3). 기존의 방법에서는 이미지를 1차원 배열로 평탄화한 후 입력을 받아서 신경망으로 전달하여 가중치를 최적화하였는데 이 방법에서는 한계가 있었다. 합성곱 연산은 2차원 또는 3차원 이미지를 입력으로 받아서 이미지 처리를 수행하는데 이는 필터 연산에 해당하고 이 필터 행렬의 값들을 최적화하는 과정이 신경망의 가중치를 최적화하는 과정이 학습에 해당한다. 평탄화는 이미지 분류 직전에 수행된다. 합성곱 입출력 데이터를 특징맵(feature map)이라 한다.

Fig. 3. A typical CNN architecture for image classification. CNN, Convolution neural network.

사물 검출 및 영상 분할

영상 인식 분야의 응용 중에서 사물 검출(object detection)과 영상 분할(segmentation)이 있다. 사물 검출은 영상 속 사물의 위치와 종류를 모두 알아내는 것으로 여러 사물이 겹칠 경우 사물의 일부분 만으로도 판단해야해 단순한 사물 인식보다 어렵다(Fig. 4A). 대부분 R-CNN (region with CNN)에 기반한 기법으로 후보 영역을 찾아내고, 그 영역에 CNN을 적용하여 사물을 인식한다. Mask R-CNN으로도 불리우는 영상 분할의 경우 영상을 픽셀 수준에서 분류하는 것으로 두 가지 종류가 있는데, 사물이 겹칠 경우 semantic segmentation에서는 동일한 사물끼리 한 번에 masking을 수행하고, instance segmentation에서는 동일한 사물도 개별로 masking을 수행한다(Fig. 4B).

Fig. 4. A, Object detection; B, Segmentation.

딥러닝 기반 측정 방법

최근 어류 측정 자동화 연구에서는 대부분의 딥러닝 기반의 사물 검출과 영상 분할을 사용하는 것으로 확인되었다. Konovalov et al. (2019)은 Link-Net34 (Chaurasia and Culurciello, 2017; Shevets et al., 2018)의 영상 분할을 이용하여 Asian sea-bass Lates calcarifer에 적용하였다. 연구팀은 어류 전체와 지느러미를 제외한 부분으로 나누어 학습시켜서 그 면적으로부터 선형, 다항식 및 멱급수 회귀분석 분석 방법을 통해 중량을 예측하였는데 최상의 결과는 멱급수 방법을 사용했을 때이며,

M=cS^3/2, c=0.170 ⋯⋯⋯⋯⋯⋯⋯⋯(1)

어류 전체의 면적을 사용했을 경우 중량예측 평균절대오차(mean absolute percentage errors, MAPE)는 4.36%로 보고되었다(Konovalov et al., 2019).

Monkman et al. (2019)은 유럽 바다농어(Dicentrarchus labrax)의 TL을 측정하기위해 ResNet (He et al., 2015), MobileNet (Howard et al., 2017) 및 NASNet (Zoph and Le, 2017)의 신경망을 이용한 세가지 R-CNN과 OpenCV 라이브러리의 ArUco marker (Garrido-Jurado et al., 2014) 검출을 사용하였다. ArUco marker는 크기와 방향이 정해진 기준 마커로서 카메라와 피사체의 거리와 무관하게 사물의 크기를 영상으로부터 결정할 수 있게 해준다. 이 경우 카메라를 고정할 필요가 없고 거리를 결정하기 위해 두 대이상의 카메라로 스테레오 카메라 시스템을 구축하지 않아도 되는 장점이 있다. 연구팀은 마커를 어류 표면에 두고 상대적 거리를 결정하고 사물(어류) 검출을 이용해 TL을 측정하였는데 평균 정확도는 93%로 보고되었다(Monkman et al., 2019).

Fernandes et al. (2020)은 Nile tilapia Oreochromis niloticus의 중량 예측에 SegNet (Badrinarayanan et al., 2015) 기반의 영상 분할 모델을 사용하였다. 연구팀은 탁자위에 고정된 카메라로부터 획득한 어류 영상을 몸통, 지느러미, 배경으로 분리하여 학습을 시켰는데, 그들은 지느러미를 제외한 몸통 부분의 면적으로 어류의 중량을 예측하였다. 몸통 면적의 2차 다항식으로 회귀분석한 경우 결과가 가장 좋았으며(R²=0.96), 중량을 예측한 결과 평균절대오차는 11.35%였다(Fernandes et al., 2020).

Alvarez-Ellacuria et al. (2020)은 수산물 경매장에서 획득한 European hake Merluccius merluccius가 정렬되어 들어있는 상자 영상으로부터 Mask R-CNN (He et al., 2017) 기반의 instance segmentation을 이용해 주둥이부터 배지느러미(pelvic fin)까지 길이로 정의되는 head length (HL)로부터 TL을 예측하였다. 상자는 알려진 규격으로부터 어류의 크기를 결정할 수 있어 기준 마커의 역할을 한다. Segmentation은 머리부분에만 적용되어 HL를 직접 예측하였고, TL은 HL의 로그함수 값으로부터 TL의 로그함수 값을 선형 회귀분석으로 추론하였다. 이는 상자 속에서 어류의 꼬리 부분이 서로 겹쳐서 영상에서 보이지 않는 것을 고려했기 때문으로 보인다. 상자에서 머리부분을 제대로 검출하는 비율은 87%였고, TL의 예측은 실측 20–27.5 cm의 TL 분포에서 1.7 cm의 편차(root mean squared deviation, RMSD)를 보였다(Alvarez-Ellacuria et al., 2020).

Palmer et al. (2022)은 Alvarez-Ellacuria et al. (2020)과 동일한 방법으로 어획된 dolphinfish Coryphaena hippurus 상자 영상으로부터 어획량과 FL을 예측하였다. 이번에는 머리부분이 아니라 어류 전체 영상을 instance segmentation 하였으며, 예측된 어획량(number of fish in a box)은 평균 96.06%의 정밀도(precision), 90.54%의 재현율(recall) 및 86.10%의 정확도(accuracy)를 보였고, FL의 예측은 30 cm부터 60 cm의 FL 분포에서 2.4 cm의 RMSD를 보였다.

국내에서는 Shin et al. (2021)이 스마트 양식을 위해 어류를 사물 검출을 이용해 경로를 추적하고 이동속도를 측정하는 연구를 수행하였다. Shin et al. (2021)은 Faster R-CNN (Ren et al. 2015), SSD (Liu et al., 2016), YOLO (Redmon et al., 2015) 등 세가지의 사물 검출방법을 이용해 수중 촬영 영상에 적용하였는데, 단일 카메라 영상을 이용하여 어류의 크기는 측정할 수 없었고, 양식 어장 내의 어체마다 고유번호를 할당하여 그 이동을 추적하여 속도를 계산할 수 있었다. 세가지 모델의 어류 검출 성능은 YOLO (version 4)가 정밀도(0.90)와 재현율(0.72)의 조화 평균인 F1-score가 0.80으로 가장 좋았고, 세 모델 중 검출 속도도 0.04초로 가장 빨랐다. 이미지증강 및 사전학습 파라미터를 쓸 경우 F1-score는 0.92까지 개선되었다(Shin et al., 2021).

딥러닝 기반의 측정 방법들은 대체로 카메라와 피사체의 거리를 고정하지 않을 경우 ArUco 마커나 상자 등 다른 기준 마커를 사용하여 거리를 결정하여, 컴퓨터 비전 시스템이나 스테레오 카메라를 구성하지 않아 비용이 저렴한 장점이 있었던 반면에 아직 전통적인 컴퓨터 비전 방법들을 사용한 경우보다 오차가 큰 단점이 있었다. 수중 촬영의 경우 스테레오 카메라를 구성하지 않으면 거리를 결정할 수 없고, 촬영된 개체를 즉시 포획하지 않으면 실측할 수 없어 오차 측정이 불가능한 단점은 여전하였다. Table 1에서 앞서 다루었던 방법들과 장단점을 정리하였다.

Table 1. A literature review of automated fish measurement

¹Error in body weight measurement. ²Root mean squared deviation.

고찰

본 총설에서는 어류의 외부 형질을 전통적인 방법으로 측정하는 연구부터 최근 발달한 딥러닝을 활용한 방법까지 다양하게 살펴보았다. 최근 딥러닝 기반의 기계학습은 영상분야 외에도 많은 연구에 활용되고 있다. 우리는 최근 활발히 진행되는 딥러닝을 활용한 방법들을 이해하기 위해 AI, 기계학습 및 딥러닝의 기초적인 이론에 대해 살펴보았고 이를 응용한 다양한 기법들에 대해 알아보았다. 국내 연구에서는 전통적 컴퓨터 비전을 활용한 방법에 비해 딥러닝을 활용한 어류 외부 형질 측정 자동화 연구가 아직 활발하지 않은 것을 확인할 수 있었다. 하지만 최근 국제적 연구 추세와 스마트 양식의 필요성, 단순 반복된 측정 작업으로 인한 오차 증가 및 인력 소모를 방지하기 위해 곧 다양한 딥러닝 기반의 정확도 높은 어류 측정 자동화 연구가 활발히 진행될 것으로 기대된다.