A technique for predicting the cutting points of fish for the target weight using AI machine vision

Abstract

In this paper, to improve the conditions of the fish processing site, we propose a method to predict the cutting point of fish according to the target weight using AI machine vision. The proposed method performs image-based preprocessing by first photographing the top and front views of the input fish. Then, RANSAC(RANdom SAmple Consensus) is used to extract the fish contour line, and then 3D external information of the fish is obtained using 3D modeling. Next, machine learning is performed on the extracted three-dimensional feature information and measured weight information to generate a neural network model. Subsequently, the fish is cut at the cutting point predicted by the proposed technique, and then the weight of the cut piece is measured. We compared the measured weight with the target weight and evaluated the performance using evaluation methods such as MAE(Mean Absolute Error) and MRE(Mean Relative Error). The obtained results indicate that an average error rate of less than 3% was achieved in comparison to the target weight. The proposed technique is expected to contribute greatly to the development of the fishery industry in the future by being linked to the automation system.

본 논문에서는 이러한 어류 가공 현장의 문제점을 개선하기 위해서 AI 머신 비전을 이용한 어류의 목표 중량 절단 예측기법을 제안한다. 제안하는 방법은 먼저 입력된 물고기의 평면도와 정면도를 촬영하여 이미지기반의 전처리를 수행한다. 그런 다음 RANSAC(RANdom SAMmple Consensus)를 사용하여 어류의 윤곽선을 추출한 다음 3D 모델링을 사용하여 물고기의 3D 외부 정보를 추출한다. 이어서 추출된 3차원 특징 정보와 측정된 중량 정보를 머신러닝하여 목표 중량에 대한 절단 지점을 예측하기 위한 신경망 모델을 생성한다. 마지막으로 제안기법을 통해 예측된 절단 지점으로 직접 절단한 뒤 그 중량을 측정하였다. 그리고 측정된 무게를 목표 무게와 비교하여 MAE(Mean Absolute Error) 와 MRE(Mean Relative Error)와 같은 평가 방법을 사용해 성능을 평가하였다. 그 결과, 목표 중량과 비교해 3% 이내의 평균 오차율을 달성하였다. 제안된 기법은 향후 자동화 시스템과 연계되어 수산업 발전에 크게 기여할 것으로 전망한다.

I. Introduction

수산업은 수십 년 동안 인류의 식품 공급원으로서 중요한 역할을 해오고 있으며 최근까지도 계속 자동화 설비의 설치와 함께 거대하게 성장하고 있다[1-6]. 수산업의 성장과 함께 어획량 또한 급격하게 커지고 있어 작업자의 수는 더 많이 필요해지는 실정이며 이에 따라 수산업의 향상된 작업 환경을 위한 다양한 방법들이 연구되었다[7-11]. 이러한 연구들은 일반적으로 어류의 분류, 양식 분야에서 생산성과 수익성을 향상하려는 방법들이고 대부분 머신 비전을 활용하고 있다. 머신 비전을 이용한 객체의 특징을 추출하는 연구는 어류 이외에도 닭이나 돼지 같은 가축에도 널리 사용되고 있어서, 식품 분야에서는 매우 유망한 기술이다[12-13]. 또한 최근에는 딥러닝 기반의 AI 기술이 비약적인 발전을 이루었으며 머신 비전과 함께 수산업 분야에서 다양하게 적용되고 있다[14, 15]. 특히 AI는 머신 비전의 결합은 강력한 시너지효과를 보인다[16-22]. 이들이 결합한 AI 머신 비전은 상당히 강력한 성능을 자랑하기 때문에 앞으로도 수산업을 포함한 다양한 산업 분야에서 기대되는 기술로 주목받을 것이다.

이러한 AI와 머신 비전은 어류 양식 분야에서 주로 활용되었다. 살아있는 어류의 길이, 중량을 측정하여 어류양식의 관리 효율성을 개선하는 연구들이 대표적이다[8, 23, 24]. 또한 어획된 어류를 분류하기 위한 연구에도 많이 적용되었다. Balaban은 미국에서 어획량이 상당히 많은 알래스카 연어의 분류를 사람이 수작업으로 진행 중임을 지적하며 이를 개선하기 위해 머신 비전을 활용하였다 [25]. Hauser는 신경망을 기술을 이용하여 3가지 어종을 분류하기 위한 모델을 학습시켰다[14].

어류 처리 기술의 발전에도 불구하고 지금까지 어류를 손질은 사람이 수동으로 처리하는 전통적 방법을 사용하고 있다. 자동화를 위한 다양한 설비와 소프트웨어가 갖춰져 있더라도 반드시 작업자가 개입해야 하는 부분이 있어 완전한 효율을 얻을 수는 없다[26-28].

어류의 가공하는 작업자는 주로 전기톱이나, 칼을 사용하기 때문에 어류의 손질 작업은 매우 위험하다. 또한 매우 많은 숙련된 작업자를 필요로 한다. 수산업의 성장과 함께 어획량 또한 급격하게 커지고 있어 작업자에 의한 수동 손질 작업은 점점 더 큰 비용이 필요할 것이다[29].

식품을 대량을 취급하는 단체급식업체에서는 공급과 수요가 많은 어류에 역시 많이 취급하고 있으며 이들 업체는 균등한 배식을 하므로 어류가 깔끔하게 손질되고 정량으로 절단된 상태로 납품받길 원한다. 하지만, 생선은 곡선을 이루고 있으며 모양이 머리부터 꼬리까지 같은 폭이 일정하지 않기 때문에 고른 토막을 내기 어려운 문제점이 있다[30-31].

Hossein의 연구에서는 영상처리 알고리즘을 이용하여 어류의 길이와 지느러미 정보에 기반한 머리와 배의 절단 지점을 예측하였다[32]. 그러나 이 연구는 어류의 부위별 토막 내기와 관련되어 있어서 목표 중량으로 고르게 토막 내는 작업에 적용하기는 어렵다. 그 외에도 어류의 중량을 예측하기 위한 많은 도전이 연구되었으나 어종을 분류하거나 어류의 성장상태를 확인하기 위한 중량 예측이 대부분이다. 불행히도 원하는 중량에 맞추어 절단하려는 자동화 연구는 거의 찾아보기 힘들다. 따라서 본 연구에서는 어류 가공작업 현장의 근무환경을 효율적으로 개선하기 위한 어류의 목표 중량 절단 지점 예측기법을 제안하고자 한다. 제안기법은 영상처리와 분할 RANSAC(RANdom SAmple Consensus partitioning technique)을 이용해 3차원 모델링과 3차원 특징 정보를 추출하고, 추출된 3차원 특징 정보와 중량 간의 상관관계를 머신러닝하여 목표 중량에 대한 절단 지점을 예측하는 모델을 생성한다. 마지막으로 학습된 예측 모델의 성능을 평가하여 제안기법의 우수성을 검증한다.

II. Preliminaries

1. Related works

어류에 관한 연구들은 주로 양식장에서 효율적인 어류의 관리 또는 어종에 대한 분류를 위한 방법들을 설명하고 있으며 대부분 촬영된 영상으로부터 어류의 외형적 특징을 추출하여 원하는 목표를 달성하고 있다. 표 1은 관련연구들을 요약하여 나타낸 것이다.

Table 1. Summary of Related works

Hauser-Davis(et al)의 연구에서는 브라질에서 주로 어획되는 geophagus brasiliensis(acaras), tilapia rendall(tilapias), mugil liza(mullets)에 대한 분류에 통계기법과 신경망 기법을 활용하였다[14]. 이 연구에서는 총 250개의 표본을 이용하여 어류의 총길이(Total), 표준길이(standard), 머리 길이(head), 머리 높이(height), 성별 정보를 측정하고 신경망에 학습시켜 우수한 분류성능을 검증하였다.

Balaban은 알래스카 연어의 4가지 종류에 대해서 연어의 중량을 예측하기 위한 연구를 수행하였다[25]. 먼저 촬영된 이미지 속의 연어를 피팅할 수 있는 최적의 사각형을 계산한다. 그다음 연어의 크기와 최적 사각형의 크기를 이용해 연어의 면적정보를 계산하였고 면적정보와 중량 간의 상관관계를 학습하는 다양한 회귀식을 생성했다. 이 연구에서 연어의 면적정보와 단순한 2차 함수만 활용해도 중량을 예측하는데 충분함을 주장했다.

Man은 어종을 분류하기에 유용한 길이 정보를 쉽게 획득하기 위해 디지털 카메라를 활용할 수 있음을 제안했다 [33]. 디지털 카메라의 렌즈를 이용한 굴절정보 그리고 렌즈와 어류 간의 거리를 이용하여 실제 어류의 길이를 예측할 수 있었고 실제로 측정한 길이와 비교해서 6% 이내의 오차를 보이는 성능을 달성했다.

Al-Jubouri는 어류의 양식 분야에서 머신 비전 기술이 필요함을 강조했고 저가형 머신 비전을 이용한 자유롭게 헤엄치는 어류로부터 길이를 측정하는 방법을 제안하였다 [24]. 먼저 서로 다른 위치의 2대의 카메라가 촬영한 영상으로부터 카메라와 어류 간의 거리정보를 추정한다. 마지막으로 추정된 거리정보는 이미지 속 어류의 길이와 함께 실제 어류의 길이 정보를 추정하는 데 사용된다. 영상을 통해 추정된 어류의 길이는 약 1% 이내의 오차만을 보여 우수한 성능을 검증했다.

Miranda 역시 양식에서 어종 분류를 위한 자동 길이 측정 기술의 필요성을 언급하며 이를 해결하기 위해서 무지개송어의 길이를 측정을 위한 프로토타입을 개발하였다 [23]. 무지개송어는 물의 흐름을 거슬러 헤엄치려 하는 본능적 행동을 하고 있으므로 이러한 특성을 이용해 무지개송어가 좁은 수로를 지나도록 프로토타입을 설계하였다. 좁은 수로를 지나면 수로 내부의 카메라가 송어를 캡처하고 여러 가지 영상처리 기술을 이용해 송어의 길이를 추정한다. 추정된 길이에 대한 평균절대오차(MAE, Mean Absolute Error)는 1.413g을 달성했으며 상당히 고무적인 결과임을 주장했다.

Dmitry는 길이 너비 등의 어류의 형태학적 특징을 정확하게 추론하는 다양한 연구들이 있지만, 중량에 대한 추론은 정확하지 않음을 지적했다[34]. 따라서 어류를 촬영하고 지느러미를 제거한 후 이진화를 거친 영상을 최종적으로 획득하고 실제 중량을 각각 측정하여 CNN(Convolutional Neural Network) 기반의 중량 추정 모델을 위한 데이터 세트를 생성하였다. 훈련된 중량 추정 모델은 여러 가지 실험에 대해서 4~11%의 평균 오차율 (MRE, Mean Relative Error)을 달성하였다.

앞서 서술된 연구들은 대부분 어류가 온전한 상태일 때 중량을 예측하는 방법을 설명하고 있다. 그러나 본 연구에서는 단체급식업체의 요구에 맞게 원하는 중량에 맞춰 절단된 어류를 납품하기 위한 어류의 중량 예측을 목표로 한다. 본 연구와 같은 목표를 가진 Hyeon의 연구에서는 3차원 정보를 이용한 중량 예측을 시도하였다[35]. 이 연구에서 어류의 3차원 외형을 얻기 위해 레이저 스캐너를 이용했고 얻어진 어류의 3차원 외형정보로부터 어류의 길이별 중량을 계산하는 방법을 제안했다. 그 결과, 목표 중량으로 고르게 절단할 수 있는 지점을 예측할 수 있었고 실제로 절단된 조각의 중량을 측정하여 어종별로 6~8% 이내의 오차를 달성하여 현장에서 적용 가능한 수준임을 주장하였다. 그러나 어류의 3차원 외형을 검출에 사용되는 레이저 스캐너는 현장에서 적용하기에 너무 많은 사용 시간을 소모한다. 또한 어류 뼈, 살, 내장 등으로 인해 모든 부위의 밀도가 고르지 않음에도 불구하고 통일된 밀도정보를 이용해 중량을 계산한다. 이러한 한계점들로 인해 아직 현장에 적용하기에 개선점이 많다.

III. The Proposed Scheme

제안기법은 전처리, 어류의 2차원 모델링, 어류의 3 차원모델링, 머신러닝기반 중량별 절단 지점 예측의 4단계 (phase)로 구성되어 있으며 그림 1에 제안기법의 개요를 나타내었다. 먼저 어류가 전처리단계에 투입되면, 전처리기 내에서 어류의 이미지가 촬영된다. 어류의 이미지는 더 효율적인 2차원 모델링을 위해서 영상처리 기반의 필터에 의해 거처 전처리 된다. 2차원 모델링 단계에서는 어류의 윤곽선을 2차 방정식 모델로 근사화하고 3차원 모델링 단계에서는 어류의2차원 윤곽선 모델로부터 어류의 3차원 외형을 모델링하고 이로부터 부피, 길이, 두께 정보를 추출한다. 절단 지점 예측 단계에서는 전 단계에서 추출된 3 차원 정보를 머신러닝 기반 목표 중량 절단 지점 예측 모델에 입력하여 목표 중량에 대한 각 절단 지점을 예측한다. 절단 지점 예측 모델은 부피, 길이, 두께에 대한 중량을 사전에 학습하였다.

Fig. 1. System Architecture

1. Preprocessing Phase

3차원 외형 추출을 위해서는 적어도 두 가지 관점에서 촬영된 이미지 정보가 제공되어야 3차원 외형 추출이 가능하다. 따라서 전처리기 내의 2대의 카메라는 어류로부터 위에서 아래로 내려다본 평면도(floor plan)와 정면에서 바라본 정면도(front view)를 동시 촬영한다. 촬영된 평면도와 정면도는 영상처리 기반의 필터링을 거친다. 필터링을 위해서 연산량 감소를 위한 grayscale, 대략적인 윤곽선을 나타내기 위한 high pass filter, 잡음 제거를 위한 masking, Gaussian blurring, binarization의 영상처리가 기법이 사용되었다. 이러한 필터링 작업은 어류의 윤곽선을 보다 효율적으로 검출할 수 있도록 도와줄 수 있다. 그림 2는 효율적인 2차원 모델링을 위한 전처리과정을 보인다.

Fig. 2. Process of preprocessing the floor plan using image processing filters

2. Two-Dimensional Modeling Phase

3차원 외형 추출기는 윤곽선 모델링 단계와 3차원 모델링 단계로 구성된다. 먼저 전처리 된 평면도와 정면도로부터 각각 어류의 윤곽선을 모델링한다. 윤곽선 모델링을 위해서 처리 속도와 잡음에 강한 RANSAC(RANdom SAmple Consensus)이 사용되었다[36]. 어류의 2차원 윤곽선을 모형화하기 위해, 먼저 전처리 된 어류의 이미지로부터 임의의 점 세 개를 추첨한다. 그리고 세 점을 지나는 2차 방정식 모델을 구한다. 구해진 2차 방정식 모델이 적절한 윤곽선 모델이 될 수 있는지 검증하기 위해 모델로부터 거리가 임계거리 t 이하인 점들의 개수를 구한다. 이것은 추첨 된 모델과 가까운 점들의 개수가 얼마나 많은지를 의미하며 이 개수가 높을수록 윤곽선 모델에 적합하다. 마지막으로 임의의 세 점을 반복적으로 추첨하여 가장 높은 점수(개수)를 얻은 2차 방정식 모델이 윤곽선 모델로 채택된다. 그림 3의 각 그림은 임의로 선택된 가 2차 방정식 모델에 대한 점수를 나타낸 것으로, 세 그림 중에서 그림 3-(c)의 모델이 임계거리 t 내에 포함된 점들이 39개로 가장 많다(빨간색은 모델생성을 위해 추첨이 된 임의의 세점, 초록색은 모델을 지지하는 점들). 아마도 반복을 통해 추첨이 된 여러 모델 중 그림 3-(c)에서 보이는 모델이 적절한 모델일 가능성이 크다. RANSAC에서 추첨이 된 m개의 점이 적절한 모델의 inlier일 확률은 식 1과 같다.

\(p=1-\left(1-a^{m}\right)^{N}\)       (1)

식 1에서 m은 추첨이 되는 점의 수, a는 모든 점 중에서 inlier의 비율, p는 N 번 추첨했을 때 m 개의 점들이 모두 inlier일 확률이다. 따라서 식2와 같이 적절한 윤곽선 모델 추첨을 위한 최소 반복 횟수 N을 유도할 수 있다.

\(N=\frac{\log (1-p)}{\log \left(1-a^{m}\right)}\)       (2)

Fig. 3. Selection of a suitable model using RANSAC

RANSAC을 이용하여 어류의 적절한 윤곽선 모델링을 수행하였으나 어류는 꼬리 부분에서 포물선이 반대로 휘어지는 변곡점이 있다.

Fig. 4. Limitation of the fish outline model using RANSAC

그림 4는 단순히 2차원 방정식 모델을 얻어내는 것으로 완전히 문제를 해결할 수 없음을 보인다. 머리 방향으로 상단 윤곽선을 확장했을 때 모델의 피팅이 적절하지 않다. 이러한 문제는 하단 윤곽선을 꼬리 방향으로 확장했을 때도 마찬가지일 것이다. 따라서 이러한 문제를 해결하기 위해 그림 5와 같은 분할 RANSAC을 제안한다.

Fig. 5. Process of modeling the fish outline using partitioning RANSAC

어류가 항상 거의 유사한 위치에 배치된다고 가정하면 변곡점 지점 역시 거의 유사한 위치에 배치될 것이다. 먼저 평균적인 변곡점의 x 좌표 inf_x를 기준으로 이미지를 좌우로 분할 한다. 또한 어류의 중심을 기준으로 이미지를 상하로 분할 한다. 그러면 그림 5-a처럼 총 4개의 영역(좌상, 좌하, 우상, 우하)으로 분할된다. 그다음 그림 5-b에서 보이는 것처럼 우상, 우하 영역에 대해 각각 RANSAC을적용하여 어류의 윤곽선을 모델링한다. 이때 우상 영역의 윤곽선 모델에서 가장 작은 x을 가지는 점을 p1이라 하고 우하 영역의 윤곽선 모델에서 가장 작은 x를 가지는 점을 p2라 한다. 그다음 좌상, 좌하 영역에서 RANSAC을 이용하여 윤곽선을 모델링한다. 단, 윤곽선 모델링을 위한 세점을 추첨할 때, 좌상 영역에서는 p1, 좌하 영역에서는 p2 를 반드시 포함한다. 그러면 5-c에 보이는 것처럼 좌상의 윤곽선과 우상의 윤곽선이 연결되고 또한 좌하와 우하의 윤곽선이 연결된다. 그림 6은 RANSAC을 이용하여 어류의 윤곽선을 추출하는 과정을 보인다.

Fig. 6. Process of detecting the outline of the fish using 2D modeling

3. Model for Predicting the Cutting Points of Fish Based on the Target Weight

그림 7은 어류의 3차원 외형을 모델링하는 과정을 보인다. 먼저 두 윤곽선에서 임의의 x 좌표 p에 대한 어류의 두께 정보를 이용해 타원을 만든다. 타원을 만들기 위해평면도의 p 지점에 대한 어류의 두께 정보는 2a_p로, 정면도의 p 지점에 대한 어류의 두께 정보는 2b_p로 정의한다. 그러면 2a_p는 장축, 2b_p는 단축이 되어 타원을 나타낼 수 있다. 또한 어류의 모든 구간의 타원을 연결하면 어류의 3 차원 외형을 얻을 수 있다. 이때 p 지점의 타원의 넓이는 식3으로 계산할 수 있다. 또한 꼬리 지점부터 시작해서 길이 l까지의부피는 식 4를 통해 얻을 수 있다. 결과적으로 최초의 어류의 영상으로부터 3차원 모델링을 통해 어류의 부피, 길이, 최대 장, 단축 등의 3차원 정보를 얻을 수 있다. 이하 두께에 대한 정보는 타원의 장, 단축으로 대신한다. 이러한 3차원 정보와 실제로 관측된 중량 간의 관계를 머신러닝 할 수 있으며 머신러닝 기반의 중량별 절단 지점예측 모델을 구현할 수 있다.

Fig. 7. Modeling of the 3D appearance of a fish

\(A r e a_{p}=a_{p} b_{p} \Pi\)       (3)

\(\operatorname{Vol}(l)=\int_{0}^{l-1} A r e a_{x} d x\)       (4)

어류의 중량을 구하기 위해서는 계산된 부피에 밀도를 곱하는 것으로 해결할 수 있다. 그러나 어류는 살로 가득 찬 부위, 내장이 있는 부위 등 부위별로 밀도가 달라서 모든 부위에 대해서 같은 밀도를 적용할 수 없다. 따라서 영상에서 추출된 3차원 정보(부피, 길이, 최대 장·단축과 실제 관측 중량 간의 상관관계)를 머신러닝하여 어류의 중량을 예측할 수 있다. 머신러닝을 위해 그림 10에서 보이는 것처럼 다양한 길이로 절단된 꽁치 샘플을 100건 생성하였다. 각 샘플들로부터 전처리, 2차원 모델링, 3차원 모델링 단계를 거쳐 3차원 특징 정보를 추출하고 실제 관측 중량을 모두 기록하여 데이터 세트를 생성하였다. 표 2는 머신러닝을 위한 데이터 세트에 대한 스키마를 나타낸다. 길이, 여기서 최대 장․단축, 부피 정보는 설명변수, 관측 중량은 반응변수로 사용되었다.

Fig. 8. Prediction of the cutting points for 30g using the pre-trained model for predicting the cutting points for each weight (Green line (left): min; Green line (right): max; Blue lines: cutting points)

Table 2. Dataset schema for training

3차원 특징 정보와 중량 간의 관계를 머신러닝하기 위한 기법으로는 인공신경망을 선택하였다. 사전에 학습된 절단 지점 예측 모델이 입력된 어류로부터 3차원 특징 정보를 전달받으면, 모델은 길이를 꼬리 방향(min)부터 머리 방향 (max)으로 예측된 중량 pw가 목표 중량 tw에 도달할 때까지 길이(l)를 증가시킨다. pw가 tw에 도달했을 때, 길이 l1 은 tw에 대한 첫 번째 절단 지점이 된다. 이어서 pw가 2*tw가 될 때 길이 l2는 두 번째 절단 지점이 된다. 즉, pw 가 n*tw가 되는 길이는 n번째 지점이 된다. 그림 7은 tw를 30g으로 두었을 때 어류의 각 절단 지점을 나타낸 것이다.

IV. Experiment

1. Experimental Environment and Procedure

제안기법의 성능을 검증하기 위해 총 150마리의 꽁치가 사용되었다. 그중 30마리는 그림 10에 보이는 것처럼 다양한 길이로 절단되어 훈련을 위한 데이터 세트 생성에 사용되었다. 그리고 나머지 120마리는 평가에 사용되었다. 성능검증에 사용되는 120마리 중 60마리는 목표 중량 40g 에 대한 실험, 나머지 60마리는 목표 중량 60g에 대한 실험에 사용되었다. 실험 절차는 그림 9`에 나타내었다.

Fig. 9. Procedure for evaluating the proposed technique

또한 실험을 위한 H/W 및 S/W의 실험환경을 표 3에 나타내었다. 먼저 목표 중량과 함께 꽁치를 캡처 상자에 입력한다. 이때 꽁치는 캡처 상자 내에 고정된 위치에 항상 배치된다. 캡처 상자에는 평면도와 정면도를 촬영할 2 대 카메라와 조명이 있다. 캡처 상자에서 꽁치가 촬영되면 전처리, 모델링 과정을 거처 3차원 특징 정보가 추출되고 추출된 정보는 학습된 모델에 의해서 목표 중량에 대한 절단 지점을 예측하여 시각화한다. 마지막으로 실제로 예측된 절단 지점대로 절단하여 그 중량을 측정한다.

Table 3. Detail of experiments

측정된 결과는 평균 절대 오차와 평균 오차율(MRE, Mean Relative Error)을 이용하여 그 성능을 평가하였고 그 식 5, 6에 각각 나타내었다. 여기서 y^{^}는 목표 중량을, y_k는 k번째 샘플의 관측 중량, 그리고 n은 전체 샘플 수를 의미한다.

\(M A E=\frac{1}{n} \sum_{k=1}^{n}\left|\hat{y}-y_{k}\right|\)       (5)

\(M R E=\frac{M A E}{\hat{y}} \times 100\)       (6)

2. Performance Evaluation

표 4는 목표 중량 40g에 대한 성능평가를 보인다. 이 실험에서는 총 60마리의 샘플이 사용되었으며 실험 결과에 대한 MAE, MRE, Max Error를 나타내었다. 목표 중량 40g 실험에서 첫 번째 조각의 MAE는 1.19g, MRE는 2.99% 그리고 Max Error는 2g을 달성했다. 이것은 첫 번째 조각들은 평균적으로 1.19g의 오차를 보이고 있으며 백분율로 변환했을 때는 약 3%의 오차율을 의미한다. 또한 가장 오차가 큰 값은 2g이었다. 이어서 2번째 조각에 대한 MAE는 1.42, MRE는 3.55% 그리고 Max Error는 2g이다. 세 번째 조각의 MAE는 1.41g, MRE는 3.54 그리고 Max Error는 2g이다. 모든 조각의 평균 오차율은 약 3% 이내인 것으로 나타났다.

Table 4. Performance evaluation for the 40-g target weight

표 5는 목표 중량 60g에 대한 성능평가를 보인다. 이 실험에서도 총 60마리의 샘플이 사용되었다. 이 실험에서도 모든 조각이 3% 대의 평균 오차율을 보였다.

Table 5. Performance evaluation for the 60-g target weight

실제 현장에서 허용 가능한 오차는 중량의 오차율은 8% 이내이며 제안기법인 달성한 약 3%의 오차율은 아주 우수한 편으로 판단된다. 또한 3차원 모델링을 위해 영상처리기법이 활용되었으며 처리시간은 모두 0.01초 이내로 컨베이어 벨트가 동작하는 환경에서 지연이 거의 없는 수준으로 적용이 가능할 것으로 전망한다.

V. Threats to validity

성능평가 결과, 제안기법의 성능은 목표 중량과 비교해서 전반적으로 3% 이내의 오차율을 보이며 우수한 성능을 보임에도 불구하고 완전히 신뢰하기는 어렵다. 첫 번째 이유는 실험에 사용된 꽁치 샘플은 겨우 총 150마리였으며 이 수치는 제안기법의 객관적인 성능을 평가하기에 상당히 부족할 수 있다. 객관적 성능을 평가하기 위해서 아마 몇천, 또는 몇만 마리까지의 샘플이 필요할지 모른다. 또한 다양한 어종에 대한 성능평가 역시 고려되어야 할 상황이다. 그러나 대용량의 어류를 공급받기 위한 지원을 받기에 현실적인 어려움이 있어 소량의 어류를 직접 준비하는 수준에 그쳤다. 두 번째 이유는 실험환경 구성에 대한 어려움이다. 어류를 제대로 절단하기 위해서는 어류의 냉동상태를 유지할 필요가 있지만, 상온에서 냉동상태를 유지하는 시간은 매우 짧다. 결국 특별한 실험환경(어류의 냉동고) 없이 샘플을 온전하게 보존하기는 매우 어려웠으므로 절단 작업을 하면서 여러 번 수행 착오를 겪을 수밖에 없었다. 마지막으로 영상처리에 사용된 각종 필터에 대한 파라미터 설정의 최적화 문제이다. 실험에 사용된 파라미터들은 대부분 디폴트이거나 실험 결과에 유리하도록 수동으로 직접 설정하였다. 어떤 환경(조명, 어종)에서든 객관화된 성능을 내기 위한 파라미터 선택의 방법이 반드시 요구될 것이다.

VI. Conclusions

많은 양의 어류를 다루는 식품 제조가공업체에서는 정량으로 포장되어 납품하기를 원한다. 특히 손질하기 어려운 어류의 경우는 숙련된 작업자에 의해 수작업이 이루어진다. 또한 일부 자동화 가공용 기계를 사용하는 현장도 있으나 해당 기계들은 다양한 형태를 보이는 생선들을 가공하기에 너무 단순한 구조이며 목표 중량에 대한 오차 또한 큰 편이다. 본 논문은 위와 같은 부분을 해소하여 식품 제조가공업체들의 근무환경을 개선하고자 이미지 처리와 머신러닝을 이용한 어류의 중량별 절단 지점 예측기법을 제안했다. 제안하고자 하는 기법은 어류의 이미지로부터 각종 영상처리 기술과 분할 RANSAC을 이용하여 어류의 3차원 모델링과 길이, 최대 장축·단축, 부피 정보를 추출한다. 추출된 3차원 특징 정보와 실제로 측정된 중량 정보를 학습한 모델은 입력한 어류 이미지로부터 원하는 중량에 대한 절단 지점을 예측할 수 있다. 제안기법에 대해 성능평가를 한 결과 목표 중량과 예측 중량 간에는 약 3% 미만의 평균오차를 보였다. 이것은 실제 현장에서 사용 가능한 수준인 8%보다 훨씬 우수한 성능으로 판단된다. 제안기법은 절단 기계와 컨베이어 벨트를 연동하여 중량을 고려한 절단 자동화 시스템 개발에 크게 이바지할 수 있을 것으로 전망한다. 그러나 본 연구는 실험환경 구성에 어려움이 있어 다수의 다양한 어종에 대한 실험이 고려되지 않은 점과 이미지 처리에 사용된 파라미터에 대한 최적값을 찾는 기법이 부재하여 지금까지 상용화적 측면에 관한 연구가 미흡한 상태이다. 현장에서 제안기법의 실제 적용을 위해서는 앞서 언급한 문제들이 반드시 해결될 필요가 있다. 따라서 이를 향후 과제로 남긴다.