Separation of Occluding Pigs using Deep Learning-based Image Processing Techniques

딥 러닝 기반의 영상처리 기법을 이용한 겹침 돼지 분리

Abstract

The crowded environment of a domestic pig farm is highly vulnerable to the spread of infectious diseases such as foot-and-mouth disease, and studies have been conducted to automatically analyze behavior of pigs in a crowded pig farm through a video surveillance system using a camera. Although it is required to correctly separate occluding pigs for tracking each individual pigs, extracting the boundaries of the occluding pigs fast and accurately is a challenging issue due to the complicated occlusion patterns such as X shape and T shape. In this study, we propose a fast and accurate method to separate occluding pigs not only by exploiting the characteristics (i.e., one of the fast deep learning-based object detectors) of You Only Look Once, YOLO, but also by overcoming the limitation (i.e., the bounding box-based object detector) of YOLO with the test-time data augmentation of rotation. Experimental results with two-pigs occlusion patterns show that the proposed method can provide better accuracy and processing speed than one of the state-of-the-art widely used deep learning-based segmentation techniques such as Mask R-CNN (i.e., the performance improvement over Mask R-CNN was about 11 times, in terms of the accuracy/processing speed performance metrics).

1. 서 론

현재 대다수의 국내 돈사에서는 좁은 공간에서 다수의 돼지들을 밀집 사육하는 환경으로 구성되어 있다. 이러한 밀집 사육 환경은 돼지들의 스트레스를 유발하며, 면역력을 저하시키고 구제역과 같은 전염병 확산에 매우 취약하다. 이러한 피해를 막기 위해양돈 농가에서는 개별 돼지들에 대한 세밀한 관리가 요구된다. 그러나 국내 양돈 농가의 환경은 관리자 1명당 약 1,800두 이상의 돼지들을 직접 관리 해야 하기 때문에 세밀한 관리가 어려운 실정이다.

이러한 문제점을 해결하기 위하여, 국내에서는 감시 카메라를 활용하여 돈사 내 개별 돼지들의 행동을 자동으로 관리하기 위한 다양한 연구가 보고되고 있다[1-7]. 특히, 좁은 공간에서 밀집한 돼지를 개별 돼지로 분리하는 것은 개별 돼지의 행동 분석을 위한 필수적인 요소이다. 최근 딥 러닝 기반의 객체 탐지 기법인 YouOnlyLookOnce(YOLO)[8]를 사용한 연구가 보고되고 있다.YOLO는 영상 내 객체를 탐지하는 딥 러닝 기법으로 실시간 처리가 가능한 빠른 수행 속도가 장점인 기법이다. 이에 따라, YOLO와 영상처리 기법을 사용하여 밀집 환경에서의 돼지를 먼저 탐지하고 근접한 돼지(touching pigs)를 개별돼지로 분리하는 방법[9,10]이 제안되었다.

그러나 YOLO는 작은 객체를 탐지하지 못하는 단점이 있기 때문에 YOLO를 사용하여 겹침 돼지(occluding pigs)를 분리할 경우 근접 돼지 분리에서 발생하지 않는 문제점이 발생한다. 예를 들면, 겹침돼지는 X 모양과 T 모양 등 다양한 형태의 모양으로 겹침이 발생하며, 이때 두 마리 돼지의 겹치는 부분이 많은 경우 겹침이 발생하지 않은 부분은 작은 객체로 판단된다. 즉, 작은 객체로 판단된 부분은YOLO를 적용하였을 때 탐지되지 않는 문제점이 발생한다. 따라서 YOLO를 이용하여 겹침 돼지를 개별돼지로써 분리하기 위한 새로운 방법이 요구된다.

본 논문에서는 YOLO와 영상처리 기법을 이용한 돈사 내 겹침 돼지의 탐지 및 분리 방법을 제안한다. 먼저, 테스트 시 외곽 사각형(boundingbox) 기반 객체 검출기의 한계를 극복하기 위하여 돼지의 겹침상황이 발생한 영상을 여러 각도로 회전시킴으로써데이터의 양을 증강시킨다. 이후 원본 데이터를 포함하는 증강된 데이터에 YOLO를 수행함으로써 각각의 회전 데이터에 대한 외곽 사각형을 획득한다. 마지막으로, 획득된 여러 외곽 사각형 중 겹침 돼지 분리에 최적인 회전 각도를 선정하고, 영상처리 기법을 이용하여 겹침 돼지를 분리하는 방법을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 근접객체 분리와 관련한 기존 연구와 겹침 객체 분리와 관련한 기존 연구들을 간략하게 소개하고, 3장에서는 본 연구에서 제안하는 겹침 돼지 분리 방법에 대해 기술한다. 4장에서는 제안한 방법으로 실험한 결과를 객관적인 지표로 평가하고, 마지막으로 5장에서 결론 및 향후 연구에 대해 언급한다.

 

2. 관련 연구

카메라로부터 획득한 영상을 이용하여 근접 객체를 분리하는 다양한 방법들이 제안되었다. 대표적인 예로, 2차원의 영상 데이터에서 근접 돼지의 외곽선데이터를 1차원의 시계열 데이터로 분석함으로써 근접한 두 마리의 돼지를 분리하는 방법이 제안되었다[11]. 근접한 돼지 간 두 개의 오목점을 탐색하고 해당 오목점(concavepoint)들을 연결함으로써 근접한 돼지를 개별 돼지로써 분리하였다. 그러나 겹침 상황이 발생한 돼지들은 기존의 근접 돼지 분리 방법을 적용하여도 개별적으로 분리되기 어려운 문제점이 존재한다. 예를 들면, 겹침 돼지 문제의 경우 겹쳐있는 돼지의 모양이 X 모양,T 모양 등 복잡한 형태를 나타내고, 이와 같은 복잡한 겹침 상황에서는 두개 이상의 오목점이 획득되기 때문에 겹침 돼지를 분리하는 정확한 오목점을 획득할 수 없다.

다른 연구로는, 감시 카메라 환경에서 사람과 차량의 겹침에 관하여 객체의 모양 정보와 색상 정보를 이용함으로써 겹침 상황을 분리하는 방법이 제안되었다. 예를 들면, 사람 간 겹침 문제의 경우 사람 머리의 외곽 형태 정보를 이용하여 사람 간 겹침을 개별적으로 분리하였다[12,13]. 차량의 겹침 문제의 경우, 컬러 정보를 통해 시공간 연관 정보를 이용한 연관 추적 방법을 사용하여 차량 간 겹침 상황을 분리하는 연구가 보고되었다[14]. 이러한 차량과 사람의 겹침 문제를 해결하는 방법들은 객체의 모양 정보와컬러 정보를 이용하는 방법이기 때문에 겹침 돼지문제에 적용하기 어렵다. 예를 들면, 겹침 돼지 상황은 돼지의 머리와 몸통 부분이 명확하게 구분되지 않기 때문에 사람의 머리와 몸의 모양 정보를 이용한 방법을 적용할 수 없다. 또한, 돼지들의 색상은 대부분 차이가 없기 때문에 컬러 정보를 이용한 방법은겹침 돼지 분리 문제에 이용하기 어렵다.

한편, 컬러 카메라로 획득한 정보로는 돼지의 겹침을 분리하기 어렵기 때문에 깊이 카메라로부터 획득한 깊이 정보를 이용한 연구가 제안되었다. 예를 들면, 겹침 상황에서 위쪽에 위치한 돼지의 깊이 정보와 아래 쪽에 위치한 돼지의 깊이 정보를 이용하여 두 돼지의 깊이 정보 차이를 통해 돼지를 분리하는 연구가 진행되었다[15-17]. 그러나 이러한 분리 방법들은 깊이 카메라의 낮은 정확도로 인하여 불확실한 깊이 정보를 획득하게 된다. 이로 인해 객체의 자세변화 및 위치 변화에 따라 임계 값을 매번 재설정해야 하는 어려움이 존재한다.

본 논문에서는 이러한 겹침 분리 문제의 어려움을 극복하고 실시간으로 겹침 돼지들을 분리하기 위해 적외선 카메라로부터 획득한 적외선 데이터에 딥 러닝 기술을 적용하여 겹침 돼지들을 분리하는 방법을 제안한다. 겹침 돼지 분리 문제는 다양한 모양의 겹침이 발생한다. 이로 이해 기존의 객체 검출기로 두돼지 사이의 경계선 탐지가 어려운 문제점이 존재한다. Fig. 1A와 같은 적외선 데이터에 Cannyedge 검출기[18]를 적용하였을 때 Fig.1B와 같이 경계선을 구분할 수 없는 결과가 획득된다.Fig.1C는 YOLO를 사용하여 획득한 결과이다. 그림과 같이 외곽 사각형내 가린 돼지와 가려진 돼지를 모두 포함하기 때문에 어느 돼지가 가린 돼지인지 알 수 없는 문제가 발생한다. 이러한 겹침 돼지의 문제를 해결하기 외곽 사각형이 탐지하는 객체를 회전시킴으로써 겹침 돼지의 가린 돼지만을 탐지하여 겹침 돼지를 분리하는 방법을 제안한다.

 

Fig. 1. Difficulty in detecting boundaries of occluding pigs. (a) Infrared image, (b) result of canny edge detector, and (c) result of YOLO according to a rotated data.

 

3. 제안 방법

본 논문에서는 딥 러닝 기술 중에서도 실시간 처리가 가능한 객체 탐지 방법인 YOLO를 이용한다. YOLO는 네트워크의 최종 출력단에서 외곽 사각형의 위치 찾기와 클래스 분류가 동시에 수행되어, 기존에 사용되는 외곽 사각형 딥 러닝 기반의 객체 검출기[19-21]에 비하여 수십 배 이상 빠른 속도로 객체 탐지가 가능하다. 또한, 이러한 외곽 사각형 기반 객체 검출기의 단점인 기저축에 정렬되는 특성을 보완하기 위하여 회전을 통한 데이터 증강 방법을 적용한다. 데이터 증강 방법은 YOLO와 같은 딥 러닝 기반의 기법의 학습 과정에서 과적합(overfitting)을 방지하기 위하여 적용되는 방법으로써 데이터의 이동(shifting), 반전(flipping), 회전(rotation)과 같은 방법이 존재한다. 이러한 방법 중 데이터의 회전을YOLO의 테스트 과정에 적용하여 온라인으로 테스트 데이터의 양을 증강시킨다. 이후, 증강된 데이터중 겹침 분리에 적합한 데이터를 선정하고 영상처리기법을 적용하여 겹침 돼지를 분리한다.

먼저, 돼지 간 겹침 상황에 대하여 정의하고, 겹침상황에서 각각의 두 마리 돼지에 대한 명칭, 그리고겹침의 분류 기준에 대하여 가정한다. 모든 겹침 상황은 한 마리의 돼지는 움직이고, 다른 한 마리의 돼지는 움직이지 않을 때 겹침이 발생한다고 가정하고, 이러한 상황에서 움직임이 있는 돼지를 가린 돼지(occluding pig), 움직이지 않은 돼지를 가려진 돼지(occluded pig)라고 정의한다. 정의한 겹침 돼지의 기준은 크게 2가지로 분류할 수 있다. 첫 번째 경우는 Fig. 2A와 같이 가린 돼지가 가려진 돼지 위로 넘어가는 경우이다. 이때, 움직임이 있는 돼지의 위치가 움직임이 없는 돼지를 기준으로 바뀌었을 경우를 넘어가는 경우로 가정한다. 두 번째 경우는 Fig. 2B와 같이 가린 돼지의 몸 일부가 가려진 돼지의 몸 위에 위치하여 겹침을 발생시키는 경우이다. 두 가지의 경우 모두 가린 돼지는 가려진 돼지보다 위에 위치한다. 따라서 가린 돼지는 두 돼지 중 다른 돼지의 위쪽에 위치한 돼지로 판단된다.

 

Fig. 2. Two cases of occlusions. (a) Case of occluding pig passing over an occluded pig and (b) Case of occluding pig staying over an occluded pig.

 

YOLO를 사용하여 겹침 돼지를 분리할 때, 겹침돼지의 모양에 따라 문제점이 발생하는데, 특히 X모양과 T 모양의 겹침에 대한 문제점이 발생한다. X 모양과 T 모양 겹침의 경우에 대하여 YOLO를 수행하였을 때, Fig.3과 같은 외곽 사각형이 생성된다. 이때 YOLO의 결과로부터 획득하고자 하는 객체는 위쪽에 위치한 가린 돼지이지만 겹침 돼지의 모양으로 인해 외곽 사각형 내 목표로 하는 객체와 그렇지 않은 객체가 모두 포함된다. 이로 인해 분리하고자 하는 객체를 구분하지 못하는 문제가 발생한다. 따라서 외곽 사각형을 이용하여 겹침 돼지를 분리할 경우 외곽 사각형 내 가려진 돼지가 포함되는 정도를 고려해야 한다.

 

Fig. 3. Various bounding boxes obtained from YOLO in case of occlusion.

 

Fig. 4. Relationship between the relative position of the occluding pig and its corresponding margin on the bounding box.

 

본 논문에서는 외곽 사각형 내 가려진 돼지가 포함되는 정도를 고려하기 위해 여백(margin)을 가정한다. 즉, 외곽 사각형 내 목표로 하는 객체(즉, 가린돼지)를 제외한 영역을 여백으로 가정한다. 앞서 가정한 여백을 계산함으로써 외곽 사각형 내 가려진돼지의 포함되는 정도를 최소화 할 수 있다. 여기서, 외곽 사각형 내의 여백은 Equation(1)을 이용하여 계산된다.\(P_{\text {total}}\)은 외곽 사각형 내 모든 픽셀의 개수이고, \(P_{ocduding-p i g}\)는 가린 돼지 픽셀의 개수를 의미한다.

 

\(\text {margin}=\frac{P_{\text {total}}-P_{\text {oceluding}-p i g}}{P_{\text {total}}} \)       (1)

 

외곽 사각형 내에서 식 (1)으로부터 계산된 여백은 가린 돼지 픽셀의 개수가 필요하기 때문에 해당 영상에 대한 정답지(ground truth)가 존재해야 한다. 한편, 외곽 사각형의 가로와 세로 길이 비율에 따라 외곽 사각형 내의 여백이 비례함을 확인할 수 있다. 따라서 정답지 없이 외곽 사격형의 가로와 세로 길이의 비율을 계산하여 여백을 최소로 하는 외곽 사각형을 결정한다.

외곽 사각형 내 여백은 가린 돼지의 각도(즉, 가린돼지의 위치)에 따라 변화한다. 여기서, 기저축에 정렬되는 외곽 사각형의 특성으로 인하여 가린 돼지의 각도가 수평 또는 수직에 가까울 때 여백이 최소가 되는 외곽 사각형이 생성된다. 이와 같은 겹침 돼지를 분리하는 최적의 외곽 사각형을 획득하기 위해 원본 데이터를 일정 각도로 회전하여 데이터의 양을증강시킨다. 이후, 증강된 데이터로부터 탐지된 외곽사각형에 대한 가로와 세로의 비율 차이를 계산하여 가장 차이가 큰 비율의 데이터를 해당 데이터의 대표이미지로 선정하여 최적의 외곽 사각형을 탐색한다.즉, 원본 1장과 반 시계 방향으로 10도씩 5회 회전시킨 5장을 합성하여 총 6장의 데이터를 해당 데이터의 새로운 1장으로 획득한다. Fig.5는 겹침 돼지 데이터를 여러 각도로 회전시킴으로써 나타나는 여백을 보여준다.

 

Fig. 5. Variation of margins for each bounding box ac-cording to the angle of the rotated data.

 

합성한 데이터의 6가지의 경우 중 가장 여백이 작은 데이터를 획득하기 위하여,6가지 경우에 대한 외곽 사각형의 가로와 세로의 길이를 비교한다. 먼저,6장의 데이터로부터 외곽 사각형의 가로(\(B_{width}\))와 세로(\(B_{height}\))의 길이를 각각 획득한다. 여기서, 식 (2)를 이용하여 획득된 \(B_{width}\)와 \(B_{height}\) 중 큰 값을 \(L_{max}\)로 가정하고, 작은 값을 \(L_{min}\) 으로 가정한다. 이후, 식 (3)을 이용하여 \(L_{max}\)를 \(L_{min}\)으로 나누어 여백을 최소로 갖는 최적의 외곽 사각형 비율을 획득한다.

 

\(L_{\max }=\left\{\begin{array}{ll} {B_{width}} \quad If\ \ {B_{width}>B_{height}} \\ {B_{height}} \quad else \end{array}\right. \\L_{\min }=\left\{\begin{array}{ll} {B_ {width}} \quad If\ \ {B_{width}<B_{height}} \\ {B_{height}} \quad else \end{array}\right.\)      (2)

 

\(R_{\text {optimal }}=\frac{L_{\text {max }}}{L_{\text {min }}}\)       (3)

 

이러한 과정을 통하여 6개의 비율 값 중 최댓값의 비율이 도출된 외곽 사각형은 가장 작은 여백을 생성한다. 즉, 가장 작은 여백이 생성된 데이터를 겹침분리에 가장 적합한 대표 데이터로 선정한다.

마지막으로, 선정된 대표 데이터에 대하여 영상처리 기법을 적용하여 겹침 돼지를 분리한다. 선정된 대표 데이터에서 외곽 사각형을 이용하여 외곽 사각형 내 객체만을 관심 영역으로 지정한다. 이후, 겹침돼지 사이 경계선을 명확하게 구분하기 위해 지정된 관심 영역에 히스토그램 평활화(histogram equalization, HE)를 적용한다. 히스토그램 평활화를 적용할 경우 평활화를 적용한 전체 영상의 명암 분포가 균일하게 되기 때문에 돼지 객체와 경계선의 명암대비가 증가한다. 이에 따라 영상의 화소가 개선되기 때문에 두 겹침 돼지 사이의 경계선이 구분된다. 이러한 영상에 대하여 Otsu 알고리즘[22]을 적용하여 레벨 임계 값을 기준으로 가린 돼지와 가려진 돼지가 분리된 이진화 영상을 획득할 수 있다. 획득한 이진화 영상에 연결 요소 분석(connected component analysis) 기법을 이용하여 영상 내 객체들을 레이블링하고 해당 객체들의 픽셀 개수를 계산하여 객체들의 면적을 도출한다. 계산된 면적을 통하여 돼지 한 마리의 면적을 임계 값으로 설정하고, 임계 값보다 작은 면적의 객체(즉, 가려진 돼지와 영상 잡음)를 제거함으로써 겹침 돼지에서 분리된 가린 돼지만을 최종 분리 결과로 획득한다. Fig.6은 선정된 대표데이터로부터 영상처리 기법을 적용하여 겹침 돼지가 개별 돼지로 분리됨을 보여준다.

 

Fig. 6. Separation of occlusion using image processing technique.

 

4. 실험 결과

본 논문에서는 실험을 위해 충북대학교 내에 9마리의 돼지가 활동하는 돈사의 바닥으로부터 3.2m 높이의 천장에 Intel RealSenseD435 카메라를 설치하였고, 설치된 카메라로부터 적외선 영상 데이터를 획득하였다. 획득된 적외선 영상 데이터는 1280 & times; 720의 해상도와 30FPS(frame per second)의 속성을 갖 는다. 본 논문의 제안 방법은 IntelCorei7-7700,8GBRAM, 그리고 Visual Studio2017, 영상처리 라이브 러리 OpenCV3.4의 환경에서 수행되었다.

학습 데이터는 겹침 돼지와 근접 돼지 시퀀스 774장을 사용하여 학습을 진행하였다. 테스트 데이터는 학습 데이터로 사용되지 않은 겹침 돼지 시퀀스 47장을 선별하여 테스트를 진행하였다.YOLO 학습 간 파라미터로 learning rate는 0.001, momentum은 0.9, decay는 0.0005이며, 활성화 함수는 leakyReLU 함수를 이용하였다.

먼저, 최적의 외곽 사각형 검출을 위해 겹침이 발생한 데이터를 반 시계 방향으로 회전하여 증강시켰다. 이때, 기저축에 대하여 가린 돼지의 각도가 수평또는 수직일 때 최적의 외곽 사각형이 생성되었다. 이에 따라 겹침 돼지 데이터의 회전 각도는 0도에서 50도로 10도씩 증가하여 설정하였다. 회전된 데이터는 원본 영상 크기에 6장을 합성하였는데 이러한 합성을 통해 6번의 YOLO 수행 과정을 한 번의 수행으로 감소시켰다. 또한, 데이터를 회전시킬 때 수행시간 단축을 위하여 삼각 함수를 통한 회전이 아닌 미리 계산된 검색 테이블(pre-computed lookuptable)을 이용하였다. 삼각 함수를 이용하여 한 개의 데이터를 회전할 경우 평균 27msec의 수행시간이 소요되었지만, 검색 테이블을 이용하였을 경우 한 개의 데이터에 평균 0.85msec가 소요되었다. 즉,6개의 데이터를 합성하여 회전시켰을 경우 평균 5msec가 소요되었으며, 이는 삼각 함수를 이용하여 데이터 회전을 수행할 때 보다 32배 더 빠른 수행시간을 보였다. Fig. 7은 X 모양의 겹침 돼지와 T 모양의 겹침 돼지에 대해 각각 0도, 10도, 20도, 30도, 40도, 50도 회전시키는 검색 테이블을 사용하여 YOLO 알고리즘을 적용한 결과를 보여준다.

 

Fig. 7. Results of YOLO from the rotated data. (a) Results of YOLO from the rotated T-shaped data and (b) Results of YOLO from the rotated X-shaped data.

 

이후,6개의 외곽 사각형 가로와 세로 길이를 각각 측정하여 두 길이 중 더 큰 값을 갖는 길이를 작은 값의 길이로 나누어 각 외곽 사각형의 가로와 세로 비율을 획득하였다. 획득된 6개의 비율 중 가장 큰값의 비율에 해당하는 데이터를 6개의 데이터에 대한 대표 데이터로 선정하였다. 원본 데이터(즉,0도 회전)의 비율은 1.05,10도 회전한 데이터의 비율은 1.29, 20도 회전한 데이터의 비율은 1.62,30도 회전한 데이터의 비율은 1.80,40도 회전한 데이터의 비율은 2.05, 50도 회전한 비율은 2.27로 도출되었다.6개의 데이터 중 가장 큰 비율은 50도 회전한 비율인 2.27이었고, 50도 회전한 데이터를 해당 시퀀스의 대표 데이터로 선정하였다. 즉, 원본 데이터를 50도로 회전함으로써 비율이 최대가 되는 데이터를 대표 데이터로 최종 선정하였고, 이를 이용하여 영상처리 기법을 통한 겹침 돼지를 분리하였다.

선정된 대표 데이터에 히스토그램 평활화를 적용하여 데이터의 명암 대비 증가를 통해 겹침 돼지의 경계선을 명확하게 하였다. 이후 Otsu 알고리즘을 적용하여 레벨 임계값을 기준으로 겹침 돼지에서 가린 돼지를 분리하였다. 또한, 연결 요소 분석 기법을 이용하여 객체들을 레이블링하고 레이블링된 객체들의 픽셀 개수를 계산하여 면적을 계산하였다. 한 마리 돼지 객체의 평균 픽셀 수인 9800을 임계 값으로 설정하여 해당 임계 값보다 작은 객체들을 제거함으로써 최종 분리 결과를 획득하였다. 일자 모양의 겹침 돼지의 경우, 가린 돼지가 가려진 돼지 위로 올라타는 승가의 경우에 주로 발생하였는데, 이러한 경우 두 돼지의 명암값이 유사함으로 인해 경계선 탐지가 되지 않음을 확인하였다. Fig.8은 회전을 통한증강된 데이터로부터 Mask R-CNN[23]을 사용한 결과와 근접 돼지 분리에 사용된 YOLO[8]를 사용한 결과, 그리고 본 논문의 제안 방법을 통하여 회전된 대표 이미지를 분리한 결과를 보여준다.

 

Fig. 8. Detection results of occluding pigs.

 

겹침 돼지의 분리 성능 평가를 위해 Mask R-CNN과 본 논문에 제안한 방법의 분리 결과를 비교하였다. 성능 평가방법으로 겹침 돼지의 분리 결과를픽셀 단위 정확도로 측정하여 성능을 평가하였다. Table1은 MaskR-CNN과 YOLO, 그리고 제안 방법에 대한 겹침 돼지의 분리 정확도 결과를 보여준다. 성능 비교 결과, 제안 방법을 적용하여 겹침 돼지를 분리하였을 때 MaskR-CNN에 비하여 약 3.46%의 성능 향상을 보였으며, 수행시간 측정 결과 230.34msec의 월등히 빠른 성능 향상을 확인하였다. 또한, 제안 방법을 근접 돼지 분리에 사용한 YOLO와 비교하였을 때 약 27.72%의 성능 향상을 보였으며, 수행시간 측정 결과 3.59msec 느린 것을 확인하였다. 기존의 방법과 제안 방법에 대한 정확도/수행시간의 척도로써 성능을 비교하였을 때, Mask R-CNN에 비하여 11.19배, 근접 돼지 분리에 사용한YOLO에 비하여 1.28배의 성능 향상을 확인하였다.

 

Table 1. Segmentation results

 

5. 결 론

밀집 사육하는 국내 돈사 환경에서 개별 돼지 관리 자동화를 위해 겹침 돼지를 정확하게 분리하는 것은 필수적이다. 그러나 겹침 문제에서 사용되는 컬러 정보와 모양 정보를 이용한 분리 방법은 돈사 내 돼지의 색상이 일정하고 머리 모양을 구분하기 어렵기 때문에 겹침 돼지 분리 문제를 해결하는 것은 어려운 문제이다.

본 논문에서는 딥 러닝 기반의 객체 검출기와 영상처리 기법을 이용하여 겹침 돼지를 분리하는 방법을 제안하였다. 특히, 여러 객체를 동시에 검출하여빠른 속도를 자랑하는 YOLO를 사용하여 영상 데이터를 실시간으로 처리하면서,YOLO의 단점인 작은객체 미탐지 문제를 해결하여 정확도가 향상됨을 확인하였다. 즉, 과적합을 방지하기 위해 데이터 학습과정에서 이용되는 데이터의 회전을 통한 데이터 증강 방법을 테스트 과정에 적용하여 온라인으로 데이터의 양을 증가시켰다. 그리고 기저 축에 정렬되는YOLO 외곽 사각형의 특성을 이용하여 외곽 사각형의 가로와 세로 비율을 계산한 후, 외곽 사각형 내여백이 최소가 되는 데이터를 선정하였다. 마지막으로, 히스토그램 평활화를 사용하여 두 돼지 간 명암값의 대비를 증가시키고,Otsu 알고리즘을 사용하여겹침 돼지를 분리하였다.

실험 결과, 픽셀 수 기준으로 83.33%의 정확도와 24.01msec의 수행속도로 겹침 돼지를 분리할 수 있음을 확인하였다. 이러한 결과는 MaskR-CNN과 비교하여 본 논문의 제안 방법의 분리 성능이 3.46%향상되었고, 수행시간 대비 정확도의 성능 척도로 비교하였을 때 11.19배의 성능 향상을 확인하였다. 또한, 근접 돼지 분리에 사용한 YOLO와 비교하여 정확도가 27.72% 향상되었고, 수행시간 대비 정확도의 성능 척도로 비교하였을 때 1.28배의 성능 향상을 확인하였다. 향후 연구로 겹침 돼지의 다양한 형태 중에서 두 마리의 돼지가 나란히 겹치는 일자 모양의 겹침 형태와 전체 과정을 실시간에 처리할 수 있도록병렬 처리 방법[24]에 대한 연구를 진행할 예정이다.