Real-Time Pig Segmentation for Individual Pig Monitoring in a Weaning Pig Room

이유자돈사에서 개별 돼지 모니터링을 위한 실시간 돼지 구분

Abstract

To reduce huge losses in pig farms, weaning pigs with weak immune systems are required to be carefully supervised. Even if various researches have been performed for livestock monitoring environment, segmenting each pig from touching pigs is still entrenched as a difficult problem. In this paper, we propose a real-time segmentation method for moving pigs by using motion information in a 24-h video surveillance system. The experimental results with the videos obtained from a domestic pig farm illustrated the possibility for segmenting by using our proposed method in real-time.

1. 서 론

좁은 공간에 다수의 자돈을 밀집 사육하는 국내에서는 구제역 등과 같은 전염병 발생 시 피해가 빠르게 확산되는 취약한 구조를 가지고 있다. 특히, 생후 8주 미만의 이유자돈들은 면역력이 약하고 서열 싸움이 심하며, 공격적 행동으로 인하여 폐사 발생 가능성이 높다. 즉, 국내 양돈 농가의 폐사에 따른 손실액은 연간 4,000억원으로 추정되며, 면역력이 낮은 이유자돈들에게서 가장 많은 폐사가 이루어지기 때문에 이유자돈의 개별적인 관리는 필수적이다. 그러나 관리인 당 약 2,000두의 돼지를 관리하는 국내 돈사 환경에서 관리인이 돈사 내의 모든 이상 상황을 감시하는 것은 쉽지 않다. 이러한 축산 농가의 문제점에 대한 해결책 중 하나로 IT 기술과 농·축산업과의 융합 기술(Computer and Electronics in Agriculture)이라는 새로운 분야가 최근 활발하게 연구되고 있다[1,2]. 본 논문에서는 이러한 문제를 해결하기 위해 비디오센서를 사용하여 자동으로 돈사 내 개별 돼지들의 행동을 24시간 연속 관리할 수 있는 돼지 모니터링 시스템을 위한 실시간 돼지 구분방법을 제안한다.

관련 연구로 돈방 내 이유자돈 집단의 효율적 관리에 관한 연구가 보고되었으나[3], 개별 돼지에 대한 구분을 할 수 없고 돈방 내 돼지들의 집단 움직임만을 판단하는 한계가 있다. 따라서 돈사에서 촬영된 영상을 처리 및 해석하는 과정에서 발생하는 어려움 중 혼잡한 돈방에서 움직이는 근접한 돼지들의 객체들을 개별로 식별하기 위한 추가 연구가 필요하다. 즉, 움직이는 개별 돼지들을 탐지 및 추적 하는 경우, 색상이 유사한 두 마리 이상의 돼지가 서로 근접하게 되면 하나의 돼지로 탐지되는 문제가 발생하여 돼지들을 지속적으로 추적하기 어렵다는 한계가 있다[4,5]. 이러한 근접 돼지 분리 문제를 해결하기 위해 돼지들의 등에 서로 다른 색을 칠하거나 다른 모양의 표식을 하는 등의 방법이 제안되었다[6,7]. 그러나 관리인 당 약 2,000두의 돼지를 관리하는 국내 돈사 환경에서 모든 돼지에 표식을 직접 그리는 것은 어려운 문제이며, 이유자돈은 빠르게 성장하기 때문에 자주 표식을 그려주어야 하는 문제가 발생하는 것뿐만 아니라 돼지들이 스트레스를 받음으로써 농장의 생산성에 문제를 일으킬 수 있으므로 국내 돈사 환경에서는 적합하지 않은 방법이다. 따라서 인위적인 표식을 사용하지 않는 방안으로 표식 없이 세 마리의 돼지를 추적하는 연구가 보고되었으나[8], 세 마리 이상의 근접 돼지에 대한 탐지가 불가능하여 돼지가 평균 8분까지만 추적되는 문제가 있다. 좁은 공간에서 다수의 돼지가 밀집하여 사육되는 국내 돈사 환경에서는 표식 없이 약 20여 마리의 돼지를 개별적으로 분리할 수 있어야 개별 돼지에 대한 관리가 가능하지만, 돼지의 수가 증가할수록 근접 돼지 구분에 대한 난이도 역시 증가하여 기존의 일반적인 방법으로 구분하기가 어렵다는 문제가 있다.

Fig. 1은 이유자돈을 사육하는 돈방의 내부를 보여준다. Fig. 1을 보면, 돼지의 구분이 어려운 두 가지 주요 상황인 ‘근접(Touching) 상황’과 ‘겹침(Occluding) 상황’이 존재함을 알 수 있다. 근접 상황은 활동하는 돼지들이 서로 근접하여 움직일 때에 주로 발생한다. 겹침 상황은 돼지들이 움직이는 동안에는 발생하지 않지만, 돼지들이 휴식을 하거나 수면하는 상황에는 자주 발생한다. 이러한 어려움 때문에 개별 돼지 각각의 24시간 추적 및 이러한 추적 정보를 이용한 개별 돼지의 이상행동 분석에 관한 연구는 보고되지 않았다. 따라서 개별 돼지에 대한 24시간 자동 모니터링을 위해서는 실시간으로 근접 돼지를 개별적으로 구분할 수 있는 방법이 필요하다.

Fig. 1.Image of ‘Touching’ and ‘Occluding’ situations.

본 논문에서는 24시간 개별 돼지 모니터링을 위한 실시간 돼지 구분 방법을 제안한다. 돈방의 천장에 설치된 감시 카메라로부터 영상을 수집하여 돈방의 배경과 돼지들을 분리한 뒤, 정확도 향상을 위하여 배경이 분리된 영상과 원 영상을 결합한 전경 영상을 생성하고, 실시간 처리를 위하여 전경 영상의 크기를 재조정한 영상을 획득한다. 획득한 영상에 GMM(Gaussian Mixture Model)[9,10]을 사용하여 돈방 내 돼지에 대한 움직임 정보를 습득하고, 움직임 정보로부터 움직임이 있는 돼지 영역만을 탐지하여 움직임이 없는 돼지와 움직임이 발생한 돼지를 1차 분리한다. 움직임이 탐지된 돼지의 영역이 두 마리 이상으로 판단될 경우 해당 영역에 대하여 근접 돼지 구분 알고리즘을 적용함으로써 2차 분리하여 돈방 내 돼지들의 개별 분리가 가능함을 확인하였다. 또한, 다운 샘플링된 영상에 제안방법을 적용하면 돼지 개별 분리의 실시간 처리가 가능함을 확인하였다.

본 논문의 구성은 다음과 같다. 2장에서는 관련연구에 대하여 설명하고, 3장에서 영상 처리 기법을 사용하여 실시간으로 근접 돼지를 구분하는 방법을 서술한다. 3장에서는 제안한 알고리즘의 전반적인 내용과 전·배경 분리, 움직임 정보 획득, 근접 돼지 영역 추출의 순서로 설명한다. 그리고 4장에서는 제안한 알고리즘을 수행하여 획득한 실험 결과를 통해 성능을 비교 및 분석하고, 마지막으로 5장에서는 결론을 맺는다.

 

2. 관련 연구

먼저 개별 돼지의 추적을 위하여 일반적으로 사용되는 객체 추적 알고리즘인 Mean-Shift, CAMShift와 Kalman Filter를 적용한 결과를 설명하면 다음과 같다. Mean-Shift 알고리즘은 영상의 픽셀에 대한 밀도 분포를 기반으로 관심 영역 객체를 고속으로 추적하는 알고리즘으로, 탐색 윈도우에서의 중심점이 탐색 영역 내의 밀도가 최대로 증가하는 방향으로 반복적인 이동을 함으로써 밀도 분포의 중심점을 찾고 이러한 과정을 반복하여 객체를 추적하는 알고리즘이다. CAM-Shift 알고리즘은 Mean-Shift 알고리즘을 스트리밍 환경에서 사용하기 위하여 개선한 알고리즘으로, 탐색 윈도우의 크기를 스스로 조정한다. Kalman Filter 알고리즘은 시간에 따라 측정을 진행하여 현재 상태에 대한 최적의 예측을 수행한다.

Fig. 2는 OpenCV에서 라이브러리[11]로 제공되는 Mean-Shift, CAM-Shift, 그리고 Kalman Filter 알고리즘을 실제 돈사로부터 취득한 영상에 사용하여 돼지를 추적한 결과를 적색 실선으로 표시하여 보여준다. 앞서 설명한 세 가지 알고리즘 모두 한 마리의 돼지가 이동하는 경우에는 어려움 없이 추적하지만, Fig. 2에서 각각의 알고리즘을 사용한 하단의 결과와 같이 청색 점선으로 표시된 돼지가 화살표 방향으로 이동하여 다른 돼지와 근접한 상황이 발생한 경우에는 돼지를 정확히 인식하지 못하여 추적에 실패하게 된다. 즉, 기존의 일반적인 추적 방법을 이용하면, 밀집한 환경에서 사육되며 유사한 색상을 갖는 돼지에 대한 구분이 어렵기 때문에 개별 돼지들의 추적에 실패하게 된다. 그러므로 밀집된 환경에서 근접한 돼지를 개별적으로 구분하기 위한 해결 방법이 필요하다.

Fig. 2.Tracking problems occurred in a touching situation.

최근 이러한 근접 상황을 해결하기 위하여 이전 프레임의 정보를 이용한 근접 돼지 구분 방법이 제안 되었으나[12], 근접한 돼지의 수가 많은 경우에는 각각의 개별 돼지들로 구분하기 어려운 문제가 발생한다. 따라서 본 논문에서는 움직임 정보를 추가로 이용하여 움직이는 돼지만을 추출하여 구분하는 방법을 제안한다.

 

3. 제안 방법

본 논문에서는 24시간 개별 돼지 모니터링을 위해 실시간으로 근접 돼지를 구분하는 방법을 제안한다. 돼지 추적에 사용되는 복잡한 근접 돼지 분리 문제를 단순하게 변환하기 위해 움직이는 돼지를 탐지하여 획득한 움직임 정보를 이용한다. 움직임 정보의 획득을 위해서는 영상의 전·배경을 분리하는데 가장 효과적인 GMM[9,10]을 사용한다. GMM은 영상의 각 픽셀 값에 대해 K개의 가우시안을 혼합한 분포로 모델링하여 객체를 검출하는 방법으로, 가우시안의 평균과 분산이 매 프레임마다 새로 입력되는 값으로 학습됨으로써 배경 모델을 효율적으로 생성한다. 그러나 일반적으로 GMM은 계산량이 많아 실시간으로 처리하기 어렵기 때문에, 수행시간을 감소시키는 방법이 필요하다. 수행시간을 감소시키는 방법으로 는 초당 프레임 수를 낮추는 방법과 영상의 크기를 줄이는 방법이 있다. 초당 프레임 수를 낮출 경우에는 빠른 움직임을 추적하는데 어려움이 있으므로, 본 논문에서는 GMM의 입력 영상의 크기를 줄이는 다운 샘플링(down sampling)을 하여 계산량을 줄이면서 정확도를 분석한다. 즉, 돼지의 빠른 움직임을 추적하기 위하여 초당 30장의 영상을 입력받아 다운 샘플링한 후, GMM을 통하여 움직이는 돼지를 분리한다. 이러한 과정을 거친 후 분리된 돼지에 대하여 후처리를 수행하며, 후처리를 포함한 제안 방법의 총 수행 시간이 최소 초당 40 프레임을 만족하도록 하여 실시간으로 근접 돼지를 구분한다. Fig. 3은 제안하는 실시간 근접 돼지 분리 알고리즘의 전체 구조도를 나타낸다.

Fig. 3.Overall structure for real-time segmentation algorithm for touching pigs.

먼저, 원 영상으로부터 배경과 돼지가 분리된 영상을 획득하기 위해 영상 이진화를 수행한다. 보다 정확한 움직임 정보를 추출하기 위하여 이진화한 영상과 원 영상을 합성한 뒤 다운 샘플링을 통하여 GMM의 입력 영상을 생성한 후, 생성한 영상에 대해 GMM을 이용하여 돼지의 움직임 정보를 획득한다. 획득한 움직임 정보를 통해 이진화된 영상으로부터 움직임 영역을 관심영역으로 설정하고, 설정된 관심 영역 가운데 두 마리 이상 근접 돼지에 해당하는 주요 영역을 추출하여 돈방 내의 전체 돼지 중 이동하는 돼지만을 1차 분리한다. 또한, 최종 추출 결과가 두 마리 이상의 크기를 갖는 경우 근접 돼지 분리 알고리즘을 사용하여 개별 돼지로 2차 분리한다.

3.1 전·배경 분리

돈사로부터 획득한 원 영상에는 돈방의 조명으로 인하여 그림자와 같은 잡음이 발생한다. 특히, 돼지의 그림자는 돼지의 몸체와 유사한 크기를 갖기 때문에 전처리 과정에서 한 마리의 돼지가 두 마리의 돼지로 잘못 인식되는 문제를 발생시킨다. 이러한 문제를 해결하기 위해서는 배경과 돼지 객체의 분리가 필요하다. 따라서 원 영상의 RGB 색 공간을 HSV(Hue Saturation Value) 색 공간으로 변환하고, HSV 각각의 값을 배경과 돼지가 분리되도록 조절하여 이진화한다. 이러한 과정을 통해 그림자와 같은 영상의 잡음이 제거되며, 배경으로부터 돼지 객체들이 분리된 이진 영상을 획득할 수 있다.

3.2 GMM을 이용한 움직임 정보 획득

논문에서는 돈방 내에서 사육되는 다수의 돼지중 수면이나 휴식을 취하는 돼지는 제외하고 이동하는 돼지만을 탐지하며, 움직이는 돼지를 탐지하는 방법으로 GMM을 사용한다. GMM에서는 입력 영상의 연속적인 프레임을 통하여 배경 모델을 생성하는데, GMM의 움직임 검출 성능을 향상시키기 위해서는 배경이 분리된 전경 입력 영상을 생성해야 한다. GMM에 대한 입력 영상을 생성하기 위하여 3.1절로부터 획득한 배경이 분리된 HSV 이진화 영상과 RGB 정보를 갖는 원 영상을 합성하고, 실시간 처리를 위하여 결합된 결과 영상의 크기를 축소하는 다운 샘플링을 수행한다. 해당 과정을 거치면 배경이 분리되어 다운 샘플링된 RGB 영상을 획득할 수 있으며, 획득한 영상에 GMM을 사용하여 움직이는 돼지 객체의 영상을 획득한다. 이것은 움직임 정보가 포함된 영상을 의미한다.

움직임 정보 영상에는 돼지의 ‘완전 이동 정보’와 ‘부분 이동 정보’가 나타난다. 완전 이동 정보는 돼지가 다른 위치로 이동하여, 움직임 정보 영상에서 한마리 돼지와 유사한 크기로 나타나는 정보이다. 반면, 부분 이동 정보는 돼지가 신체의 일부분만을 움직임으로써 움직임 정보 영상에서 크기가 작은 파편 모양으로 나타나는 정보로, 이에 해당하는 돼지는 움직임이 없다고 판단한다. 수면이나 휴식을 취하는 등의 움직임이 없는 돼지를 포함하여 근접 돼지를 모두 개별 분리하는 것은 매우 어려운 문제이므로, 본 논문에서는 움직이는 돼지만을 대상으로 한다. 즉, 움직임이 없는 정보가 제외되어야 하므로 부분 이동 정보 역시 제외한다. 그러므로 GMM의 결과 영상으로 나타난 움직임 정보로부터 각 영역의 면적을 계산하고, 계산된 면적이 돼지 한 마리 크기에 해당하는 임계값보다 작은 값을 가질 경우 해당 부분을 제외하고 탐지하여 완전 이동 정보만을 취득한다.

3.3 움직임 정보를 이용한 근접 돼지 영역

획득한 움직임 정보를 통해 움직임을 갖는 근접 돼지의 전경을 정확히 분리하기 위하여 HSV 이진화 영상으로부터 움직임 영역 추출과 움직임 영역에 대한 주요 영역 추출의 두 단계 추출 과정을 수행한다. 먼저, 3.1절로부터 획득한 HSV 이진화 영상에 GMM의 움직임 영역 정보를 적용한다. 즉, HSV 이진화 영상으로부터 움직임 영역 정보에 해당하는 부분을 먼저 추출하고, 추출되는 움직임 영역은 탐지된 영역을 포함하는 최소 크기로 설정한다. 그러나 움직임 영역을 사각형으로 설정하였기 때문에 HSV 이진화 영상의 추출 영역 내에는 움직임을 갖는 돼지 이외에 다른 돼지의 몸체의 일부가 포함되어 있을 가능성이 있다. 이 중 움직임을 갖는 돼지의 영역은 실제 근접 돼지 분리에 필요한 데이터이며 해당 영역을 HSV 이진화 영상의 추출 영역 내 주요 영역으로 판단한다. 즉, 탐지된 추출 영역 내에서 주요 영역에 대한 재추출을 위하여 각 영역의 면적을 계산하고 계산된 면적이 가장 넓은 영역을 제외한 불필요한 부분을 삭제하여 근접 돼지의 분리가 필요한 전경 영상을 추출한다. 이러한 방법으로 획득한 최종 추출 결과는 돈방 내의 전체 돼지 중 이동하는 돼지가 1차 분리된 결과를 갖는다. 만약 최종 추출 결과 중 추출된 면적이 임계값을 초과하여 돼지 한 마리의 면적보다 큰 값일 경우, 다수의 돼지가 근접해 있다고 판단하고 [12]와 같은 근접 돼지 구분 알고리즘을 사용하여 활동하는 돼지 객체를 2차 분리한다.

 

4. 실험 결과

4.1 실험 환경

본 실험을 위해 세종시에 위치한 돈사에서 약 3m 높이에 카메라를 설치하여 돈방 내 20마리 돼지들의 활동을 960×540 해상도와 초당 30 프레임 속도(30 frames per second : fps)의 RGB 영상으로 수집하였고, 실험은 3.5GHz의 Intel i5-4690 프로세서와 8GB RAM의 환경에서 진행하였다. 본 논문에서는 개별 돼지의 구분 문제에 대한 두 가지 주요 상황, 즉 겹침 상황과 근접 상황에 해당하는 대표적인 두 가지 상황의 영상을 사용하여 실험하였다. Fig. 4(a)는 겹침 상황의 영상이고 Fig. 4(b)는 근접 상황의 영상에 해당하며, 움직임을 갖는 돼지는 적색 실선과 청색 점선으로 각각 표시하였다. Table 1은 앞서 설명한 두 가지 상황의 영상에 대한 총 프레임 개수와 밀집된 돼지의 개체 수, 그리고 밀집된 돼지 중 이동하는 돼지의 개체 수에 관한 정보를 보여준다.

Fig. 4.Sequences for ‘Occluding’, ‘Touching’ situation. (a) Occluding situation and (b) Touching situation.

Table 1.Information of occluding and touching sequences

4.2 GMM의 입력 영상 결정

수집된 원 영상으로부터 HSV의 값을 조절하고 이진화하여 전배경이 분리된 영상을 획득하였고, GMM에서 자돈의 이동을 효율적으로 탐지하기 위한 입력 영상을 결정하기 위하여 Fig. 5와 같은 세 가지 유형의 입력 영상을 생성하였다. 배경이 분리되지 않은 Gray 영상과 RGB 영상을 GMM의 입력 영상으로 사용하면 돼지의 그림자가 갖는 이동 정보 또한 GMM의 결과로 나타나기 때문에, Fig. 5와 같이 HSV 이진화 영상과 Gray와 RGB 색 공간을 갖는 영상을 각각 합성한 영상을 GMM의 입력 영상으로 사용하여 실험하였다.

Fig. 5.The experimental input data. (a) HSV binary image, (b) HSV binary image combined with gray, and (c) HSV binary image combined with RGB.

초당 프레임수가 30으로 녹화된 18,000개 프레임의 영상을 사용하여 실험한 입력 영상의 종류와 입력 영상의 크기에 따른 GMM의 수행 시간을 측정하였고, 수행 시간은 입력 영상을 생성하는 과정과 GMM을 통하여 돼지의 움직임을 탐지하는 과정을 포함하여 측정하였다. Table 2는 HSV 이진화 영상과 배경 분리를 위하여 HSV 이진화 영상과 Gray와 RGB 색 공간을 갖는 영상을 각각 합성한 세 가지 유형의 영상에 대하여 원본과 비교하여 16(4×4)배, 64(8×8)배, 256(16×16)배의 축소 비율로 수행하였을 경우의 측정된 처리 속도를 보여준다. 측정 결과, HSV 이진화 영상과 Gray와 RGB 색 공간을 갖는 영상을 합성한 영상을 비교할 경우 합성한 영상의 수행 시간이 확연히 오래 걸리지만, 64배와 256배의 축소 비율에서는 영상의 합성 시간과 상관없이 실시간으로 처리가 가능함을 확인하였다.

Table 2.Execution speed of motion detection according to types of GMM input

Table 3은 4.1절에서 정의한 겹침 상황과 근접 상황의 영상을 사용한 GMM 탐지의 정확도를 나타낸다. 일반적으로 다운 샘플링의 경우 크기를 축소하는 방법 또는 초당 프레임 개수(fps)를 낮추는 방법을 사용하는데, 본 논문에서는 돼지의 움직임 추적에 대한 정확도를 유지하기 위하여 초당 프레임 개수는 유지한 채 크기만을 축소하여 정확도를 측정하였다. 정확도는 각 상황의 영상에 대한 Ground-Truth를 생성한 뒤 GMM의 움직임 탐지 결과 영상에 대하여 각 프레임의 Ground-Truth에 대응하는 픽셀 수의 비율에 대한 평균을 계산하여 정확도를 나타내었다. 측정 결과, HSV 이진화 영상은 합성된 나머지 두 영상에 비하여 정확도가 현저하게 낮은 것으로 확인하였고, RGB 영상과의 합성 영상이 Gray 영상과의 합성 영상에 비하여 보다 높은 정확도를 가짐을 확인하였다. 또한 영상의 축소 비율이 감소하여도 정확도가 급격히 저하되지는 않으나 겹침 상황의 두 합성 영상에 대해서는 영상의 축소 비율에 따라 정확도가 감소함을 확인하였다. 따라서 본 논문에서는 GMM에서 실시간으로 처리가 가능하면서 정확도가 높게 측정된 입력 영상인 64배의 축소 비율을 갖는 HSV + RGB 영상을 GMM의 입력 영상으로 결정하였다.

Table 3.Accuracy of motion detection according to types of GMM input

4.3 근접 돼지 영역 추출

이동하는 돼지를 실시간으로 탐지할 수 있는 입력영상에 대해 GMM을 이용하여 돼지의 움직임 정보를 습득하였다. 습득한 움직임 정보는 돼지의 머리나 다리 등의 몸체 일부분만을 움직임으로써 나타난 부분 이동 정보와 돼지의 위치가 이동하여 나타난 전체 이동 정보로 구분하였고, 이를 바탕으로 이동하는 돼지의 영역을 탐지하였다. 또한, 탐지된 영역의 정보를 사용하여 HSV 이진화 영상으로부터 획득한 돼지의 움직임 영역을 Fig. 6(a)와 같이 추출하였으며, 추출한 영역 내 실제 움직임을 갖는 돼지에 대한 주요 영역을 Fig. 6(b)와 같이 재추출하였다.

Fig. 6.Image extraction by motion information. (a) Extraction of motion region and (b) Extraction of main area.

Fig. 7은 겹침 상황에서 이동하는 돼지가 분리된 영상을 보여준다. Fig. 7(a)에서는 중앙에 다섯 마리 이상 다수의 돼지를 확인 할 수 있지만, Fig. 7(b)에서는 다수의 돼지 중에서 이동하는 돼지만이 분리되었음을 확인할 수 있다. 즉, GMM으로부터 획득한 움직임 정보를 통하여 근접 돼지 영역을 추출하는 과정만을 이용하여도 이동하는 돼지에 대한 1차 분리가 가능함을 확인하였다.

Fig. 7.Segmentation of pigs by using motion detection in the occluding sequence. (a) HSV binary image and (b) Motion detection image.

4.4 최종 근접 돼지 분리

1차 분리 결과로 추출된 이동하는 돼지에 대한 면적이 돼지 한 마리의 크기를 초과하는 경우 두 마리 이상의 돼지가 근접해 있다고 판단할 수 있다. 이러한 경우 분리 결과에 근접 돼지 구분 알고리즘[12]을 사용하여 2차 분리하였다. Fig. 8은 근접 상황에서 두 마리의 돼지가 분리된 영상을 보여준다. HSV 이진화 영상인 Fig. 8(a)의 중앙에 존재하는 다수의 근접 돼지는 1차 분리를 통하여 Fig. 8(b)의 두 마리 근접 돼지 분리 문제로 변환되었다. 또한, Fig. 8(b)에서 나타난 1차 분리 결과로써 추출된 돼지의 면적은 돼지 한 마리 크기를 초과하므로, Fig. 8(b)에 대하여[12]의 근접 돼지 구분 알고리즘을 사용하여 Fig. 8(c)와 같이 2차 분리하였다. Fig. 8(d)는 제안 방법과의 비교를 위하여 객체 분할 응용에 많이 사용되는 Watershed 기법의 OpenCV 구현[11]을 Fig. 8(b)에서 추출된 두 마리 돼지에 적용하여 획득한 결과 영상을 보여준다.

Fig. 8.Segmentation of pigs in the touching sequence. (a) HSV binary image, (b) Motion detection image, (c) Segmentation by using [12], and (d) Segmentation by using watershed method[11].

본 논문에서는 제안 방법의 성능을 정량적으로 판단하기 위하여 Watershed 기법과 제안방법의 정확도를 비교하였다. Fig. 8(c)와 Fig. 8(d)에 대하여 각 프레임에서 나타난 근접 돼지의 Ground-Truth에 대응하는 픽셀 수의 비율에 대한 평균을 계산하여 정확도를 측정하였다. 계산 결과, Watershed 기법의 정확도는 83.37%, 제안 방법은 99.45%로 Watershed 기법과 비교하여 제안 방법의 분리 성능이 우수함을 확인하였다. 즉, 근접 돼지에 대해 움직임 정보를 기반으로 두 단계의 분리를 실시한 제안 방법을 이용하면 실시간을 만족하면서 기존의 방법보다 정확한 근접 돼지의 구분이 가능함을 확인하였다.

 

5. 결 론

본 논문에서는 돈사 감시 카메라 환경에서 24시간 돼지 모니터링을 위한 실시간 근접 돼지 분리 방법을 제안하였다. 즉, 20마리의 돼지가 사육되는 혼잡한 돈방의 천장에 설치된 카메라로부터 수집한 영상으로부터 배경 제거와 다운 샘플링을 통해 GMM의 입력 영상을 생성하고 GMM의 결과로부터 움직임 정보를 획득하였다. 획득한 움직임 정보를 기반으로 HSV 이진화 영상으로부터 움직임을 갖는 돼지의 영역을 추출함으로써 1차 분리하였고, 1차 분리 결과가 두 마리 이상의 근접 돼지인 경우 2차 분리를 통하여 근접 돼지를 개별 돼지로 최종 분리하였다. 실험 결과, 다운 샘플링을 수행한 영상에 대하여 GMM을 사용하고, 추출된 움직임 영역의 근접 돼지를 구분하면 실시간을 만족하면서 기존의 방법보다 정확한 근접 돼지에 대한 구분이 가능함을 확인하였다. 제안방법을 확장하기 위해 추후 깊이 데이터[13]를 추가적으로 활용하여 보다 정확한 개별 돼지 분리를 통해 24시간동안 개별 돼지를 실시간으로 추적하는 연구를 수행할 계획이다.