Deep Learning-Based Companion Animal Abnormal Behavior Detection Service Using Image and Sensor Data

Abstract

In this paper, we propose the Deep Learning-Based Companion Animal Abnormal Behavior Detection Service, which using video and sensor data. Due to the recent increase in households with companion animals, the pet tech industry with artificial intelligence is growing in the existing food and medical-oriented companion animal market. In this study, companion animal behavior was classified and abnormal behavior was detected based on a deep learning model using various data for health management of companion animals through artificial intelligence. Video data and sensor data of companion animals are collected using CCTV and the manufactured pet wearable device, and used as input data for the model. Image data was processed by combining the YOLO(You Only Look Once) model and DeepLabCut for extracting joint coordinates to detect companion animal objects for behavior classification. Also, in order to process sensor data, GAT(Graph Attention Network), which can identify the correlation and characteristics of each sensor, was used.

본 논문에서는 영상 데이터와 센서 데이터를 활용한 딥러닝 기반의 반려동물 이상행동 탐지 서비스를 제안한다. 최근 반려동물 보유 가구의 증가로 인해 기존 푸드 및 의료 중심의 반려동물 시장에서 인공지능을 더한 펫테크(Pet Tech) 산업이 성장하고 있다. 본 연구에서는 인공지능을 통한 반려동물의 건강관리를 위해 영상 및 센서 데이터를 활용한 딥러닝 모델을 기반으로 반려동물의 행동을 분류하고, 이상행동을 탐지하였다. 자택의 CCTV와 직접 제작한 펫 웨어러블 디바이스를 활용하여 반려동물의 영상 데이터 및 센서 데이터를 수집하고, 모델의 입력 데이터로 활용한다. 행동의 분류를 위해 본 연구에서는 반려동물의 객체를 검출하기 위한 YOLO(You Only Look Once) 모델과 관절 좌표를 추출하기 위한 DeepLabCut을 결합하여 영상 데이터를 처리하였고, 센서 데이터를 처리하기 위해 각 센서 별 연관관계 및 특징을 파악할 수 있는 GAT(Graph Attention Network)를 활용하였다.

I. Introduction

최근 급성장하는 고령화 및 출산율 감소와 같은 사회 구조적인 변화들에 따라 반려동물을 기르는 사람들의 수가 꾸준히 증가하고 있다. 이에 따라, 반려동물을 일간처럼 대하는 펫 휴머나이제이션 현상이 가속화되고, 반려동물에게 제공되는 서비스의 품질이 인간이 누리는 서비스와 동일하게 제공되고 있다. 현재 제공되는 IoT(Internet of Things) 기반의 웨어러블 디바이스를 통한 헬스 케어 서비스는 이러한 이유로 인해 대상이 인간에서 반려동물로 확장되고 있으며, 반려동물이 착용하는 웨어러블 디바이스에 관한 연구도 활발히 이루어지고 있다[1-3]. 반려동물 헬스 케어 서비스는 사람과 반려동물 사이에서 의사소통의 어려움으로 인해 발생하는 문제들을 해소하기 위해 사전 진단을 통한 건강관리를 수행한다[4]. 이는 반려동물의 건강관리를 위한 행동 분석 연구들이 기반이 된다. 행동 분석 연구들은 대표적으로 영상과 센서 데이터를 사용하는 방법으로 나누어져 있다.

현재 센서 데이터를 이용한 행동 분석 연구들은 웨어러블 디바이스를 주로 사용하고 있다. 웨어러블 디바이스는 센서로부터 대상에 대한 세밀한 정보를 수집할 수 있으며, 수집된 센서 데이터는 행동 분석에 활용된다. 반려동물에 대한 센서 기반 행동 분석은 걷기, 뛰기, 앉기와 같은 행동들에 대한 다중적인 분류가 가능하다. 이러한 다중 행동 분류에서 센서 기반 행동 분석은 “걷는 행동”과 “뛰는 행동” 사이의 동적 행동에 정확한 분류가 가능하지만, 가만히 있는 정적 행동에 대해서는 분류 정확도가 떨어진다[5].

영상기반 행동 분석은 CCTV와 같은 실시간 영상 기반으로 객체 인식 및 행동 패턴을 분석하여 사건·사고 예방을 위한 연구가 주로 이루어지고 있다[6]. 또한, 반려동물시장의 확대와 관심이 증감함으로써 분석의 대상이 동물로 확대되었다. 동물에 대한 영상기반 행동 분석은 “앉아있는 행동”, “누워있는 행동”, “서있는 행동”과 같은 정적인 행동에 대해서는 높은 정확도의 성능을 보인다[7]. 그러나 “걷는 행동”과 “뛰는 행동”과 같은 세부적인 동적 행동분류에 취약점을 가지고 있다.

멀티모달 분석은 감정, 사용자의 의도 그리고 행동 등을 분석하는데 있어서 영상, 음성, 텍스트 그리고 센서 데이터처럼 서로 다른 형태의 정보로 이루어져 뚜렷한 특성이 구분되는 데이터를 융합하여 사용한다. 멀티모달 분석은 서로 다른 형태의 데이터를 사용함으로써 각 데이터가 가진 단점을 보완하여 정확도를 개선하기 위한 분석 방법이다[8-9].

본 논문에서는 이러한 문제점을 해결하기 위해 멀티모달 반려동물 이상행동 탐지 모델을 제안한다. 센서가 부착된 아두이노와 고정형 CCTV를 통해 반려동물에 대한 영상 및 센서 데이터를 수집한다. 센서 데이터는 GAT(Graph Attention Network)를 사용하여 센서 간의 상관관계를 파악하고, 수집된 센서 값과 센서 간의 상관관계를 바탕으로 행동별 특징을 추출한다. 영상 데이터는 YOLOv4(You Only Look Once version 4) 모델을 통해 객체를 탐지하고, DeepSORT(SORT with A Deep Association Metric)를 적용하여 할당된 ID를 기반으로 객체를 추적한다. 마지막으로 반려동물의 추정 관절 좌표를 도출하기 위해 DeepLabCut 프레임워크를 적용한다. 추정 관절 좌표는 반려동물의 행동을 분류하기 위한 모델인 CNN(Convolutional Neural Networks)-BiLSTM(Bidirectional Long-Short Term Memory)의 입력 값으로 사용하여 정의한 행동으로 분류한다. 본 논문은 관련연구를 통해 각 데이터를 바탕으로 하는 행동 분류 방법에 대해 간략히 소개한다. 이후, 제안 모델에 대해 상세히 설명하며, 더불어 행동 분류를 위한 명확한 기준을 제시한다. 이후, 각 데이터의 처리 방법에 따른 실험 결과를 확인하며, 마지막으로 추후 발전 방향에 관해 논의한다.

II. Related Works

동물의 이상행동을 탐지하기 위해 선행되어야 하는 연구로는 행동의 분류 연구가 있다. 행동 분류 연구가 선행되어야 예상치 못한 행동인 이상행동의 탐지가 가능하기 때문이다. 동물의 행동 분류는 다양한 데이터로부터 가능하며, 주로 영상 데이터와 센서 데이터를 기반으로 연구가 진행되었다.

2.1 Behavior classification based on video data

동물의 행동을 분류하고, 이상행동을 탐지하기 위한 가장 대표적인 데이터는 영상 데이터이다. 영상 데이터 기반 행동 분류 및 이상행동 탐지는 주로 다음과 같은 과정을 가진다. 객체 탐지, 객체 추적, 자세 추정, 행동 분류 및 이상행동 탐지 순서이다.

객체 탐지의 경우, 컴퓨터 비전 분야에서 주로 활용되는 기술이다. 이 기술은 주요 객체를 탐지하여 해당 객체를 중심으로 Bounding box를 표시하여 구분한다. 대표적인 방법으로는 YOLO가 있다[10]. YOLO는 단일 단계 방식을 가진 대표적인 알고리즘으로 원본 이미지를 같은 크기로 같은 크기의 그리드로 나눈다. 이후 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 경계박스의 개수를 예측하고, 이를 기반으로 신뢰도를 계산한다. 미리 정의된 형태를 가진 경계박스의 수를 경계 상자라고 한다. 이와 특징을 기반으로 YOLO는 빠른 탐지 속도를 가지고 있으므로 실시간 영상에 적용될 수 있다는 장점이 있다[11-12].

객체 추적은 위의 객체 탐지 이후에 영상에서 특정 대상의 위치 변화를 추적하는 방법이다. 최근 딥러닝 기반 객체 탐지 기술을 통해 탐지된 대상에 관한 시공간적 특성의 유사성을 활용한 방법이 적용되고 있다. 객체 추적의 대표적 방법으로는 DeepSORT가 있다. 이는 SORT(Simple Online and Realtime Tracking)의 문제점을 해결하기 위해 제안된 알고리즘이다[13]. SORT는 IoU(Intersection over Union)를 기반으로 물체에 대해 할당을 진행하므로 빠른 속도를 갖는 객체 추적이 가능하다[14]. 하지만, SORT 알고리즘은 기존의 대상을 잡지 못하고 다른 ID를 배정하는 ID Switching이 발생하는 단점을 가진다. 또한, 물체가 움직였을 경우와 대상이 가려지는 상황이 발생하였을 때 IoU가 작게 나와 결과가 무시되는 단점을 가진다. DeepSORT는 앞선 단점을 해결하기 위해 명백한 정보들을 통합하여 SORT의 성능을 향상하여, 대상이 장기간 가려진 경우에도 추적이 가능하고, ID Switching이 기존의 SORT 방식보다 45% 감소한 성능을 가지고 있다.

자세 추정은 사진이나 영상 속 객체의 신체 관절 구성을 바탕으로 위치를 추정하는 방법이다. 이를 위해 객체의 신체 윤곽이나 특정 신체 부위를 좌표와 같은 형태로 추출한다. 최근 이러한 신체 부위 예측의 정확도 및 효율을 높이기 위한 딥러닝 기반 자세 추정 프레임워크가 제안되고 있다. 대표적인 프레임워크는 DeeperCut과 DeepLabCut이 있다[15,16]. 그 중 DeepLabCut은 다양한 작업을 수행하는 동물의 마커리스 자세 추정을 위한 프레임워크이며, 영상의 프레임 기반으로 특징점의 움직임을 추정하는데 특화되어 있다. 또한, 최소 프레임의 훈련 데이터를 사용하여 심층 신경망을 사용한 전이 학습 기반으로 단일 및 복수 대상의 자세 추정을 위한 효율적인 방법을 제시한다. 이를 기반으로 기존에 사람 이외의 자세 추정이 힘들었던 DeeperCut의 한계점을 개선하여 다양한 대상에게서 움직임 추정이 가능하다.

마지막으로 행동 분류는 위와 같은 과정을 총합하여 움직이는 객체의 관절 좌표 데이터를 기반으로 행동을 정의하고, 정의된 행동을 통해 행동 분류 기준을 설정한다. 설정된 분류 기준을 통해 행동 좌표 데이터는 학습을 위한 데이터로 구성되어 기계학습 알고리즘을 통해 행동을 분류한다. 그러나 크기가 큰 데이터 셋의 경우 학습 속도가 느리고, 수치 특징이 많은 데이터일 경우 학습에 이상적이지 않은 단점을 가지고 있기 때문에 CNN과 BiLSTM을 사용한 연구가 진행되고 있다[17-18].

2.2 Behavior classification based on sensor data

동물에게 웨어러블 디바이스 등 센서 디바이스를 착용시켜 데이터를 수집하고, 행동을 분류하는 연구 또한 활발히 진행되었다[5][19-21]. 센서 데이터를 통한 행동 분류는 데이터의 수집 이후, 결측치 제거 및 이상치 제거 과정을 거친다. 이후 다양한 방법을 활용하여 행동 분류가 진행된다. SVM(Support Vector Machine) 또는 K-means 방식, 그리고 의사 결정 트리를 활용한 행동 분류가 주를 이루었다[5,22,23]. 특히 Reza Arablouei는 웨어러블 디바이스의 가속도 센서를 통해 방목된 소의 행동을 분류하였는데, 제안된 모델로는 컨볼루션 신경망으로도 볼 수 있는 유한 임펄스 응답(FIR, Finite Impulse Response)와 무한 임펄스 응답(IIR, Infinite Impulse Response)을 활용한 특징 추출 및 행동 분류 모델이 대표적이다[19]. 하지만, 행동 분류를 위해 가장 활발히 활용되는 의사 결정 트리는 문제 대부분에 잘 실행되는 범용성을 가지고, 중요하지 않은 특징은 제외하고 데이터 셋의 크기에 상관없이 모두 사용될 수 있다는 장점이 있으나, 트리 모델이 레벨 수가 많은 특징의 분할로 편향될 수 있으며 그로 인해 모델의 과적합 및 과소 적합이 발생하기 쉽다는 단점이 있다.

본 논문은 위와 같은 이유로 이전 연구에 활용한 GAT를 활용하고, 이를 영상 데이터와 결합하여 이상행동 탐지 서비스를 제안한다. GAT는 Spatial 기반 GNN(Graph Neural Network)으로, 기존 그래프 컨볼루션 신경망에서 Masked self multi-head 어텐션을 적용하여 제안된 신경망이다. 이는 다른 GNN과는 다르게 노드 분류를 수행하기 위한 어텐션 기반의 구조를 가지며, 인접한 노드의 정보만으로도 특징을 구할 수 있다. 즉, 완전히 미확인된 그래프를 테스트 세트로 활용하는 것도 가능한 것이다. 본 연구에서는 이러한 특징을 가진 GAT를 통해 모든 센서를 각각 하나의 노드로 상정하여 센서 간 상관관계를 파악하고, 개별적 특징을 적용하여 엣지의 가중치를 다르게 적용하며 행동을 분류한다.

III. The Proposed Scheme

본 논문에서 제안하는 반려동물 이상행동 탐지 서비스는 센서 데이터와 영상 데이터를 함께 활용하여 서로의 단점을 보완하고자 한다. 즉, 단일 데이터가 아닌 멀티모달 데이터를 활용하는 것으로 행동 분류의 정확도를 개선하고, 이상행동을 보다 정확하게 탐지하는 것이 목적이다. 센서 데이터는 GAT를 통해 행동을 분류하고, 영상 데이터는 YOLO와 DeepLabCut을 활용하여 행동을 분류한다.

위 Fig. 1.은 멀티모달 데이터를 바탕으로 반려동물의 이상행동을 탐지하기 위한 모델의 개요이다. 본 연구에서 수집되는 데이터는 영상 데이터와 센서 데이터이며, 이를 각각 적합한 방식으로 처리하기 위해 서로 다른 데이터 전처리 과정을 거친다. 이후, 같은 행동에 대한 행동 분류를 바탕으로 이상행동을 탐지한다.

Fig. 1. System Architecture

본 연구에서는 반려동물의 정상적 행동을 “걷다”, “뛰다”, “눕다”, “앉다”, “서다”의 5가지 행동으로 정의하였으며, 이외의 행동을 이상행동으로 분류하였다. 아래 그림 2.는 행동의 정의를 위해 번호를 부여한 것이다.

Fig. 2.에 부여한 신체 부위 번호를 바탕으로 Table 1.을 정의하였다.

Fig. 2. Numbering for Classification of Behaviors

Table 1. Behavior Classification Table

위 Table 1.의 기호 “+”는 해당하는 신체 부위가 동시에 땅에 닿는다는 의미이며, 기호 “-”는 해당 번호 순서대로 땅에 닿는다는 의미이다. 이때, 앞 차례 번호의 신체 부위는 땅에서 떨어진 상태이다.

3.1 Design of image data based behavior classification

영상 데이터를 통한 동물의 행동 분류를 위해 먼저 관절 좌표의 레이블링을 진행하였다. 관절 좌표의 레이블링 작업 이후 ResNet50을 활용하여 좌표의 학습을 진행하였다. ResNet50의 학습은 총 20,000번 진행되었으며 이를 통해 도출된 관절 좌표는 아래 Fig. 3.과 같다.

Fig. 3. Estimated Joint Coordinates

위 Fig. 3.의 가능도는 영상 프레임마다 설정된 신체에 레이블링한 좌표 값을 토대로 추론된 값이다. 본 연구에서는 데이터의 사용 여부를 50%의 상한선을 기준으로 설정하였으며, 가능도가 50% 이상으로 추론된 좌표들만 사용하였다.

위와 같은 과정으로 도출된 좌표들은 행동 분류를 위한 모델의 입력 값으로 사용된다. 입력 데이터는 총 13개의 관절에 해당하는 좌표이므로 총 26개의 칼럼으로 구성되어 있다. 특징을 추출하기 위해 출력 층이 256개인 1D Convolution의 2개 층을 지나서 한 번의 MaxPooling 과정을 거친 후, 다시 출력 층이 128개인 1D Convolution 계층을 지난다. 이후, 시계열 적 특징을 갖는 각 행동의 연관성을 파악하기 위한 BiLSTM 계층을 지난다. BiLSTM은 총 4개의 계층으로 구성되어 있다. 마지막 행동 분류를 위한 결과를 추출하기 위해 Flatten 계층 통해 전체 데이터를 1차원 벡터 형태로 구성하고, 다섯 가지의 행동을 분류하기 위해 Dense의 출력 층을 5로 설정한다.

3.2 Design of sensor data based behavior classification

센서 데이터 기반의 행동 분류는 영상 데이터와는 다른 데이터 전처리 과정을 거친다. 먼저, 시계열적 특성을 반영하기 위해 3초의 시간을 의미하는 3-layer LSTM 계층을 거쳐서 각 센서를 노드화하는 과정을 거친다. 아래 Fig. 4.는 이를 나타내는 그림이다.

Fig. 4. LSTM Layer and Nodeization Phase

위와 같은 과정을 거쳐 각 센서 간의 상관관계를 파악하여 다시 그래프의 노드를 생성한다. 이후, 각 시간 별 노드의 인접 행렬을 생성하여 행동 분류를 위한 그래프를 생성한다. GAT 기반 행동 분류는 각 행동 간의 어텐션 계수를 바탕으로 노드를 분류한다. 본 연구에서는 3계층의 그래프 어텐션을 활용하였다. 이는 이웃한 노드와의 어텐션 계수를 바탕으로 새로운 노드를 생성한다. 이러한 과정의 그래프 임베딩 벡터에 대한 출력을 계산하여 분류가 이루어진다. 즉, 본 연구에서 활용되는 센서인 자이로 3축, 가속도 3축 각각의 상관관계와 각 행동의 상관관계를 고려하여 행동을 분류한다.

3.3 Abnormal behavior detection

센서 데이터와 영상 데이터를 바탕으로 행동을 분류한 후, 동물의 이상행동을 탐지한다. 분류되는 행동은 총 5가지로, “걷다”, “뛰다”, “앉다”, “서다”, “눕다” 이며, 이는 2가지 대분류인 정적인 행동과 동적인 행동으로 나눠볼 수 있다. 정적인 행동으로는 “앉다”, “서다”, “눕다”가 있으며, 동적인 행동으로는 “걷다”, “뛰다”가 있다. 이는 앞서 설명한 행동 정의 표에서 확인할 수 있다.

본 연구에서는 이러한 정적 행동 및 동적 행동을 기반으로 이상행동을 탐지한다. 같은 시간의 영상 분류 결과가 정적 행동으로 분류되었지만, 센서 분류 결과가 동적인 행동으로 분류되는 경우는 명확한 이상행동으로 분류한다. 하지만, 같은 동적인 행동 중 “걷다” 및 “뛰다”로 분류 결과가 다르게 나오는 경우, 영상 데이터를 우선으로 고려하여 해당하는 행동을 분류한다. 또한, 반려동물이 숨을 쉬는 것과 같이 발생하는 지속적이고 미약한 움직임은 노이즈로 상정하고 실험을 진행하였다. 마지막으로, 센서 데이터가 정적인 행동으로 분류하였으나 영상 데이터가 동적인 행동으로 분류할 경우 이는 이상행동이 아닌 센서의 결함으로 고려하여 추후 서비스 시에 확인할 수 있도록 신호를 전달한다. 아래 Table 2.는 이러한 내용을 정리한 내용이다.

Table 2. Abnormal Behavior Definition Table

IV. Experiment and result

본 논문에서의 이상행동 분류는 각 분류 방법의 정확도가 중요하므로, 각 행동 분류 기법의 정확도를 파악하였다. 실험 환경은 Table 3.에 나타난 바와 같다.

Table 3. Experiment Environment

4.1 Behavior classification based on image data

영상 데이터를 통한 행동 분류는 총 6,000개의 관절 좌표 프레임을 학습, 검증 및 테스트 데이터를 6:2:2의 비율로 구분하였다. 구분된 데이터는 입력 데이터로 설정하고, 분류 모델인 CNN-BiLSTM 모델과 아래 학습 파라미터를 적용하여 분류하였다.

Table 4. Image Classification Training Parameters

위 학습 파라미터를 적용하여 행동을 분류하였으며, 영상 분류의 경우 분류성능평가지표인 정밀도, 재현율, 그리고 F1-score를 통해 성능을 평가하였다. 아래 Fig. 5.와 Fig. 6.은 각각 모델의 학습 그래프를, Table 5.는 행동별 분류 결과를 나타낸다.

Fig. 5. Image Classification Model Training Graph (Accuracy)

Fig. 6. Image Classification Model Training Graph (Loss)

Table 5. Behavior Classification Result

4.2 Behavior classification based on sensor data

센서 데이터를 바탕으로 이루어지는 행동 분류는 총 3,324초의 데이터를 학습하여 진행되었다. 이는 영상을 확인하며 시간마다 행동을 라벨링한 데이터이다. 그 중, 결측치는 직전 및 직후 센서 측정값의 평균치로 처리하였다. 또한, 전처리의 과정 중 그래프 생성 과정에서 아무런 노드와도 연결되지 않으며 동떨어지는 노드는 이상치로 고려하여 제외하였다.

그래프를 생성하는 과정에서 엣지의 생성은 피어슨 상관계수를 활용하였다. 피어슨 상관계수는 값이 서로 함께 변하는 정도를 파악하며, 본 연구에서는 이러한 수치가 0.5 이상을 보일 때 엣지를 연결하여 그래프를 생성하였다.

본 논문에서는 3개의 어텐션 계층을 쌓았으며, 입력 값으로 활용된 그래프는 672,624개의 엣지와 2,173개의 노드를 가지고 있다. 아래 Fig. 7.은 구현 모델의 요약이며, Table 6.은 적용된 학습 파라미터이다.

Fig. 7. Model Summary

Table 6. Graph Classification Parameter

테스트 데이터 셋은 총 200개의 데이터 셋을 활용하였으며, 아래 Fig. 8.과 Fig. 9.는 학습 그래프를, Fig. 10.은 분류 결과를 나타낸다.

Fig. 8. Sensor-based Classification Model Training Graph(Accuracy)

Fig. 9. Sensor-based Classification Model Training Graph(Loss)

Fig. 10. Classification Results and Accuracy

Ⅴ. Conclusions

본 논문에서는 멀티모달 데이터를 활용한 반려동물의 이상행동 탐지 서비스를 설계 및 구현하였다. 주변에서 흔히 볼 수 있는 CCTV를 통한 영상 데이터와 목줄형 웨어러블 디바이스를 통해 센서 데이터를 수집하였다. 영상 데이터는 객체 추적 및 추정 좌표 추출을 바탕으로 높은 정확도로 반려동물의 행동을 분류하였으며, 센서 데이터는 GAT를 통해 각 센서의 상관관계를 반영하여 영상과 마찬가지로 높은 정확도로 행동을 분류하였다.

하지만, 본 연구는 충분한 이상행동 데이터를 수집하지 못했기 때문에 더욱 세밀한 이상행동을 탐지할 수 없다는 한계가 있다. 또한, 센서 데이터를 통한 분류의 경우, “눕다”를 포함한 “걷다”와 “서다”의 분류 정확도가 낮은 것을 확인할 수 있었다. 이와 같은 결과는 데이터의 부족과 센서 데이터를 통한 큰 동작이 아닌 작은 동작의 분류가 더욱 정확하게 이루어지지 않았기 때문이다. 이는 추후 전문가의 의견이 반영된 이상행동 데이터를 수집하는 것과 센서 데이터와 영상 데이터의 결합 과정으로 더욱 세밀하고 정확한 이상행동을 탐지할 수 있을 것으로 기대된다.

추후 추가로 영상과 센서뿐만이 아닌 소리 또한 추가적인 정보로 활용하여 더욱 정확한 행동 분류 및 이상행동탐지를 위한 정보로 활용할 계획이다.