딥러닝 기반 품종 및 감정인식 SNS를 포함하는 애완동물 관리 시스템 구현

Implementation of Pet Management System including Deep Learning-based Breed and Emotion Recognition SNS

Abstract

최근 몇 년간 애완동물 소유 비율이 꾸준히 증가함에 따라 효과적인 애완동물 관리 시스템의 필요성이 커졌다. 본 연구에서는 딥러닝 기반 감정인식 SNS를 포함하는 애완동물 관리 시스템을 제안한다. 시스템은 합성곱 신경망(CNN)을 이용하여 애완동물의 표정을 통해 감정을 감지하고, SNS를 통해 사용자 커뮤니티와 공유된다. SNS를 통해 애완동물 주인들은 다른 사용자들과 연결되어 자신의 경험을 공유하고, 애완동물 관리에 대한 지원과 조언을 받을 수 있다. 또한, 시스템은 애완동물 건강 추적 및 예방접종 및 예약 알림 등의 기능을 포함하여 종합적인 애완동물 관리를 제공한다. 이에 더하여, 시스템은 애완동물 산책 기록을 관리하고 공유하는 기능을 추가하여 애완동물 주인들이 자신의 애완동물과 함께한 산책 기록을 다른 사용자들과 공유할 수 있다. 본 연구는 인공지능 기술을 활용하여 애완동물 관리 시스템을 개선하여 애완동물과 그 주인의 복지를 향상시키는 가능성을 보여주고 있다.

As the ownership of pets has steadily increased in recent years, the need for an effective pet management system has grown. In this study, we propose a pet management system with a deep learning-based emotion recognition SNS. The system detects emotions through pet facial expressions using a convolutional neural network (CNN) and shares them with a user community through SNS. Through SNS, pet owners can connect with other users, share their experiences, and receive support and advice for pet management. Additionally, the system provides comprehensive pet management, including tracking pet health and vaccination and reservation reminders. Furthermore, we added a function to manage and share pet walking records so that pet owners can share their walking experiences with other users. This study demonstrates the potential of utilizing AI technology to improve pet management systems and enhance the well-being of pets and their owners.

Ⅰ. 서론

애완동물을 소유하는 사람들의 수가 지난 몇 년간 꾸준히 증가함에 따라, 효율적인 애완동물 관리 시스템의 필요성이 더욱 커지고 있다. 많은 사람들이 이제는 애완동물을 가족 구성원으로 여기고 있다. 이러한 추세에 따라, 애완동물 주인들은 반려동물의 건강과 복지를 관리하고, 의료기록을 추적하며, 애완동물 관리에 대한 지원 및 조언을 얻기 위해 다른 애완동물 소유자들과 연결할 수 있는 편리하고 효율적인 방법이 필요하다.

딥러닝과 인공지능 기술의 발전으로, 애완동물의 품족과 얼굴 표정을 통해 반려동물의 감정을 자동으로 인식하는 애완동물 관리 시스템을 개발할 수 있게 되었다. 감정인식은 애완동물의 감정을 더 잘 이해하고, 애완동물의 복지를 향상시키는 데 도움을 줄 수 있다. 또한, 소셜 미디어를 통해 다른 애완동물 소유자들과 연결됨으로써, 애완동물 주인들은 지역 사회를 형성하고, 서로에게 지원을 제공할 수 있다.

본 연구에서는 딥러닝 기반의 감정인식과 소셜 네트워킹 서비스(SNS)를 결합한 애완동물 관리 시스템을 구현하였다. 이 시스템은 반려동물의 건강과 예방접종 추적, 예약 알림, 그리고 산책 기록 관리 및 공유 등 포괄적인 애완동물 관리 기능을 제공하며, 게다가 품종과 감정이 자동으로 인식된 SNS 기능을 통해 자연스럽게 애완동물의 상태를 시각적으로 관리할 수 있다. 또한 SNS 를 통해 다른 사용자들과 경험을 공유할 수 도 있다. 본 연구를 통해 더욱 효과적이고 효율적인 애완동물 관리 시스템의 발전과 애완동물 및 주인들의 복지 향상에 기여할 것으로 기대한다.

본 논문의 구성은 다음과 같다. 2장에서는 본 논문의 연구 배경을 설명하고, 3장에서는 전체 시스템의 설계에 대해 설명한다. 4장에서는 구현된 내용을 소개하며, 5장에서는 결론을 맺는다.

Ⅱ. 연구 배경

1. IT 기반 애완 동물 관리

애완동물이 증가함에 따라 IT 기술을 활용한 애완동물 관련 연구가 진행되었으며 관련 소프트웨어도 많이 등장하였다^[1][2]. 핏펫^[3]은 앱을 통해 애완동물 용품을 구매할 수 있고 애완동물 정보를 등록하고 기록을 관리할 수 있으며 동물병원 인증을 통해 전국의 모든 동물병원에서 애완동물 기록을 통합 관리할 수 있다. 그 밖에 애완동물의 산책과 동반 여행이 가능한 곳 정보를 제공하고 공유하는 어플리케이션들도 많이 등장하였다^[4][5].

다양한 애완동물 관련 어플리케이션이 있지만 주인들간의 소통과 정보 공유 기능이 부족하고, 특히 애완동물의 감정을 기록 관리하는 기능은 없다. 본 논문에서는 애완동물 관리에 필요한 정보 공유 뿐만 아니라 애완동물의 감정을 인식해서 SNS 형태로 공유함으로써 감정 기록 관리와 정보 공유의 효과를 얻을 수 있도록 하였다.

2. 애완동물 감정 인식

영상 데이터를 이용한 딥러닝 기반 영상 인식 및 감정 인식 관련 연구들이 진행되 왔다^[6][7]. 애완동물 분야에서도 최근 들어 디바이스와 애플리케이션 등을 이용한 관리 시스템이 다양하게 제안되고 있다.

Liang et al은 애완동물의 감정 변화를 분석하기 위해 시계열 신경망 모델을 이용하여 관리 시스템을 구현하였다^[5]. 이 연구에서는 애완동물의 소리와 심박수 등의 생체신호를 수집하고, 이를 시계열 신경망 모델에 입력하여 애완동물의 감정 변화를 예측하였다^[8].

또 다른 연구에서는 딥러닝 기반 감정인식 알고리즘을 이용하여, 개와 고양이의 감정 상태를 분류하는 시스템을 구현하였다. 이를 통해 주인들이 애완동물의 감정 변화를 빠르게 파악할 수 있도록 하였다^[9].

하지만, 이러한 기존 연구들은 감정인식을 위해 관찰 대상의 데이터를 직접 수집하는 즉, 일정한 집합적인 데이터를 이용하는 것이 대부분이었다. 또한 영상을 기반으로 품종 확인과 함께 감정인식 시스템은 제안되지 않았다. 따라서 본 연구에서는 주인들이 직접 데이타를 수집해서 학습시킬 필요 없이 다양한 경로로 수집된 수많은 이미지를 이용하여 미리 학습된 애완동물의 품종과 감정인식 기능을 갖는 SNS를 포함한 애완동물 관리 시스템을 제안하고자 한다.

Ⅲ. 시스템 설계

1. 시스템 구성

본 연구에서 구현한 전체 시스템은 그림 1과 같다. 구현된 시스템은 Spring Boot 기반 서버와 안드로이드 사용자 앱으로 구성되어 있다. 서버는 Amazon Cloud EC2 가상 서버를 이용하였다. 소셜 로그인을 위한 Kakao 와 Naver Open API와 Google Map 활용을 위한 Google SDK 를 사용하였다. 사용자는 안드로이드 앱을 통해 애완동물의 모든 정보를 관리하고 특히 품종과 감정 인식 기능을 이용할 수 있는 SNS 를 통해 소통을 할 수 있으며 GPS 기능을 통해 산책 기록을 관리할 수 도 있다.

그림 1. 시스템 구성도

Fig. 1. System View

2. 품종 및 감정인식 기능 설계

본 논문에서는 앱 사용자가 카메라로 촬영해서 등록한 이미지에서 개와 고양이를 품종과 감정 인식을 하기 위해 Shifted Window 를 사용한 Swin Transformer 딥러닝 모델을 사용하였다^[11]. 그림 2는 품종 및 감정인식 알고리즘이다.

그림 2. 이미지 인식 알고리즘

Fig. 2. Image Recognition Algorithm

이미지가 입력되면 Object Detection으로 고양이 또는 강아지가 있는지 확인한다. 고양이나 강아지가 있으면 이미지 자르기로 애완동물의 얼굴을 추출하고 CoAtNet 모델을 이용해 종 분류와 감정 인식을 진행한다^[12]. 이 모델에서 CNN과 Transformer가 결합된 모델로 CNN을 거쳐 특징 추출이 된 값들을 Transformer의 인코더 부분을 통해 심층 학습을 한다. 본 연구에서 사용한 딥러닝 모델의 견종 분석은 Stanford Dogs dataset for Fine-Grained Visual Categorization^[13] 데이터 셋을 학습하였고 고양이 종류와 감정 인식은 인터넷에서 수집한 다양한 이미지를 통해 학습하였다. 학습에 사용된 이미지는 224x244 픽셀 크기로 조정하였다.

3. 안드로이드 앱

안드로이드 앱은 다음과 같은 기능을 같도록 설계되었다.

가. 날씨 확인 기능

애완견과 산책을 하기 위해 필요한 기능으로 Open API를 통해 JSON 형식으로 수신한 데이터를 기반으로 온도, 바람, 구름 및 습도와 같은 실시간 날씨 정보를 보여준다.

나. 산책 기록 저장 및 장소 즐겨찾기

GPS 센서를 이용해 애완견과 산책했던 장소를 자동으로 지도에 표시하고 이를 즐겨찾기를 통해 확인할 수 있다.

다. 딥러닝 기반 SNS

애완동물 동호인들과 소통을 위한 SNS로 이미지 등록시 반드시 애완동물이 사진 안에 있어야 등록이 되며 딥러닝을 통해 품종 및 감정 자동 태그 기능을 갖는다.

Ⅳ. 구현 및 실험

1. 안드로이드 앱 구현

그림 3은 구현된 안드로이드 앱을 실행한 화면이다. 그림 3(a)는 초기화면으로 즐겨찾기 장소와 감정인식 메뉴 그리고 현재 날씨 정보를 보여준다. 사용자는 Google 계정으로 로그인하여 애완동물 정보를 관리할 수 있다. 그림 3(b)는 강아지 견종과 감정 인식을 보여준다. 안드로이드 스마트폰에서 사진을 촬영하면 이미지를 서버로 전송하고 서버는 CoAtNet 모델을 이용 강아지 품종과 감정을 인식한 결과를 이미지와 함께 보여준다. 감정의 정도는 Angry(90%)와 같이 퍼센트로 보여준다. 그림 3(c)와 (d)는 품종과 감정 인식이 완료된 이미지와 정보를 SNS 등록 형식으로 자동으로 생성된 결과를 보여준다. 그림 4는 즐겨 찾기 장소 관리 화면이다. 이 화면은 사용자가 이미 방문했던 장소를 GPS 인식을 통해 자동으로 목록을 생성해 주며 데이터베이스에 저장된 장소들 중에 사용자가 선택한 장소를 우선 보여주게 된다.

그림 3. 안드로이드 앱 초기 화면과 감정 인식 화면

Fig. 3. Android App Home and Emotion Analysis

그림 4. 즐겨찾기 장소 표시 화면

Fig. 4. Places of Interest

그림 5는 강아지와 산책한 정보를 보여준다. 그림 5(a)는 달력 형식으로 각각의 일자별 산책한 시간, 장소, 거리, 속도 그리고 소모된 칼로리를 지도와 함께 요약 정보를 보여준다. 그림 5(b)는 달력에서 선택한 일자의 산책 경로를 지도위에 자세히 보여준다.

그림 5. 산책 기록 화면

Fig. 5. Walk Record

2. 품종 및 감정 인식 실험

본 논문에서 사용한 CoAtNet 모델의 인식률과 정확도 측정을 위해 실험을 실시하였다.

가. 실험 1 – 품종 및 감정 인식

이 실험에서는 강아지 및 고양이 이미지를 대상으로 그 품종과 감정을 인식하는지 확인하였다. 표 1은 그 결과를 보여준다.

표 1. 품종 및 감정 인식 실험

Table 1. Breed and Emotion Recognition Experiment

나. 실험 2 – 인식 정확도 실험

표 2는 학습에 사용된 이미지 수를 변화시키면서 측정한 정확도를 보여준다. 정확도는 학습에 사용된 이미지의 수가 증가할수록 향상되었다. 품종 인식의 정확도가 감정 인식의 정확도 보다 크게 나온 결과를 보여준다. 그 이유는 품종은 이미지 전체를 대상으로 학습된 결과에 의존하는 반면 감정은 이미지의 일부분, 예를 들면 눈과 입과 같은 이미지의 일부분을 대상으로 판단하기 때문이며 이는 이미지에 따라 또렸한 차이를 보여주기 어렵기 때문이다.

표 2. 인식률 실험

Table 2. Recognition Rate Experiment

Ⅴ. 결론

본 연구에서는 딥러닝 기반 감정인식 SNS를 포함하는 애완동물 관리 시스템을 구현하였다. 구현된 시스템은 사용자가 애완동물의 건강 상태와 감정 상태를 파악하고, SNS를 통해 다른 사용자와 정보를 공유할 수 있도록 하였다. 시스템 구현 과정에서는 CoAtNet 모델을 사용하여 딥러닝 모델과 안드로이드 앱을 개발하였다.

실험 결과, 딥러닝 기반 감정인식 모델은 애완동물의 감정 상태를 정확하게 인식할 수 있었으며, SNS 기능을 통해 사용자들이 서로 정보를 공유하고 소통할 수 있도록 하였다. 또한, 시스템은 사용자들이 애완동물을 더 잘 관리하고 보호할 수 있도록 도와주었다.

따라서, 본 연구는 딥러닝 기반 감정인식 SNS를 포함하는 애완동물 관리 시스템의 유용성을 입증하였으며, 애완동물을 키우는 사용자들에게 큰 도움이 될 것이라 기대된다.

본 연구에 이은 향후 연구는 더 다양한 품종의 강아지와 고양이를 인식할 수 있는 모델 개발이다. 현재 실험에서는 일부 품종에 대해서만 인식률이 높았지만, 더 다양한 품종에 대해서도 인식률을 향상시킬 필요가 있다. 끝으로 애완동물 동영상을 대상으로도 딥러닝을 기반 품종 및 감정인식 기능을 추가하는 것이다.