DOI QR코드

DOI QR Code

Abnormal Situation Detection Algorithm via Sensors Fusion from One Person Households

  • Kim, Da-Hyeon (Dept. of Software, Korea National University of Transportation) ;
  • Ahn, Jun-Ho (Dept. of Software, Korea National University of Transportation)
  • Received : 2022.03.24
  • Accepted : 2022.04.21
  • Published : 2022.04.29

Abstract

In recent years, the number of single-person elderly households has increased, but when an emergency situation occurs inside the house in the case of single-person households, it is difficult to inform the outside world. Various smart home solutions have been proposed to detect emergency situations in single-person households, but it is difficult to use video media such as home CCTV, which has problems in the privacy area. Furthermore, if only a single sensor is used to analyze the abnormal situation of the elderly in the house, accurate situational analysis is limited due to the constraint of data amount. In this paper, therefore, we propose an algorithm of abnormal situation detection fusion inside the house by fusing 2DLiDAR, dust, and voice sensors, which are closely related to everyday life while protecting privacy, based on their correlations. Moreover, this paper proves the algorithm's reliability through data collected in a real-world environment. Adnormal situations that are detectable and undetectable by the proposed algorithm are presented. This study focuses on the detection of adnormal situations in the house and will be helpful in the lives of single-household users.

최근 1인 고령 가구가 증가하고 있지만 1인 가구의 경우 집 안에서 위험 상황이 발생했을 때, 이를 외부에 알리기 힘들다. 이와 같은 1인 가구의 위험 상황을 탐지하기 위해 다양한 스마트홈 솔루션이 제안되고 있지만, 프라이버시 영역에 문제가 있는 홈 CCTV와 같은 영상 매체는 활용 어렵다. 그리고 단일 센서만을 활용하여 집안 내 고령자의 위험 상황을 분석할 경우, 데이터양의 한계로 정확한 상황해석이 제한 된다. 따라서 본 논문에서는 프라이버시를 지킬 수 있으며 실생활에 밀접한 2DLiDAR, 먼지, 음성 센서 간의 상관관계 따른 융합을 통한 집 내부의 위험 상황 탐지 융합 알고리즘을 제안한다. 또한, 본 논문은 실제 환경에서 수집한 데이터를 통해 알고리즘의 신뢰성을 증명한다. 제안하는 알고리즘이 탐지 가능한 위험 상황과 불가능한 상황을 제시한다. 본 논문은 집 안에서 위험 상황을 탐지하는 연구로써 1인 가구 사용자의 생활에 도움이 될 것이다.

Keywords

I. Introduction

통계청의 2020 인구주택총조사 표본 집계에 따르면, 2015년에 비해 총 1인 가구는 27.5%로 증가하고 있으며 60세 이상의 1인 고령 가구는 43.5% 증가하였다[1]. 1인 고령 가구의 증가에 따라 고령자들을 돌보고 고독사 등 다양한 문제 상황을 파악하고 예방하는 것에 대한 중요성이 증가하고 있다. 특히, 최근 코로나 19로 인해 직접 방문을 통한 문제 상황 파악이 아닌 스마트 센서등, 스마트 플러그 등 다양한 스마트 장비들을 활용한 해결책들이 제안되고 있다. 스마트 플러그[2]는 장시간 집안의 조도와 전기사용량의 변화가 일정 시간 이상 발생하지 않는 경우 위험 상황으로 판단한다. 스마트 센서등[3] 의 경우 동작 감지 센서를 고령자 집 내부 형광등에 설치하여 8시간 이상 사람의 움직임이 감지되지 않으면 위험 상황으로 판단하고 구조 요원을 파견한다.

집안에서 고령자의 위험 상황을 판단하기 위해 카메라, 동작 감지 센서, 호흡 센서, 충격 센서, 온습도 센서 등 다양한 센서들을 활용한다. 대표적으로 고령자의 위험 상황 판단을 위해 홈 CCTV를 이용하는 경우 고령자의 현재 상태와 위험 상황 등을 영상 데이터를 통해 정확하게 파악할 수 있다. 하지만 프라이버시와 같은 문제로 인해 고령자들이 집 내부에 카메라를 설치하는 것에 거부감을 가지며 실제 홈 CCTV의 이용률이 저조했다[4]. 또한, 단일 센서만 사용하는 경우 집 안의 위험 상황을 정확히 탐지하기가 힘들다. 예를 들어 동작 감지 센서는 반려동물과 함께 생활하면 위험 상황 파악이 힘들며 온습도 센서의 경우 집 내부 환경에 따라 정확한 측정이 어렵다. 따라서, 우리는 고령자들이 집 내부에 설치하는 것에 거부감을 느끼지 않으면서 3가지 센서를 융합하여 단일 센서만을 사용하는 경우보다 정확하게 위험 상황을 판단할 수 있는 스마트홈 시스템을 연구했다.

우리는 사용자의 위험 상황을 판단하기 위해 2D LiDAR, 먼지, 음성 센서를 융합하였다. 2D LiDAR 센서는 사용자의 동선을 알 수 있으며 사용자의 일상적인 움직임패턴과 갑작스러운 쓰러짐과 같은 위험 상황의 패턴을 분석하여 위험 상황을 판단했다. 음성 센서는 음성 데이터를 수집하여 일반적인 대화와 위험 상황에 비명 분류하는 모델을 구성하여 사용자의 위험 상황을 판단하였다. 먼지 센서는 창문과 문 근처에 설치하여 개폐 시 센서값의 변화를 분석하고 움직이는 경우의 값을 분석하여 사용자가 외출한 경우 외부에 침입 여부를 탐지하여 다양한 상황에서 사용자에게 발생하는 위험 상황을 탐지할 수 있었다. 하지만 음성 센서의 경우 텔레비전, 라디오와 같은 다른 소리가 집 안에 존재한다면 위험 상황을 탐지하기 힘들다. 이때, LiDAR 센서에서 위험 상황이 탐지되고 소리 센서에도 장시간 텔레비전, 라디오 같은 소리가 나온다고 탐지되면 우리는 사용자에게 문제가 생겼다고 판단할 수 있다. 이처럼 여러 개의 센서를 융합함으로써 단일 센서만으로는 판단하기 힘든 위험 상황도 판단이 가능하다. 우리는 사용자의 위험 상황을 탐지하기 위한 데이터 분석과 탐지 모델에 대해 연구하였다. 본 논문에서는 실제 집 안에 센서를 설치하여 데이터를 수집하고 이를 제안하는 알고리즘을 통해 성능을 나타내고 있다.

본 논문은 먼저, 2장에서 기존의 스마트홈 및 1인 가구에서 위험 상황을 탐지하는 연구 사례에 관해 서술하였다. 3장에서 융합 알고리즘과 센서들의 데이터 처리 및 분석에 관해 설명한다. 그 뒤, 4장에서는 실제 1인 가구 환경에서 수집한 데이터를 이용해 위험 상황을 탐지한 결과를 보여준다. 마지막 5장에서 본 연구의 논의 점과 향후 연구에 관해 기술하였다.

II. Related Works

스마트홈 사용자의 헬스케어를 위해 집 안의 상황을 모니터링하고 위험 상황을 판단하는 스마트홈 연구[5-8]는 이전부터 다양하게 진행되었다. 관련 연구[6]는 고령자의 침실에 동작 감지 센서와 영상 센서를 설치하고 맥박과 호흡을 측정할 수 있는 센서를 침대에 설치하여 데이터를 수집했다. 수집된 센서 데이터와 일상생활의 활동 패턴을 분석하여 사용자의 건강 상태를 예측하였다. 또 다른 연구[7] 에서는 고령자가 갑자기 쓰러지는 상황을 탐지하기 위해 영상 센서를 사용하여 데이터를 수집하였다. 그 후, 배경을 제거하여 사람 객체를 탐지하고 사람 객체를 감싸는 타원을 그려 타원의 중심좌표의 변화률에 따라 쓰러짐을 판단하였다. 사용자에게 심박수와 맥박을 측정하며 자세를 감지할 수 있는 웨어러블 장치를 부착하고 집 안에 카메라, 마이크 등의 모니터링 장비를 설치하여 위험 상황을 탐지하는 연구[8]도 있다. 이 연구에서는 다양한 센서의 결과를 퍼지 알고리즘을 통해 융합하고 현재 사용자의 상황을 분류하였다.

최근에는 1인 가구가 증가함에 따라 1인 가구의 위험 상황을 탐지하는 것에 중요성이 높아지고 있다. 1인 가구는 집 안에서 위험 상황이 발생했을 때, 외부로 도움을 청하기 힘들며 외부에서 위험 상황을 알아채기가 힘들다. 1인 가구의 집 안의 상황을 모니터링하고 현재 사용자의 상태를 분석하여 위험 상황을 판단하는 다양한 연구[9, 10]가 진행됐다. 소리 데이터를 이용하여 1인 가구의 행동을 파악하고 위험 상황을 탐지하는 연구[10]는 딥러닝 모델을 설계하여 일반적인 사람의 활동 소리와 비상 상황의 사람의 소리를 구별하였다. 이때, 사람에게 음성을 인식할 소리 센서를 부착하는 것이 아닌 집 안에 센서를 배치하여 데이터를 수집하며 convolutional neural network (CNN) 과 long short-term memory (LSTM)으로 구성된 모델을 통해 소리를 자동으로 구별하고 있다. 이와 다르게 사람이 직접 소지하는 모바일 기기를 통해 현재 사용자의 정보를 수집하여 비정상적인 상황을 탐지하는 연구[11]도 있다.

또한, 최신 연구[12-14]는 다양한 센서의 융합뿐 아니라 센서 데이터 분석에 머신러닝과 딥러닝을 활용하여 사용자의 상태 예측이 더 정확해졌다. 연구[12]는 현재까지의 스마트홈에서 센서 데이터의 융합과 분석과 관련된 다양한 관련 연구를 조사하고 분석하여 설명하고 있다. 가속도 센서, 자이로스코프 센서를 활용하여 자세와 행동을 분석하고 사용자의 상태를 탐지할 수 있으며 자기장 센서와 위 2개의 센서를 융합해 기존 센서의 오류를 수정하고 더욱 정확한 행동과 자세 분석이 가능하다 소개하고 있다. 수집된 센서 데이터는 기존의 평균치를 계산하는 방식부터 상관관계에 의해 융합하는 방식까지 소개하고 있다. 다른 연구[13]에서는 영상 센서와 LiDAR 센서 등의 센서를 융합하여 스마트홈 사용자의 이상징후를 탐지하고 있다. 영상 데이터는 객체 탐지를 통해 사용자를 탐지하고 연구[7]와 같이 사용자의 중심좌표 변화에 따른 쓰러짐을 탐지하였다. 또 다른 연구[14]에서는 카메라에서 얻은 영상 데이터를 dynamic bayesian network (DBN) 을 이용하여 고령자의 건강을 모니터링하였다. 사용자의 프라이버시 문제를 해결하기 위해 모자이크와 같은 blur 처리가 된 영상을 이용하였다.

본 논문은 집 안에서 설치하기 쉽고, 집 내부에 구비 된 가전제품들에서 활용할 수 있는 저가의 센서들을 활용하여 연구 및 실험을 진행하였다. 기존의 연구는 카메라에 의존하여 프라이버시 문제가 심각하지만 본 연구는 프라이버시 문제를 최소화하고자 영상 데이터가 아닌 2DLiDAR, 음성, 먼지 센서를 활용하여 수집한 데이터를 사용했다. 또한, 단일 센서를 통해 1인 가구의 집 안을 모니터링하는 기존의 연구들과 다르게 본 연구는 센서들의 상관관계 기반 융합 알고리즘을 설계하였다.

III. The Proposed Algorithm for Anomaly Detection

이번 단락에서는 제안하는 센서 융합 알고리즘을 서술하고 위험 상황을 탐지하기 위한 센서 데이터 처리 알고리즘과 위험 상황 탐지 모델에 대해 설명한다.

1. System and Fusion Algorithm

본 연구에서 집 내부에서 센서를 이용하여 데이터를 수집하고 클라우드 서버에서 사용자의 상황을 판단한 뒤, 위급 상황인 경우, 외부에 전달하는 시스템을 제안한다. 먼저, 2D LiDAR 센서가 부착된 로봇 청소기와 음성 인식이 가능한 스피커 등을 통해 집 내부의 존재하는 가전제품을 활용하여 상황에 대한 센서 데이터를 수집하는 시스템을 제안한다. 수집된 데이터는 네트워크를 통해 클라우드 서버로 보내지게 된다. 이때, 서버에서는 각각의 센서에 따른 위험 상황을 분석하는 모듈이 있으며, 각 센서 별 결과를 융합 알고리즘을 통해 현재 사용자의 상태를 예측하게 된다. 만약 사용자에게 위험 상황이 발생했다고 판단되면 외부에 알려 사용자를 도울 수 있다. 그림 1은 이와 같은 전체 시스템을 보여주고 있다. 본 연구에서는 센서 간의 상관관계를 통한 융합 알고리즘을 제안하며 그림 2는 센서 융합 알고리즘의 순서도로 나타낸 것이다.

Fig. 1. Proposed System Architecture

Fig. 2. Flow Chart of Abnormal Detection Algorithm Using Sensors

2D LiDAR 센서로 scan된 데이터를 이용하여 움직이는 물체를 파악할 수 있으며 동적 물체의 움직임을 분석하여 쓰러짐과 같은 위험 상태와 정상적으로 움직이는 상태를 구별할 수 있다. 음성 데이터는 비명소리와 일반적인 말소리로 학습된 모델을 통해 집 안에서 발생하는 소리를 구별한다. 2D LiDAR 데이터를 통해 사용자의 움직임 패턴이 위험 상황이거나 움직임이 없다고 판단되면 음성 센서의 가장 최근 음성 예측 결과가 비명소리인지 말소리인지 구별한다. 만약 비명소리였을 경우 집 내부에 위험 상황이 발생한 것으로 판단한다. 비명소리가 아닌 경우 8시간 이상 텔레비전 소리와 같은 노이즈나 소리가 발생하지 않으면 집안에서 위험 상황이 발생했다고 판단하였다. 사용자의 상황이 위험상황이 아니지만 사용자의 동선이 현관에서 사라진 경우, 사용자가 외출한 상태로 판단하여 먼지 센서가 작동한다. 먼지 센서는 외부의 침입 여부를 판단하는데, 아무도 없는 집 안에서 가질 수 있는 값을 임계 값으로 설정하여 임계값 이상의 값이 집안에서 갑자기 발생하는 경우 외부의 침입이 있는 것으로 판단한다.

2. Sensors Data Processing

이번 단락에서 수집한 센서 데이터를 통해 위험 상황을 판단하기 위한 데이터 처리와 모델링에 관해 설명한다. 2D LiDAR 센서는 레이저 펄스를 발사하여 다시 센서까지 되돌아오는 시간을 이용하여 공간에 대한 정보를 scan 하는 기술이다. 이때, scan 결과는 2DLiDAR 센서가 설치된 위치를 원점으로 해당 반사되는 지점까지의 range 값을 얻게 된다. 본 연구에는 2DLiDAR를 이용하여 그림 3과 같이 집 내부를 Hector simultaneous localization and mapping (SLAM) 알고리즘[15] 을 이용하여 mapping 한다.

Fig. 3. Hector SLAM Mapping Result

SLAM 알고리즘은 현재 로봇 등에 부착된 센서를 통해 현재 공간 정보를 분석함과 동시에 공간 상에 로봇의 위치를 파악하는 알고리즘이다. Hector SLAM은 기존의 다른 SLAM 알고리즘들과 다르게 IMU 센서를 이용한 odometry 값을 필요로 하지 않고 loop closure를 수행하지 않는다. 따라서 mapping을 위해 scan 한 값을 이전에 scan 된 값과 비교를 통해 실시간으로 정합하는 SLAM 알고리즘이다. IMU 센서가 필요하지 않기 때문에, 로봇을 움직여서 mapping 하지 않고 사람이 직접 움직이거나 LiDAR를 특정 위치에 고정한 상태로 mapping을 할 수 있다는 장점이 있다. 생성된 map은 TIF 형식으로 저장된다. Mapping 집 안 map을 사용하여 사용자의 위치와 외부로 외출 여부를 파악할 수 있다. 집 내부 침대, 쇼 파와 같은 가구에서 사용자의 동선이 멈췄다면 위험 상황이 아닐 가능성이 크다. 하지만 집 바닥이나 문 앞 등에서 동선이 멈췄다면 위험 상황으로 판단할 수 있다. 집 안에서 사용자의 이동 동선을 구하기 위한 scan 된 데이터의 range 값을 x, y 좌표값으로 바꿨으며 이는 식 (1)과 같다.

x = cos(Scan Data Range Value)

y = sin(Scan Data Range Value)       (1)

LiDAR를 이용하여 움직이는 사람의 좌표를 통해 이동 동선을 구하였다. 이동 동선 좌표와 생성된 집 내부 map 를 결합하여 현재 사용자의 위치를 파악할 수 있다. 사용자의 scan 패턴을 분석하여 현재 사용자의 상태를 예측할 수 있다. 그림 4 (a)는 사용자가 움직이는 경우의 scan 결과로 사용자가 서 있는 경우 양쪽 다리가 측정된다. 그림 4 (b)는 사용자가 바닥에 쓰러진 경우의 scan 결과이며 이때는 사용자가 길게 누워있는 패턴을 가지고 있다.

Fig. 4. User Status 2DLiDAR Scan Results Example

음성 센서를 이용하여 사용자의 음성 데이터를 수집하고 현재 발생한 소리가 비명소리인지 일상적인 대화 소리인지 구별하는 머신러닝 모델을 연구했다. 본 연구는 사용자의 프라이버시 문제를 최소화하여 집 내부에 거부감 없이 센서를 설치하고 위험 상황을 탐지하는 것을 목적으로 두고 있다. 따라서 프라이버시를 침해할 수 있는 음성 데이터는 데이터 수집을 5초 간격으로 짧게 진행한다. 집 내부에서 발생하는 음성 데이터를 저장하는 것이 아닌 머신러닝 모델을 통해 데이터를 분류한 결과를 저장하며 수집된 데이터는 분류가 끝나면 바로 제거한다. 이를 통해 음성 데이터를 이용하여 위험 상황을 탐지하면서 프라이버시 문제를 최소화할 수 있다. 그림 5는 비명소리와 일반적인 대화 소리의 wave를 도식화한 것이다.

Fig. 5. Scream and Talk Sound Wave

비명소리는 wave의 변화가 거의 없다가 비명 소리가 멈출 때쯤 소리가 줄어든다. 하지만 말소리의 경우 말의 강약, 높낮이 등이 있어서 wave의 형태가 일정하지 않다는 것을 볼 수 있다.

그림 6은 소리를 short time fourier transform (STFT)에 따라 음성 신호에 저음과 고음에 따라 도식화한 것이다. 이를 보면 비명소리는 높낮이 변화가 없는 높은 고음 소리를 가지는 반면, 일상적인 대화 소리는 높낮이가 존재하여 고음과 저음이 반복되는 것을 볼 수 있다. 본 연구에서 비명소리와 말소리를 구별하는 모델을 만들기 위해 python 라이브러리 중 Librosa [16]를 활용하였다. Librosa 라이브러리는 소리 데이터 분석에 사용되는 라이브러리로 mel spectororgams, chromagrams, MFCC 등의 함수를 가지고 있다. 우리는 이를 이용하여 소리 데이터 내 특징을 추출하기 위한 함수를 구성하였다. 추출된 특징을 decision tree classifier, k neighbors classifier 등 다양한 머신러닝 기반 분류기를 학습에 사용되었다. 우리는 학습된 머신러닝 분류 모델의 테스트 결과를 비교 분석하여 집 안 사용자의 위험 상황을 탐지하는데 적합한 모델을 제안한다.

Fig. 6. Scream and Talk Sound STFT Power Spectrogram

먼지 센서는 사용자가 외출한 경우 집 내부의 침입자를 탐지하여 이를 외부에 있는 사용자에게 미리 알려 위험 상황을 방지할 수 있다. 그림 7은 먼지 센서를 이용하여 사람이 있는 경우와 없는 경우를 나타낸 것이다.

Fig. 7. Dust Sensor Measures

가로축은 분 단위의 시간 데이터이며 세로축은 측정된 먼지의 양에 대한 ug/m3 값이다. 사람이 없는 경우는 그림 7에 파란 사각형으로 나타난 것처럼 공기 중 먼지양은 10ug/m3 값 미만의 값을 가진다. 하지만 사람의 움직임이나 외부에서 바람이 부는 경우 공기 중 먼지양은 그림 7 의 빨간 동그라미처럼 높은 결과 값을 가지게 된다. 본 연구에서는 이와 같은 센서에서 수집한 데이터를 분석하여 사용자의 위험 상황을 판단했다. 사용자는 외출 시 창문 과문을 닫고 나가지만 외부인이 강제로 열고 침입할 경우 먼지 센서는 순간적으로 기존 상태보다 높은 값을 가지게 된다. 이를 통해 우리는 외부에 침입이 발생했다고 판단할 수 있다. 본 연구에서 임계값을 정하기 위해 먼지 사람이 없는 경우의 탐지되는 먼지 양의 평균을 구하였으며, 임계 값 이상의 값이 나온 경우, 외부의 침입을 통한 위험 상황을 판단했다.

IV. Experiment and Result

본 연구에서 실제 1인 가구 환경에서 실험을 진행 한 뒤, 각 센서 별 위험 상황 탐지에 대한 정확도를 구했다. 먼저 2D LiDAR는 YDLiDAR 사에 X4 2D LiDAR [17]를 이용하여 데이터를 수집했다. 수집된 데이터는 scan의 x, y 축에 따른 point 형태로 나타나는데 point의 이동이 없는 경우를 움직임이 없는 상황으로 분류하고 point의 이동이 빈번하게 발생하는 경우를 움직임이 있는 상황으로 분류하였다. 본 연구는 움직임이 8시간 이상 없는 상황에서 움직임이 있던 point의 마지막 위치가 물체 위가 아닌 바닥이나 문 앞인 위험 상황으로 판단하였다. 그림 8은 사용자의 동선을 분석한 결과와 집 내부 map를 융합한 예시를 보여준다. 초록색 동그라미가 사람이 움직인 부분을 나타내고 있다.

Fig. 8. The Result of 2DLiDAR scanning and Map Mergers

본 연구는 음성 센서의 데이터 분류 모델을 학습시키기 위해 공개된 데이터 셋[18, 19]을 사용했다. 비명 소리와 같은 위험 상황 데이터 셋[18] 415개와 말소리가 있는 데이터셋[19] 409개를 이용하여 다양한 머신러닝 분류 모델을 학습시켰다. 집 안에서 위험 상황과 일반적일 상황을 구별하는 모델의 정확도 및 F1-Socre는 Table 1과 같다. F1-Score 는 정밀도와 재현율의 조화평균으로 이는 식 (2)와 같다.

\(F 1 \text { Score }=2 * \frac{\text { Precision } * \text { Recall }}{\text { Precision }+\text { Recall }}\)       (2)

Table 1. Sound Sensor Event Detection Model Accuracy and F1-Score

학습된 모델 간의 비교 분석 support vector machines (SVM) 모델에 radial basis function (RBF) 커널을 적용한 분류 모델의 성능이 가장 높았다.

본 연구에서는 SHINYEI PPD42 먼지센서를 사용하여 실험을 진행하였다. 먼지 센서를 통해 수집한 데이터를 분석하여 임계값을 정하였다. 임계값은 사람이 없을 때, 공기 중 먼지를 통해 가지는 값의 평균값인 2.96ug/m3을 임계 값으로 두었다. 총 126개의 먼지센서를 수집하였다. 본연구에서 먼지센서를 통해 외부에서 침입하는 사람을 판단하기 위해 창가에 먼지센서를 설치하였다. 창가가 닫혀있어 사람의 침입이 없는 환경일 때 임계값 이상이 나오는 경우와, 창문이 열리고 사람이 침입하는 환경일 때 임계 값이 하의 값이 나오는 경우의 평균을 구하여 정확도를 계산했으며 이때, 데이터 정확도는 Table 2와 같다.

Table 2. Dust Sensor Event Detection Accuracy

본 연구는 다양한 센서를 융합하여 집 안에서 사용자의 위험 상황을 탐지한다. 실험을 통해 우리는 각각의 센서와 융합 알고리즘을 통해 별 탐지 가능한 상황과 불가능한 상황을 제시하며 결과는 다음 Table 3과 같다. 이때, 상황에 따라 센서가 위험 상황이라고 탐지하여 판단한 경우 ◯로나타냈으며, 탐지하지 못한 경우 ☓를 나타냈다. 결과를 단일 센서만 사용한 경우 집 내부 상황이나 사용자의 행동에 따라 탐지가 되지 않는 경우가 있다. 하지만 센서를 융합하면 대부분의 경우, 탐지가 가능한 것을 볼 수 있다.

Table 3. Detectable and Undetectable Situations

V. Conclusions

본 연구는 1인 가구의 프라이버시 문제를 최소화하며 3 가지 센서 데이터를 융합하여 사용자의 위험 상황을 탐지하는 알고리즘을 제안한다. 2DLiDAR, 음성, 먼지 센서 간의 상관관계에 따른 융합 알고리즘을 설계했다. 또한, 본연구는 실제 1인가구 집 안에서 수집한 데이터를 통해 알고리즘을 증명하고 있다. 또한, 다양한 시나리오를 통해 센서 융합의 적합성을 나타내고 있다. 본 논문은 사용자가 센서 설치에 대한 거부감을 줄이고 스마트홈 1인 가구 내 위험 상황을 탐지하여 외부에 위험 상황을 알림으로써 스마트홈 사용자의 생활 환경 개선에 도움을 줄 것이다. 그리고 본 연구는 다른 스마트홈 연구와 헬스 케어와 관련된 연구에 도움이 될 길 바란다. 우리는 추후 집 내부에서 위험 상황을 탐지할 뿐만 아니라 외부에서도 위험 상황을 탐지하기 위한 연구로 확장할 예정이다. 이때, 연구에서 사용한 센서뿐 아니라 더욱 다양한 센서와 융합할 예정이다.

ACKNOWLEDGEMENT

This research was supported by Korea

National University of Transportation in 2022. This research was supported by Basic Science Research Program through the National

Research Foundation of Korea (NRF) funded by the Ministry of Education (No.2020R1I1A3068274).

References

  1. K. Junghee, 2020 Population Housing Survey Sample Results Furniture and Housing Characteristics Item Press Release, https://www.kostat.go.kr/portal/korea/kor_nw/1/2/1/index.board?bmode=read&bSeq=&aSeq=415955&pageNo=1&rowNum=10&navCount=10&currPg=&searchInfo=&sTarget=title&sTxt=
  2. P. Miyoung, Smartly Prevent Lonely Deaths from Living Alone, https://www.boannews.com/media/view.asp?idx=95424
  3. H. Deokdong, Check with Smart Sensor for Elderly Living Alone, https://www.hankookilbo.com/News/Read/202001061405762149
  4. A. Kichan, Status of Support for Elderly People Using ICT Technology in Major Foreign Countries, https://www.itfind.or.kr/WZIN/jugidong/1824/file8053984805232378018-182402.pdf
  5. G. M. Youngblood and D. J. Cook, "Data Mining for Hierarchical Model Creation," IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), Vol. 37, No. 4, pp. 561-572, July 2007. DOI: 10.1109/TSMCC.2007.897341
  6. M. Skubic, G. Alexander, M. Popescu, M. Rantz and J. Keller, "A smart home application to eldercare: current status and lessons learned," IOS Press on Technology and Health Care, Vol. 17, No. 3, pp. 183-201, Sep 2009. DOI: 10.3233/THC-2009-0551. PMID: 19641257
  7. M. Yu, A. Rhuma, S. M. Naqvi, L. Wang and J. Chambers, "A Posture Recognition-Based Fall Detection System for Monitoring an Elderly Person in a Smart Home Environment," IEEE Transactions on Information Technology in Biomedicine, Vol. 16, No. 6, pp. 1274-1286, Nov 2012. DOI: 10.1109/TITB.2012.2214786
  8. H. Medjahed, D. Istrate, J. Boudy, J. Baldinger and B. Dorizzi, "A pervasive multi-sensor data fusion for smart home healthcare monitoring," 2011 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE 2011), pp. 1466-1473, Taipei, Taiwan, Sep 2011. DOI: 10.1109/FUZZY.2011.6007636
  9. L. Hyunsoo, P. Sungjun, L. Haewon, and K. Jeongtai, "Scenario-Based Smart Services for Single-Person Households," Indoor and Built Environment, Vol. 22, No. 1, pp. 309-318, Dec 2012. DOI:10.1177/1420326X12470407
  10. K. Jinwoo, M. Kyungjun, J. Minhyuk and C. Seokho, "Occupant behavior monitoring and emergency event detection in single-person households using deep learning-based sound recognition," Building and Environment, Vol. 181, pp. 107092, Aug 2020. DOI: 10.1016/j.buildenv.2020.107092
  11. A. Junho and H. Richard, "myBlackBox: Blackbox Mobile Cloud Systems for Personalized Unusual Event Detection," Sensors, Vol. 16, No. 5, pp. 753, May 2016. DOI: 10.3390/s16050753
  12. H. F. Nweke, Y. W. Teh, G. Mujtaba and M. A. Algaradi, "Data fusion and multiple classifier systems for human activity detection and health monitoring: Review and open research directions," Information Fusion, Vol. 46, pp. 147-170, Mar 2019. DOI: 10.1016/j.inffus.2018.06.002
  13. D. Kim and J. Ahn, "Intelligent Abnormal Situation Event Detections for Smart Home Users Using Lidar, Vision, and Audio Sensors," Journal of Internet Computing and Services, Vol. 22, No. 3, pp. 17-26, Jun 2021. DOI: 10.7472/JKSII.2021.22.3.17
  14. G. Anitha and S. Baghavathipriya, "Posture based health monitoring and unusual behavior recognition system for elderly using dynamic Bayesian network," Cluster Computing, pp. 1-8, Feb 2018. DOI: 10.1007/s10586-018-2010-9
  15. S. Kohlbrecher, O. Stryk, J. Meyer and U. Klingauf, "A flexible and scalable SLAM system with full 3D motion estimation," 2011 IEEE International Symposium on Safety, Security, and Rescue Robotics, pp. 155-160, Kyoto, Japan, Dec 2011. DOI: 10.1109/SSRR.2011.6106777
  16. Librosa, https://librosa.org/doc/latest/index.html
  17. YDLiDAR, https://www.ydlidar.com/products/view/5.html
  18. L. Jeongok, Emergency Voice and Sound Introduction, https://aihub.or.kr/aidata/30742
  19. S. R. Livingstone, F. A. Russo, The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS), https://zenodo.org/record/1188976#.YiowOInP21t