Abnormal Behavior Pattern Identifications of One-person Households using Audio, Vision, and Dust Sensors

음성, 영상, 먼지 센서를 활용한 1인 가구 이상 행동 패턴 탐지

Abstract

The number of one person households has grown steadily over the recent past and the population of lonely and unnoticed death are also observed. The phenomenon of one person households has been occurred. In the dark side of society, the remarkable number of lonely and unnoticed death are reported among different age-groups. We propose an unusual event detection method which may give a remarkable solution to reduce the number of the death rete for people dying alone and remaining undiscovered for a long period of time. The unusual event detection method we suggested to identify abnormal user behavior in their lives using vision pattern, audio pattern, and dust pattern algorithms. Individually proposed pattern algorithms have disadvantages of not being able to detect when they leave the coverage area. We utilized a fusion method to improve the accuracy performance of each pattern algorithm and evaluated the technique with multiple user behavior patterns in indoor areas.

최근 1인 가구가 다양한 연령대에서 증가하고 있으며 무연고자의 사망도 점차 증가한다. 1인 가구의 무연고사의 경우 주위에 돌봐줄 사람이 없어 많이 발생하며 최근에는 노인뿐만 아니라 다양한 연령대에서 발생한다. 우리는 혼자 사는 사람의 이상 징후를 탐지하고자 홈 CCTV를 이용한 영상 패턴 알고리즘과 음성을 인식하는 음성 패턴 알고리즘, 움직임 및 요리 등에서 발생하는 먼지를 탐지하는 센서로 먼지 패턴 알고리즘을 연구 및 개발하였다. 개별적으로 제안된 패턴 알고리즘은 탐지 영역을 벗어나게 되면 탐지하지 못하는 단점이 존재한다. 개별 패턴 알고리즘의 성능을 향상시키기 위해 융합 방식을 연구했으며, 다수의 사용자 행동 패턴을 분석하여 그 성능을 검증하였다.

1. 서 론

통계청의 인구 주택 총 조사에 관련된 기사[1]의 내용에 따르면 1인 가구의 현황은 2017년 기준 562만 가구라고 한다. 2000년에는 222만 가구였지만 17년 사이 152.6%가 증가했다. 현재는 1인 가구가 가장 흔한 살림의 형태를 이룬다고 할 수 있다.

통계청의 자료와 관련된 기사들[2,3]에 따르면 2018년한 해 동안 무연고 사망자가 약 1,200명이라고 한다. 2013년부터 6년 동안 무연고 사망자의 수가 9,446명으로 약 1만 명에 달하는 숫자이다. 무연고 사망자 증가의 원인은 1인 노인 가구의 증가와 밀접한 연관이 있다고 분석했다.

전체 무연고 사망자의 비율 중 65세 이상 노인이 차지하는 비율은 39.9%였으며, 60세~64세 노인의 비율은 14.6%로 전체 비율 중 절반을 차지했다. 1인 가구의 비율은 지속해서 증가하는 추세이다. 2010년부터 2015년까지는 1인 가구의 비율이 44% 증가했다. 배우자의 사별 후 혼자 사는 노인의 비율이 증가한 것이다. 1인 가구의 무연고사망이 증가하는 이유로는 크게 병, 가난, 고독이 있다. 이러한 원인으로 인하여 60대 고령층뿐만 아니라 50대 미만까지 다양한 연령대에서 사망자가 나오게 된다. 1인가구는 본인 신변에 이상이 있거나 갑작스러운 사고가 발생하면 주변에서 알아차리기 힘든 점이 가장 큰 문제이다.

우리는 사람의 일상생활 패턴과 다른 이상 징후 패턴을 탐지하기 위해 음성, 영상, 먼지 센서를 사용한 패턴알고리즘을 제안한다. 영상 데이터는 홈 CCTV를 이용하여 영상을 수집하며 패턴을 파악한다. 미세먼지 센서는 가정에서 흔히 사용하는 공기청정기에서 사용되는‘ DSM501A’ 센서를 사용했다. 음성은 스마트 TV, 리모컨등 음성인식이 가능한 기기들로 음성데이터를 수집할 수 있으며 본 연구에서는 스마트폰을 통해 음성인식을 진행했다.

이상 징후란 일상적인 패턴 이외의 사람이 장시간 활동하지 않는 상태, 장시간 동안 소음이 발생하지 않거나 영상에 나오지 않는 상태를 의미한다. 영상 패턴 알고리즘은 홈 CCTV를 이용하여 사람의 움직임을 탐지하여 사람의 움직임이 일상적인 패턴과 비교하는 역할을 한다.

음성 패턴 알고리즘은 소리의 패턴을 파악하여 사람의 이상 여부를 탐지하는 패턴 알고리즘이다. 먼지 패턴 알고리즘은 먼지 센서를 이용하여 현재 사람의 활동 여부를 파악함으로써 사람의 상태를 파악한다. 각 패턴 알고리즘은 한계성이 존재하여 제한점을 상호 보완하는 융합방식을 제안한다.

 

2. 관련 연구

영상을 기반으로 한 연구[4, 5, 6, 7, 8]는 한 대의 카메라를 이용하여 이미지를 통해 3차원 정보와 2차원 정보를 혼합하여 실내뿐만 아니라 야외에서도 발생하는 보행자의 낙상 추적을 하는 연구[4]가 있었다. 영상처리 기반의 딥러닝 알고리즘인 YOLO를 이용하여 드론을 실시간으로 탐지하여 탐지시간에 따른 위험도를 체크하여 분류하며 특징점을 추출하여 탐지의 정확도를 높이는 연구[5]가 있었다. 딥러닝 기반의 SegNet 모델을 이용하여 CCTV 영상을 통해 도심지의 침수구역과 미침수 구역을 구별하고, 실시간으로 침수 수위를 계측할 수 있는 연구[6]이 있었다. 어안렌즈에 장착된 CCTV 환경에서 특정 각도에 관련한 감시가 아닌 전방위 감시가 필요한 때 사용하며KCF 알고리즘을 적용하여 추적 속도가 빠르며 왜곡에도강한 연구[7]가 있었다. 영상의 왜곡을 최소화하며 객체를 추적하기 효율적으로 사용하기 위해 역변환 기법과 추적 시스템을 이용한 연구[8]가 있었다.

음성을 기반으로 한 연구[9,10]는 음성 특징 파라미터를 추출하여 GMM, DNNs 모델을 이용하여 음성․비음성 분류하는 연구[9]가 있었다. HMM을 이용하여 사람의 음성을 인식하여 휴머노이드 로봇의 동작을 실시간으로 제어하는 연구[10]가 있었다.

라즈베리 파이와 아두이노를 이용하여 미세먼지를 연구[11, 12, 13]이 있었다. 미세먼지 센서인 PM1001 모듈을 이용하여 실내 환경을 빠르게 인지하여 미세먼지를 측정한 후 직접 구축한 서버를 이용하여 외부에서도 데이터를 확인하여 실내 상황을 빠르게 파악하여 대처할 수 있는 연구[11]이 있었다. PM2007 센서와 블루투스 모듈을 이용하여 미세먼지를 측정 후 개발한 애플리케이션을 이용하여 블루투스 통신을 이용해 특정 지역의 미세먼지 농도를 시각화해서 보여주는 연구[12]이 있었다. 아두이노 보드에 연결된 Sharp GP2Y1010AU0F 센서를 사용하며, 아두이노 보드와 라즈베리 파이를 USB로 연결하여 수집한 데이터를 데이터베이스에 저장한다. 저장된 데이터를 애플리케이션과 통신을 하여 그래프를 통해 시각화하는 연구[13]가 있다.

본 연구를 통해 효율적으로 이상 징후를 탐지하기 위해 이전 연구[14,15]를 확장했다. 이전 연구는 영상과 음성을 이용하여 패턴을 분석해 이상 징후를 탐지하는 알고리즘이었다. 음성과 영상 2가지를 이용한 패턴 알고리즘의 경우 영상 패턴 알고리즘은 카메라가 탐지할 수 있는 범위를 벗어나게 되면 탐지할 수 없고, 음성 패턴 알고리즘은 먼 거리에서의 탐지율이 떨어지는 문제가 발생한다. 본 연구를 통해 미세먼지 센서를 결합하면 음성과 영상 두 알고리즘을 결합하여 사용하는 것보다 효율적인 세 가지 알고리즘을 결합한 융합 방식을 제안한다.

 

3. 알고리즘

영상 패턴 알고리즘은 홈 CCTV를 이용하여 수집한 영상을 기반으로 탐지했다. Tensorflow Object Detection을 기반으로 사람 및 사물을 탐지한다. 홈 CCTV를 이용하여 사람의 움직임을 정상적으로 탐지하게 되면 정상 상태로 분류된다. 사람이 정상 상태로 분류된 후 장시간 동안 움직임이 없거나 탐지가 되지 않는다면 이상 징후 상태로 판별한다. Tensorflow Object Detection의 모델인 Faster R-CNN inception V2를 이용한 결과물을 통해 사람의 좌표와 각도, 길이 및 정확도를 알 수 있으며, 사물의 좌표를 기반으로 하는 그래프를 생성하고 분석하였다.

음성 패턴 알고리즘은 스마트 TV나 리모컨 같은 다양한 기기를 이용하여 음성을 탐지할 수 있다. 본 연구에서는 스마트폰을 이용하여 실험을 진행했다. 음성은 MFCC-GMM 알고리즘을 이용하였다. 음성 파일을 MFCC 알고리즘을 통해 특징점을 추출하게 되면, 추출된 내용이 GMM 알고리즘을 통해 3가지로 무소음, 노이즈 소리, 사람이 말하는 소리로 분류가 된다. 실내에서 발생하는 소음을 기반으로 분석하여 패턴을 파악하고 이상 징후를 탐지한다.

 

(Figure 1) Flow chart diagram of vision and voice pattern

 

일상에서 흔히 발생할 수 있는 소음과 소음이 아예 발생하지 않는 경우를 두고 패턴을 파악했다. 무소음은 이상 징후를 판별하기 위해 분류를 하였으며, 정확성을 높이기 위해 일상생활에서 발생하는 소음까지 추가했다.

영상 패턴 알고리즘은 홈 CCTV 화면에 사람이 나오지 않을 때 사람의 패턴을 파악할 수 없는 문제점이 있다. 음성 패턴 알고리즘은 일상적인 생활에서 음악 소리, TV 소리는 사람의 목소리와 겹쳐 이상 징후 상황에서 정상적인 패턴이라고 인식을 할 수 있는 문제가 있다. 그림 1은영상․음성 패턴 알고리즘의 융합 방식이다. 영상․음성패턴의 융합 방식은 영상을 탐지한 후 음성을 탐지한다. 영상으로 탐지가 되지 않는 부분은 음성으로 탐지 가능하다. 하지만 영상의 탐지범위를 벗어나고 음성의 탐지 범위를 벗어나고 소리가 겹치는 경우 탐지하기 어렵다.

 

(Figure 2) Unit conversion formula of dust pattern

 

(Figure 3) Flow chart diagram of vision and dust pattern

 

먼지 패턴 알고리즘은 먼지 센서를 이용하여 실내에 있는 미세먼지 농도를 측정하여 사람의 움직임을 탐지한다. 사람의 움직임에 따라 센서에서 먼지의 농도가 변화 하는 것을 이용하려 한다. 먼지는 사람이 움직일 때 큰 폭으로 증가하기 때문에 사람이 움직이지 않을 때와 움직이는 경우를 고려하여 평상시에 움직이지 않는 경우를 평균으로 하여 그 이상이 되면 사람이 움직이는 일상적이고 정상적인 상태로 본다. 하지만 장시간 움직이지 않고 지속적인 값이 평균 혹은 그 이하로 간다면 일상생활패턴과 다르다고 간주한다. ‘DSM501A’ 센서는 10 ㎍/㎥이하의 오차 값이 나오기에 측정되는 값이 10㎍/㎥ 이상이 나온다면 일상적인 패턴으로 간주하고, 그 이하가 나온다면 이상 징후로 판별한다. 먼지 패턴 알고리즘은 센서의 탐지범위를 벗어나게 되면 먼지를 탐지하기 어렵다. 그림 2는 먼지 센서에서 측정한 값을 이용해 ㎍/㎥ 단위로 먼지 단위를 변경하는 공식이다. 센서를 통해 측정한 값의 경우 우리가 보편적으로 사용하는 단위와 다르기 때문에 이해하기 쉽게 단위를 변경해주었다. concentra- tion은 미세먼지 센서에서 출력하는 값을 구하여 입자 농도를 공식이다. ratio는 지속시간에 따른 비율 값을 의미한다. pcsPerCF는 입자 농도를 이용하여 농도에 100을 곱하여 입자 당 CF를 구한다. 앞의 공식에 의해 산출된 입자 당 CF를 800의 값으로 나누게 되면 세제곱미터당 마이크로그램의 미세먼지 값이 산출된다.

그림 3은 영상․먼지 패턴 알고리즘의 Flow Chart다. 영상․먼지 패턴 알고리즘을 융합하면 영상을 탐지 후먼지를 탐지한다. 영상으로 탐지할 수 없는 부분은 먼지센서로 탐지 가능하다. 하지만 먼지 센서와의 거리가 멀고, 화면에 탐지되지 않을 때 탐지하기 어렵다는 점이 있다.

본 연구에서는 이전의 연구[14,15]를 확장하고 미세먼지 센서를 결합하여 영상․음성 패턴 알고리즘과 영상․먼지 패턴 알고리즘을 융합하는 방식을 제안한다. 융합방식에 대한 Flow Chart는 그림 4와 같다. 위 방식은 3가지의 패턴 알고리즘을 이용하여 이전 연구에서의 한계점인 영상 패턴의 경우 화면에 사람이 나오지 않으면 패턴을 파악하기 어려운 점을 음성과 먼지 패턴 알고리즘을 이용하여 보완할 수 있다. 음성 패턴 알고리즘은 사람이 말하는 소리와 일상생활에서 발생하는 TV, 음악 소리와 겹치게 되면 탐지하기 어려운 점을 영상과 먼지 패턴 알고리즘을 이용하여 보완한다. 먼지 패턴 알고리즘은 센서와의 거리가 멀어질 때 사람의 움직임을 탐지하기 어렵다는 점을 영상과 음성 패턴 알고리즘을 이용하여 보완할 수 있다. 융합 방식은 각 패턴 알고리즘의 단점을 상호보완하면서 효율적으로 이상 징후를 탐지할 수 있다.

 

(Figure 4) Flow chart diagram of fusion method

 

4. 실험 및 평가

각 패턴 알고리즘에 대한 성능을 평가하기 위해 특정한 상황에 대한 실험을 진행하였으며, 3가지를 융합한 방식의 패턴 알고리즘에 대한 실험도 진행했다.

영상 패턴 알고리즘의 이전 실험 데이터와 현재 실험데이터를 기반으로 Accuracy를 구하였다. 데이터는 176개이며 사람이 정상적으로 움직이는 것을 True로 하여 Accuracy를 구했다. Accuracy는 전체 176개 데이터 중 156개의 데이터가 측정되어 0.89가 나왔다.

 

(Figure 5) One result of the Faster R-CNN inception v2 algorithm

 

(Figure 6) Analysis results of the Faster R-CNN inception v2 algorithm

 

영상 패턴 알고리즘은 총 5가지의 실험을 통해 진행했다. 정상적인 활동 2개와 이상 징후를 보이는 영상 1개와카메라 밖의 영상 2개 총 5가지를 이용하여 진행했다. 우리는 사람 및 사물을 탐지하기 위해 Tensorflow Object Detection Faster R-cnn inception v2 알고리즘을 이용했다. 그림 5, 6는 Faster R-CNN inception v2을 적용하고 분석한 결과이다. 그림 5의 왼쪽 상단은 원본 이미지이며, 오른쪽 상단 이미지는 원본 이미지에서 탐지율의 비율을 알려주는 부분이다. 왼쪽 아래 이미지는 빨간색 원과 파란색 원을 통해 사람을 탐지했을 때 파란색이 칠해지며, 사람이 아닌 사물이 탐지된 경우 빨간색이 칠해진다. 가장 오른쪽 아래 이미지는 움직임이 있는 물체에 대해 시각적으로 보여주는 부분이다. 그림 6은 영상 패턴 알고리즘 적용 결과에 관한 그래프이다. 최상단 그래프는 사람이 탐지된 경우의 X 좌표와 Y 좌표의 합이다. 각 좌표의 합은 Y 좌표에 나타나며, X 좌표는 영상을 탐지한 프레임수를 의미한다. 두 번째 그래프는 사람이 탐지된 탐지율의 정확도를 나타낸다. Y 축은 정확도, X 축은 영상을 탐지한 프레임의 수를 의미한다. 세 번째 그래프는 사람이 탐지된 경우의 (X 최댓값 - X 최솟값) / (Y 최댓값 -Y 최솟값)이다. 정상적인 상태일 때 X 축의 값이 Y 축의 값보다 크며, 비정상적일 때 Y 축의 값이 더 크다. X 축은영상을 탐지한 프레임 수를 의미하고, Y 축은 비율을 나타낸다. 다음 그래프는 사람이 탐지되면 접선의 기울기를 나타낸 것이다. 사람이 정상적인 상태일 때 값이 지속적인 일정한 값이 나온다. 하지만 사람이 갑작스러운 혼절등에 의해 쓰러질 때 값이 급격하게 감소하게 된다. X추은 영상의 프레임 수, Y 축은 기울기의 값을 나타낸다. 마지막 그래프는 사람 외의 물체가 탐지되면 그에 해당하는 좌표를 기반으로 마커를 칠하였다. Y 축은 X, Y의 합을 나타내었고, X축은 영상을 탐지한 프레임 수를 의미한다. 패턴 알고리즘을 통해 사람이 카메라에 비치면 잘 탐지하지만 반대로 사람이 카메라의 영역에 나오지 않는다면 탐지할 수 없는 큰 문제가 발생한다. 그렇게 되면 사람이 카메라 영역 외의 곳에서 이상 징후가 발생한다면큰 사고로 이어질 수 있다. 이러한 문제점 때문에 영상 패턴 알고리즘은 정상적인 탐지가 힘들다.

음성 패턴 알고리즘의 이전 실험 데이터와 현재 실험데이터를 기반으로 Accuracy를 구하였다. 데이터는 139개이며 사람이 정상적으로 음성을 내는 것을 True로 하여 Accuracy를 구했다. Accuracy는 전체 데이터 139개 중 122개가 측정되어 0.87이 나왔다.

음성 패턴 알고리즘은 노이즈 패턴을 알기 위해 노이즈 소리와 무소음에 가까운 소리, 일상에서 흔히 발생하는 소음을 대상으로 실험을 준비했다. 또한, 사람과 사람의 대화 외에 실내에서 발생하는 소음을 얼마나 잘 파악하는지 알기 위해 각 상황에 따라 실험을 진행했다. 소음의 예로는 음악 소리, TV 소리, 선풍기 혹은 가전기기가 돌아가는 소리 등 여러 상황을 설정하여 진행했다.

그림 7, 8, 9는 음성데이터를 분석한 데이터 패턴의 결과이다. 각 그래프를 살펴보게 되면 y 축의 0은 무소음, 1은 노이즈가 발생한 소리, 2는 말하는 소리를 의미한다. 그림 7은 노이즈 패턴을 분석한 결과 그래프이다. 약간의 오차가 있지만 대부분 노이즈라고 판단을 하는 1에서 그래프가 머무는 것을 볼 수 있다. 그림 8은 대화 소리 패턴대한 결과 그래프이다. 사람이 대화할 때 그래프에서 대부분의 수치가 말소리를 의미하는 2에 머무는 것을 확인할 수 있다. 그림 9는 일상에서 발생하는 소음에 대한 패턴 결과 그래프이다. 그래프를 보면 음악 소리, TV 소리는 사람의 목소리로 탐지를 하는 경우가 많으며, 선풍기 소리, 가전기기 소리는 노이즈가 낀 소리로 잡는 경우가 대부분이었다. 음성 패턴은 일상생활에서 음악 소리, TV 소리는 사람이 말을 한다고 판단을 하는 문제가 발생한다. 만약, 사람이 실제로 응급상황이 발생하였지만, 음악 소리, TV 소리를 말소리로 인식하여 정상적인 활동으로 판단하여 이상 징후를 판단하기 어렵다는 문제점이 있다.

 

(Figure 7) One result of noise pattern in an indoor area

 

(Figure 8) One result of conversation audio identification in an indoor area

 

(Figure 9) One result of mixed audio pattern of a normal daily life in an indoor area

 

먼지 패턴 알고리즘은 현재 실험 데이터를 기반으로 Accuracy를 구하였다. 데이터는 55개이며 먼지가 탐지되는 것을 True로 하여 Accuracy를 구했다. Accuracy는 데이터 55개 중 52개가 측정되어 0.94가 나왔다.

먼지 패턴 알고리즘은 ‘DSM501A’ 먼지 센서를 사용하여 실험을 진행했다. 먼지를 탐지하면 사람과 센서와의 거리에 따라 먼지가 어떻게 측정되는지 알아야 센서의 정확한 탐지범위를 파악할 수 있다. 탐지범위는 알고리즘의 성능을 정확히 판단하는 중요한 역할을 하기 때문이다. 그에 따라 우리는 거리에 따라 먼지를 측정하는 실험을 진행했다. 그림 10은 거리에 따라서 먼지를 탐지할 수 있는지 확인하기 위해 약 20cm, 50cm, 100cm, 200cm 거리를 기준으로 먼지 농도를 측정했다. 거리에 따라 먼지의 농도가 114.38ug/㎥, 76.1ug/㎥, 43.49ug/㎥, 5.04 ug/㎥라는 결과가 나왔다. 거리가 가까울수록 먼지의 농도가 높게 나타나며, 거리가 멀어질수록 먼지의 농도가 낮게 나온다는 것을 알 수 있다. 따라서 탐지범위는 10ug/㎥ 이하가 나온 200cm를 최대 탐지범위로 정하였다.

 

(Figure 10) Measurement result of fine dust according to distance

 

탐지범위를 기반으로 먼지 센서를 사용하여 일상생활및 이상 징후 상황에서 나타나는 상황을 설정하고 실험을 진행했다. 그림 11, 12은 일상생활에서 일어나는 행위를 설정한 실험이다. 그림 11은 걸어 다니는 경우 먼지를 측정했다. 먼지 센서 주위에서 사람이 움직이게 될 때 먼지가 흩날리게 되어 센서가 먼지를 측정하게 된다. 위 실험에서는 먼지 센서에서 평균값 이상이 나와 정상적인 패턴이라고 판단할 수 있다. 다음 실험은 옷을 갈아입거나 터는 행위를 했을 때 먼지를 측정했다. 앞의 실험과 마찬가지로 센서 주위에서 옷을 갈아입거나 터는 행위를 하게 되면 먼지 센서의 값이 10ug/㎥ 이 넘어가기 때문에 정상적인 상태로 간주한다. 하지만 먼지 패턴 알고리즘은 센서와의 거리가 멀 때 측정이 어렵다는 단점이 있다.

그림 13, 14는 개별 패턴 알고리즘의 Accuracy와 융합방식의 Recall, Precision, Accuracy 결과 그래프다. 개별 패턴과 융합 방식의 실험 데이터는 유사한 시나리오를 반복하여 데이터를 확보했다. 그림 12와 13을 살펴보면 음성과 영상 패턴 알고리즘이 융합 방식보다 Accuracy가 떨어지는 모습을 볼 수 있다. 영상과 음성, 먼지 패턴 알고 리즘은 탐지범위를 벗어나게 되면 대상이 무엇을 하는지 알 수 없다.

 

(Figure 11) Measurement Result of dust while walking in an indoor area

 

(Figure 12) Measurement Result of dust while changing clothes in an indoor area

 

(Figure 13) Accuracy performance results of Individual Pattern Algorithms

 

(Figure 14) Recall, precision, accuracy performance results of the fusion method

 

이러한 문제점으로 인해 융합 방식보다 개별패턴 알고리즘의 정확도가 낮게 나오게 된다. 융합 방식을 이용하면 개별 패턴 알고리즘과는 다르게 각 패턴 알고리즘의 문제점들을 서로 상호 보완하여 사용하기 때문에, 높은 정확도로 여러 상황에서 이상 징후를 탐지할 수 있다.

 

(Table 1) Evaluation results of individual pattern algorithms and the fusing method

 

표 1은 각 패턴 알고리즘과 융합 방식의 상황에 따른 결과이다. 영상은 영역 밖으로 나가게 되면 탐지할 수 없는 문제점이 발생한다. 하지만 음성 패턴 알고리즘과 먼지 패턴 알고리즘을 통해 탐지가 가능한 부분들이 있다. 영상, 음성, 카메라 영역에 모두 있을 때 걷거나 뛰는 행위, TV를 보는 행위, 노래를 듣는 행위를 두고 실험을 진행했다. 표 1에서 bang이라는 부분은 사람이 활동하는 중넘어지질 때, 물체에 부딪히는 경우를 의미한다. 결과는 탐지 영역 내에서 융합 방식은 모두 탐지가 가능했다. 반대로 탐지 영역 외에서 사고가 발생한다면 탐지 영역 내에서 일어난 탐지 결과와 차이점을 확인하기 위해 실험을 진행하였다. 카메라의 영역 외에서 앞의 5가지 상황을 실험한 결과 영상 패턴 알고리즘은 탐지 영역 밖에서 일 어난 일이기 때문에 탐지할 수 없었지만, 음성 패턴 알고리즘과 먼지 패턴 알고리즘을 통하여 탐지가 가능한 부분이 많이 존재하였다. 음성 패턴 알고리즘은 음성 탐지범위 밖에서 실험을 진행한 결과 탐지 영역 밖에서 일어나거나 소리가 겹치면 탐지할 수 없지만, 영상 패턴 알고리즘과 먼지 패턴 알고리즘을 통해 탐지 가능했다. 먼지센서는 TV를 보거나 음악을 듣는 행위 또는 센서의 영역밖에서 달리거나 점프를 하는 행위는 먼지 패턴 알고리즘으로는 탐지가 어렵다. 하지만 영상 패턴 알고리즘과 음성 패턴 알고리즘은 탐지하기 때문에 융합 방식은 탐지 가능하다.

여러 상황에서 실험 결과를 바탕으로 사람의 상태를 패턴 알고리즘을 융합한 융합 방식을 이용하면 각 패턴알고리즘의 단점들을 상호 보완하여 효율적인 탐지가 가능함을 알 수 있다.

 

5. 결 론

본 연구에서는 영상, 음성, 먼지 센서를 이용하여 사람과 사물을 탐지하는 일상 패턴과 이상 징후를 판단할 수 있는 융합 방식을 제안했다. 융합 방식은 영상, 음성, 먼지 패턴 알고리즘을 융합한 방식이다. 각 패턴 알고리즘의 단점들을 상호 보완하여 넓은 범위를 탐지할 수 있다. 또한, 다양한 상황에서 효율적으로 탐지 가능하다. 1인가구에서 발생하는 사고들을 탐지하는 것을 목표로 하였으며, 추후 다양한 센서와 여러 장비, 알고리즘을 연구하여 발전시킬 예정이다.