Fall Direction Detection using the Components of Acceleration Vector and Orientation Sensor on the Smartphone Environment

스마트폰 환경에서 가속도 벡터의 성분과 방향센서를 활용한 넘어지는 방향 측정

Abstract

Falls are the main cause of serious injuries and accidental deaths in people over the age of 65. Due to widespread adoption of smartphones, there has been a growing interest in the use of smartphones for detecting human behavior and activities. Modern smartphones are equipped with a wide variety of sensors such as an accelerometer, a gyroscope, camera, GPS, digital compass and microphone. In this paper, we introduce a new method that determines the fall direction of human subjects by analyzing the three axis components of acceleration vector.

1. 서 론

넘어짐(falling)은 일상생활에서 흔히 발생하는 사고이며 산업현장에서 6중 이상의 장기 입원이 필요한 재해중 하나가 넘어짐으로 인한 것으로 알려져 있다[1]. Hung와 Tuan의 연구[2]에서 인용한 바에 의하면, 미국의 전체 노인 중 1/3이 넘어짐은 사고를 경험하며 이중 1/2은 다시 넘어진다고 한다. 또한, WHO(World Health Organization)의 보고서에 의하면 사망에 이르는 사고 중 약 6%가 넘어짐에 의한 사고라고 한다. Fig. 1은 우리나라의 안전보건공단에서 일상생활과 산업현장에서 넘어짐의 사고를 예방하기 위해 안전보건공단에서 배포한 내용의 일부 이다[3].

Fig. 1.Falling in real life.

가속센서는 물체의 움직임의 가속도 값을 시간별로 추출 할 수 있는 센서 이기 때문에 넘어짐, 걷기, 뛰기와 같은 인간의 행위를 분석하기 위해 많이 사용 된다[4-14]. 스마트폰의 보급이 일반화되기 전에는 가속센서를 내장한 장치를 사람의 몸에 부착하는 방법을 사용하였으나 스마트폰의 보급이 확대 되면서 스마트폰에 내장된 가속센서를 사용하여 행위를 분석 하는 방법이 활발히 진행 되고 있다[4,9,11,14,15].

신체 부착형 가속센서를 사용하는 경우 신체에 고정시켜 일생 생활을 할 수 있기 때문에 24시간 사람의 행위를 모니터링 할 수 있으며, 특정부위에 고정 시킬 수 있기 때문에 비교적 정확한 가속도벡터 값을 추출 할 수 있는 장점이 있다[4]. 한편 스마트폰의 센서를 사용하는 경우 신체에 24시간 부착 할 수 없을 뿐만 아니라 특정 부착 할 수 없기 때문에 일정한 가속도 벡터 값을 얻기 힘든 문제가 있지만 특별한 장치의 구입 없이도 거의 모든 사람이 소지 하고 있으며, 스마트폰에 내장된 다양한 센서(GPS, 방향센서)혼합하여 사용할 수 있는 장점이 있다[9]. 가속도 센서를 사용하여 인간의 행동을 파악하거나 넘어짐을 판단하는 기존의 연구들은 일반적으로 가속도벡터의 크기(magnitude of acceleration vector)를 변화를 표준편차(Standard Deviation)를 사용하였다. 인간의 행동 중 걷기, 뛰기, 앉기, 넘어짐의 경우 가속도 벡터의 크기가 다르게 나타나기 때문에 가속도 벡터의 크기를 분석함으로서 행동을 판단 할 수 있다. 가속도벡터는 일반적으로 물체가 움직이는 가속도의 크기를 나타내지만, 물체가 움직이는 방향을 나타내지 않는다. 기존연구 [7]은 넘어지는 방향을 판단하기 위해 2개의 센서를 몸에 부착하였으며, [9]는 넘어진 후 센서의 방향으로 판단하는 방법을 제시하였다. 스마트 폰을 2개씩 가소지 하는 경우는 일반적이지 않기 때문에 2개의 센서를 사용하는 방법은 스마트 폰 환경에는 적합하지 않다. 센서의 방향으로 판단하는 경우는 신체 부착형 센서와 같이 센서가 몸에 단단히 고정된 상태를 가정해야 함으로 스마트폰 환경에 적합하다고 볼 수 없다.

본 연구에서 제안한 방법은 넘어지는 것이 일정한 방향으로 발생하는 행동이기 때문에 가속도의 성분이 특정 축에 많이 발생 한다는 현상을 반영한 것이다. 1개의 센서로 넘어지는 방향을 판단 할 수 있는 장점이 있다. 가속도 벡터의 크기의 변화를 분석하는 방법은 몸무게나 신장(키)에 영향을 받지만 가속도 벡터의 성분을 이용하게 되면 일반적으로 적용 가능한 방법이다. 또한 스마트폰은 일반적으로 몸에 부착하지 않기 때문에 일반적으로 소지한 상태에서 스마트폰이 움직임을 지구좌표계와 일치시키는 정규화 과정을 적용하여 스마트폰의 방향에 영향을 받지 않는 방법을 제안하였다.

 

2. 관련연구

가속센서를 이용한 행동을 분석하고자 하는 연구는 지난 10여 년간 다양한 방법으로 시도되어 왔다 [5,9]. 센서의 발전과 더불어 전자식센서를 사용하여 허리나 다리와 같이 특정위치에 센서를 부착하여 행동을 파악하는 연구가 진행되었으며[11] 스마트폰의 보급과 이용이 급속히 증가함에 따라 스마트폰에 내장된 센서를 활용한 행동분석이 이루어지고 있다[9,12]. 스마트폰의 경우 소지방법이 다양하기 때문에 센서에서 발행하는 가속도의 값을 정확하게 해석하기 위한 노력이 시도되었다[6,12]. [6]은 가속센서에서 발생하는 가속도는 스마트폰의 방향에 따라 같은 행위라도 다르게 발생되기 때문에 지구좌표계와 일치시키는 정규화 과정을 적용한 연구이다. [6]은 신체부착형 센서를 여러 방향으로 착용되어 있더라도 센서의 방향을 일정하게 유지하도록 하였으며 가속 도의 크기 의 표준편차를 이용하여 일상적인 행위 즉 앉기 서기 걷기 뛰기에 대한 행위판단 방법을 제시하였다.

[13]은 가속센서와 압력 센서를 사용하여 넘어짐을 판단하는 방법을 제안 하였으며, 2개의 센서를 사용하여 판단하는 방법이 우수함을 보였다. 정규화와 넘어짐의 각도를 이용하여 넘어짐의 방향을 판단하는 방법을 제안하였다.

[12]는 스마트폰의 회전방향과 함께 정규화 시키고자 하는 연구로 정규화 과정을 거쳐 다양한 동작에 대한 판단이 더 정확함을 실험을 통해 보인 연구이다. Table 1은 기존연구에서 가속도벡터를 사용하여 분석한 행동과 방법을 나타낸 것이다. 기존 연구들은 가속도 벡터의 크기를 분석하거나 자이로스코프 또는 압력센서를 사용하여 넘어짐을 분석하거나 가속도 벡터의 방향을 분석하는 방법을 사용하였다. 기존 연구중 가속도 벡터의 성분의 비율을 적용한 것은 없었다.

Table 1.Previous works

 

3. 가속센서의 성분을 고려한 넘어짐 방향 판단

스마트폰은 앞, 뒤주머니, 손, 가방 등 소지방법이 다양할 수 있다. 본 연구에서는 일반적으로 많이 소지하는 방법으로 앞주머니에 자연스럽게 넣은 방법을 사용하였다. 스마트폰이 지구좌표계와 정확이 일치하지 않지만 스마트폰의 방향센서를 사용하여 지구좌표계와 일치시키는 정규화 과정을 거쳤다. 스마 트폰의 회전정보를 사용하여 가속도 벡터의 값을 정규화 시켜 주머니 속에서 약간의 움직임이 있거나 넘어지는 과정과 넘어진 후에 스마트폰이 향한 방향이 다르더라도 일정한 방향의 가속도 벡터 값을 추출할 수 있었다. 가속도 벡터추출을 위해 MIT에서 개발한 안드로이드 기반의 앱인벤터(App Inventor) [16] 버전 2를 사용하였으며, 추출된 가속도 벡터는 인터넷을 통해 구글의 퓨전테이블(Google fusion table)[17]로 저장하는 하는 방법을 사용하였다. 개발 시스템 구조는 Fig. 2와 같다.

Fig. 2.Framework proposed system.

3.1 방향센서를 이용한 가속벡터 정규화

주머니 속에 있는 스마트폰은 사람의 움직임에 따라 방향이 변하게 되며, 특히 넘어지는 경우 넘어지는 사람과 같이 스마트폰 역시 움직이며 최초의 위치와 넘어진 후에 스마트폰이 향한 방향은 전혀 다른 방향을 향하게 된다. 스마트폰의 회전방향은 스마트폰에 내장된 방향센서에 의해 추출되기 때문에 스마트폰의 방향센서를 사용하여 가속도 벡터를 지구좌표계와 일치 시키는 정규화 과정을 거쳤다. 안드로이드는 스마트폰의 회전을 roll(Y축회전), pitch(X축회전), azimuth 또는 yaw(Z축 회전)값을 제공하고 있다. 본 연구에서 사용한 앱인벤터(App Inventor)의 경우 roll(-90~+90) Pitch(-90~+90), Azitmuth(0-+359)까지 범위를 갖고 있으며 증가방향은 Table 2와 같다

Table 2.Android rotation angle range

가속도 벡터의 값을 정규화 시키기 위해서 3차원 회전공식을 적용하였다. 스마트폰이 위로향한 경우와 아래로 향한 경우로 나누워 지기 때문에 일반적인 오일러 공식(Euler formula)을 적용하여 정규화 과정을 실행하였다. Fig. 3은 안드로이드 스마트폰의 회전방향을 나타낸 것이다. 스마트폰이 위로 향한 경우의 정규화 과정은 다음과 같다. Roll, Pitch, Azimuth가 각각 ϕ, θ, ψ인 경우에 각축을 기준으로 회전변환 행렬은 다음과 같다.

Fig. 3.Direction of smartphone rotation.

스마트폰이 위로 향 한경우의 회전변환은 Y축, X축, Z축 순으로 회전변환 하는 과정으로 회전변환을 실시하였다.

스마트폰이 아래로 향한 경우는 가속도 벡터의 Z 값 즉 중력가속도가 음수인 경우로 판정하였으며 회전변환 행렬은 다음 식 (5)-(8)과 같다. 스마트폰이 아래로 향한 경우는 가속벡터를 위로 향하게 하기 위해서 먼저 위로 향하게 한 후 회전 변환을 실시하였다.

스마트폰이 아래로 향한 경우 회전변환은 Y축을 중심으로 180도 회전 후 Y축, X축, Z축순으로 회전변환 하는 과정으로 회전변환을 실시하였다.

Fig. 4의 (a)와 (b)는 스마트폰을 고정 시켰을 때의 가속도 벡터그래프이다. (a)는 스마트폰이 위로 향하고 있기 때문에 Z축 방향으로 중력가속도가 많이 작용하고 있지만, X,Y축의 가속도 벡터역시 발생하고 있음을 보여 주고 있다. (b)의 경우 정규화 과정을 거친 후의 그래프로 X,Y축의 가속도 벡터는 0에 있으며 Z축의 중력 가속도 벡터 값 이 중력가속도인 9.8근처에 있음을 보여 주고 있다. 스마트폰이 고정되어 있는 경우 정규화 과정이 잘되었음을 보여 주고 있다. (c)는 넘어지는 경우의 스마트폰에서 출력되는 중력가속도 벡터의 그래프이다. 넘어지기 전 스마트폰이 주머니에 있기 때문에 중력가속도로 인해서 Y축 방향의 가속도가 다른 축의 가속도 벡터보다 크게 추출됨을 보여 주고 있으며, 넘어지는 경우 Y축의 가속도가 빠르게 감소하고 다른 축의 가속도 역시 크게 흔들리고 있음을 보여 주고 있다. (d)는 경우 정규화 과정을 거친 후의 가속도 벡터의 그래프이다. 넘어지기 전에 Z 방향의 중력가속도 벡터가 9.8 근처에 있으며, X,Y축의 중력가속도 성분의 0에 있음을 보여 주고 있으며, 넘어지는 과정에서 가속도 벡터가 어떻게 변화하는지 보여 주고 있다.

Fig. 4.Compare acceleration vectors (a) static smartphone's acceleration vector before normalization, (b) static smartphone's acceleration vector after normalization, (c) falling acceleration vector before normalization, and (d) falling acceleration vector after normalization.

3.2 가속벡터의 성분을 이용한 넘어짐 방향 판단

스마트폰을 주머니 속에 자연스럽게 휴대하고 넘어진 과정의 가속도 벡터는 스마트폰이 향한 방향으로 가속도 벡터가 발생한다. 정규화 과정을 거치게되면 스마트폰이 지구좌표계와 일치된 상태의 가속도 벡터를 얻을 수 있기 때문에 가속도 벡터의 성분을 사용하면 넘어지는 방향을 판단 할 수 있다. 전후좌우 넘어짐의 경우 X축을 중심으로 한 회전운동이 주로 발생하기 때문에 X축 방향의 가속도 벡터의 성분의 변화보다 Y축 방향의 가속도 벡터 성분이 크게 나타난다. 좌우의 경우 Y축 방향의 운동이 주로 일어나기 때문에 y축의 가속도 벡터 성분이 x축에 비해 크다는 성질을 사용하여 넘어짐 방향을 판단하였다. X,Y축에 발생하는 가속도의 변화의 크기는 표준편차를 사용하였다. 각 축에 sdX는 x축 방향의 가속도 벡터 성분의 표준 편차이고 sdY는 yY 방향의 가속도 벡터 성분의 표준 편차이다. 가속도 벡터는 100ms 간격으로 추출 하였으며 넘어지는 경우 가속도 벡터를 30개를 추출하여 사용하였다.

전후와 좌우의 판단은 가속도 벡터의 성분 중에서 X축 성분과 Y축 성분을 표준편차를 비교하였으며, 다음 식(11)의 p값이 1보다 큰 경우는 Y축 방향의 가속도 벡터성분이 X축의 가속도 벡터의 성분보다 크다는 것을 의미하기 때문에 전후 넘어짐을 판단하였다. 1보다 작은 경우는 좌우 넘어짐으로 판단하였다.

• 전후 넘어짐 판단

전후 넘어짐을 판단된 경우 전후의 판단은 x축의 가속도 벡터 성분 중 양수인 것과 음수인 것을 구별하여 판단하는 방법을 사용하였다. 즉, 전후 넘어짐의 판단은 X축의 고정인 상태에서 Y축과 Z축이 움직이는 형태의 벡터의 형태의 영향을 받는다. 따라서 Y축과 X축의 가속도 표준 편차 값을 확인 후 Y값이 크다면 전후 넘어짐 중 하나라는 것을 알 수 있다. 좀 더 구체적으로 전과 후를 구별하기 위해서는 양수의 벡터 값과 음수의 벡터 값을 가지고 비교해야 되는데, 이 경우 Y의 양의 값이 큰 경우 전방으로 넘어짐, 음의 편차 값이 크면 후방으로 넘어짐을 판단할 수 있다. 식 (13)의 pY값이 1보다 크면 앞으로 넘어진 경우 이며, 1보다 작으면 뒤로 넘어진 경우로 판단하였다.

Fig. 5는 앞뒤로 넘어진 경우에 정규화 과정을 거친 후의 가속도 벡터 그래프이다. Y축 성분보다 X축의 변화가 크며 앞으로 넘어진 경우 X축 성분중 양수분의 변화가 음수 부분의 변화 보다 많으며, 뒤로 넘어진 경우 음수 쪽의 변화가 많음을 보여주고 있다.

Fig. 5.Acceleration vectors falling front and back after normalization (a) falling front and (b) falling back.

• 좌우 넘어짐 판단

좌우 넘어짐의 경우 전후방과 다르게 Y축은 고정인 상태에서 X축과 Z축이 움직이는 특징을 가지고 있다. 따라서 전후방 넘어짐 판단과 비슷하게 X축이큰 것을 먼저 판단 후, 양의 방향과 음의 방향의 벡터 성분의 크기를 비교하면 된다. 좌우 넘어짐의 경우는 Y축의 양이 값이 크면 좌로 넘어짐, 음의 값이 크면 우로 넘어지는 것으로 판단된다. 이런 값은 핸드폰 기계의 특성에 따라 달라질 수 있음에 주목해야 된다. 기계에 따라 음의 방향과 양의 방향이 정규화 과정을 거쳐도 칩의 방향에 따라 달라 질 수 있기 때문이다. 식 (15)의 pX값이 1보다 크면 오른쪽 경우이며, 1보다 작으면 왼쪽으로 경우로 판단하였다.

Fig. 6은 정규화 과정을 거친 후에 좌우로 넘어지는 경우의 가속도 벡터를 나타내고 있다.

Fig. 6.Acceleration vectors falling left and right after normalization (a) falling left and (b) falling right.

Fig. 7은 가속벡터의 성분을 이용하여 넘어진 방향을 판단하기 위해 적용한 순서도이다.

Fig. 7.Flow chart of determine falling direction.

 

4. 실험 및 평가 결과

실험을 위해 MIT에서 개발한 안드로이드기반 앱인벤터를 사용하여 가속도 벡터와 방향센서를 값을 추출 하였으며 추출된 값은 웹DB인 퓨전 테이블에 저장하였다. 인터넷 접속과 퓨전테이블간의 실시간 데이터 전송의 오류를 방지하기 위해서 내장메모리에 일정 값을 저장한 후 퓨전테이블로 전송하였다. 넘어짐의 경우 1내외의 짧은 순간에 발생하기 때문에 측정주기를 100ms로 하여 넘어지는 경우의 가속도 벡터 값을 저장하여 사용하였다.

개발 및 측정에 사용된 기기는 Galaxy S3이며, 여기에 탑재된 가속센서를 사용하였다. 총5명의 피 실험자가 참여하여 각 넘어짐 방향으로 넘어지는 실험을 실시하였다. 앞뒤와 옆으로 넘어지는 경우의 판단은 100%넘어짐 방향을 판단하였다. Fig. 7은 넘어짐을 판단하기 위해 실시했던 실험 사진이다.

Table 3은 실험에 참가한 5명의 피 실험자 대한 가속도 벡터의 성분별 표준편차 표이다. Table 4는 실험에 참가한 5명에 대한 넘어지는 방향별 성공과 실패를 나타낸 것이다. Table 5는 실험결과의 혼합표로 각 방향별로 다르게 판단된 결과를 보여 주고 있다.

Table 3.Standard deviation during falling

Table 4.Test result

Table 5.Table of confusion matrix

제안한 방법으로 넘어짐의 방향을 전후와 측면 넘어짐으로 분류한다면 100% 성공적으로 판단함을 보였다. 좌우판단의 경우 좌측을 우측으로 판단한 경우가 2번 우측을 좌측으로 판단한 경우가 1번 발생하여 총 20번의 실험 중 3번(15%)이 잘 못 판단되어 총 85%의 정확성을 보였다. 앞뒤와 좌우의 구분은 넘어 짐이 확연히 다른데 비해 좌우의 넘어짐은 넘어지는 과정에서 몸의 흔들림이 많기 때문에 가속도 벡터의 성분이 혼합적으로 발생하는 경우가 있는 것으로 판단된다. [8]의 경우 가속센서와 압력센서를 사용하여 넘어지는 방향을 판단하였으며, 넘어짐 방향은 앞, 뒤와 좌우를 측방 넘어짐으로 분석하여 성공률이 86.97%이며, 넘어진 후의 센서의 방향으로 판단한[9]는 94%의 성공률을 보였다. [9]에 사용한 방법은 스마트폰을 일정한 방향으로 소지한 상태에서 판단한 것으로 스마트폰이 다른 방향으로 있게 되면 적용하기 곤란한 방법이다. [16]는 가속센서와 자이로스코프를 탐재된 두 개의 기기를 사용한 방법으로 넘어짐 방향 성공률은 100%를 보였다. 2개의 센서를 사용한 [7]에 비해 성공률은 높지 않지만 1개만을 사용한 [8,9]에 비해 우수하거나 비슷한 성공률을 보였다.

 

5. 결 론

가속센서를 사용하여 인간의 행동을 파악하고 분석함으로써 사고예방, 행동분석 및 치료 등 다양하게 적용되고 있다. 특히, 넘어짐은 심각한 부상의 원인이 될 수 있기 때문에 센서를 사용하여 넘어짐을 판단하는 다양한 방법이 시도되었다. 가속도 벡터는 움직임의 크기를 나타내기 때문에 넘어짐과 같은 행동을 분석하는데 많이 사용되는 방법이다. 그러나 넘어짐의 방향은 가속도 벡터의 크기로 판단하기 곤란하다. 기존의 연구들은 여러 개의 센서를 사용하거나 특정 방향으로 고정된 상태에서 센서의 방향을 분석하는 방법을 제안하였다.

본 연구에서는 넘어짐은 한쪽 방향으로의 운동이 주로 발생하기 때문에 가속도 벡터의 성분을 분석하는 방법을 제안하였다. 제안한 방법은 1개의 센서를 사용하여 판단하기 때문에 여러 개의 센서를 사용 방법 보다 쉽게 적용 할 수 있는 장점이 있다. 최근 광범위하게 사용되고 있는 스마트폰은 기본적으로 가속도 센서를 내장하고 있기 때문에 추가적인 장비의 구입이나 설치 과정 없이 스마트폰에 내장된 가속도 센서를 사용할 수 있는 장점이 있다. 가속도벡터의 크기의 표준편차를 분석하여 인간의 행동을 분석하는 방법이 주로 사용되는 방법 이지만 특정한 방향의 운동을 예측하는 것은 가속벡터의 성분벡터를 사용하는 것이 효과적인 방법이다. 가속도 벡터의 성분을 이용한 방법은 현재까지 제시되지 않은 방법으로 많은 분야에서 적용 가능할 것으로 기대된다.