Musculoskeletal Rehabilitation Exercise Platform for Elderly based on MR

혼합현실 기반의 노인을 위한 근골격계 재활 운동 플랫폼

Abstract

In this paper, we propose a Mixed Reality based rehabilitation exercise solution with the goal of mitigating one of the most common chronic conditions among the elderly, musculoskeletal disorders. In modern society, as the number of elderly increases, more people engage in office work and engage in more sedentary activities. Due to repetitive work in the office, muscle strength decreases and this causes many difficulties in daily life. In this study, we developed a mixed reality based exercise platform to solve these chronic musculoskeletal diseases. VR is not appropriate for elderly because of dizziness. In addition, we developed a wearable sensor based on IMU and attached it to important parts of the upper body to motion tracking. We developed a algorithm synchronize to raw data from wearable sensor with in a vr avatar. Ederly can check in real time whether rehabilitation exercises are being performed accurately through the avatar.

본 논문에서는 대부분의 노인들이 가지고 있는 만성 질환 중의 하나인 근골격계 질환을 해결할 수 있는 혼합현실 기반의 재활 운동 솔루션을 제안한다. 현대 사회는 점점 증가하고 있는 노인층이 많아지면서 사무직에 종사가 많아지고 좌식 활동이 많아지게 되었다. 반복되는 사무 활동으로 근력 감소가 많아지고 이로 인해 일상생활에 많은 어려움을 가지고 있다. 본 연구에서는 이러한 근골격계 만성 질환을 해결하기 위해 혼합현실 기반의 운동 플랫폼을 개발하였다. 가상현실은 어지러움 때문에 노인들에게 적합하지 않다. 또한, 자체적으로 개발한 관성센서 기반의 웨어러블 센서를 개발하여 상체 중요 부위에 부착하여 편하게 운동할 수 있게 하였다. 혼합현실 환경에서 웨어러블 센서로부터 실시간 원시 데이터를 실시간 수집하여 이를 가상 환경의 아바타와 동기화되기 위한 변환 알고리즘을 개발하였다. 사용자는 혼합현실 환경에서 실시간 재활 운동이 정확하게 이루어지는가를 아바타를 통해 확인할 수 있으며 보다 정확한 운동을 할 수 있게 하였다.

Ⅰ. 서론

노인 인구의 증가와 고령화로 인해 노인들의 다양한 만성 질환의 치료 방법들이 IT 기술을 활용한 방법들을 적용하는 사례들이 많아지고 있다^{[1, 2]}. 나이가 들어감에 따라 골밀도가 감소하게 되고 노인들에게 있어서 골다공증으로 연계되어 뼈의 부러짐 등과 같은 사고로 이어질 수 있다. 성인 남녀 40 세 이후부터 매년 골량이 감소하게 되며 여자의 경우 폐경 이후 급속도로 골 근격계가 손실되는 것을 보인다^[3]. 우리나라는 OECD 국가 중에서 고령화 가속도가 가장 빠른 나라 중의 하나이다. 2030년에는 23.4%, 2060년에는 40% 정도로 전망하고 있다. 조사에 따르면, 고령층(55~79세) 인구의 61%는 일자리를 원하고 있다. 인구의 고령화로 노동인구의 연령대가 증가하고 있지만, 기존의 산업 보건 제도 및 작업 환경은 고령자에게 적합하지 않다^[3]. 2021년 건강 보험 통계 연보에 따르면 65세 이상 노인에게 가장 많이 발생하는 질병 10가지 중 4가지는 근골격계 관련 질환으로 나타났다. 이러한 근육과 골은 꾸준한 운동을 통해 보완되어질 수 있다. 근골격계 질환 환자는 2019년 1,761만명 이었으며, 진료비는 7조 4,599억원으로 전체 건강보험의료 기관 총진료비의 10.9%에 해당한다고 볼 수 있다^[4].

근골격계 질환은 신체에 반복적인 작업을 자주 하는 작업자들에게 장기간 발생하는 장애라고 할 수 있으며, 젊은 근로자보다는 고령자들에게 발생 가능성이 크다. 힘의 저하와 움직임의 제한으로 일상생활에서 활동에 제약이 따른다^[5]. 노인 인구의 사회 활동이 넓어짐에 따라 60세 이상의 업무상 근골격계 질환 점유율이 매우 빠른 속도로 증가하고 있다. 그러나 이러한 근골격계에 적합한 스트레칭과 운동 방법은 정확한 자세 기반의 재활 운동을 자주 해야 하지만 노인들에게 있어 이렇다 할 솔루션이 부재인 상황이다^[6,7].

근 감소로 인해 발생 가능한 문제점으로는 뒷 목 부위, 승모근, 안쪽 견갑 대위부 통증 및 뭉침 발생으로 인한 방사통이 발생 가능하며, 노인들 경우 좌업 생활이 많다 보니 80% 이상이 뒷목과 어깨 부위의 통증 경험이 많다. 전통적으로 마사지 및 안마기로 해결하고는 있지만 근본적인 문제 해결 방법이라고 할 수 없다. 근감소의 또 다른 문제점으로는 근육의 양이 비정상적으로 감소하면서 근력 저하, 즉, 힘이 약해져 잘 걷지 못하고, 낙상, 혼자서는 움직이지 못하여 수명 저하가 될 수 있다. 마지막으로 근감소로 인한 비만은 결국 낙상, 기능장애, 삶의 질 저하, 사망률의 증가 등을 증가시키게 될 뿐만 아니라, 심혈관 질환, 대사 장애의 위험을 증가시킬 수 있다^[8].

일반적으로 근력 감소로 인한 다양한 근골격계 증상들이 있으며, 이들을 교정하기 위해서는 짧아진 근육은 스트레칭을 통한 교정과 늘어난 근육은 근력 강화 운동이 필요하다^[9]. 이와 같은 운동은 스스로 지속성을 갖기 어려워 개미 요소를 첨가한 가상현실 기반의 운동이 필요하다^[10]. 가상현실에서는 주로 맨손 운동을 시행하고 있으며, 일반적으로 근력 운동을 위해서는 자유로운 동작 인식을 실시간 체크하기 위한 부가적인 하드웨어가 필요하다^[11]. 또한, 가상현실 기술은 몰입감을 극대화한 플랫폼이기 때문에 게임에 적합한 것이며, 어지러움 증상이 발생하여 노인들을 위한 운동에는 적합하지 않다. 혼합 현실은 앞에 보여주는 현실을 그대로 눈에 보여주는 기술이므로 어지러움 증상이 없고, 장시간 사용이 가능하며 재활 운동과 같은 콘텐츠 개발에 적합한 기술이다.

본 연구에서는 부가적인 하드웨어 없이 혼합현실 내에서 사용자가 무게감을 느낄 수 있는 기술을 적용하여 근골격계 운동을 할 수 있는 플랫폼을 개발하였다. 가상 무게감은 가상에서 무게감을 간접적으로 느끼는 기술이다. 근감소 보완 운동은 정확한 자세 기반의 운동이 핵심 기술이다. 본 연구에서는 가상 무게감 기술을 적용하여 정확한 운동이 될 수 있도록 적용하였다. 이로 인해 노인들의 근골격계 감소로 노인들의 만성 근섬유 뭉침과 뻐근함을 관리 할 수 있는 혼합현실 기반의 상지 재활 콘텐츠 시스템을 제안하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서는 본 시스템을 구성하기 위한 사전 연구과 H/W 및 S/W 기술을 다루고, 3장에서는 근감소 재활 운동 플랫폼 개발에 따른 알고리즘 및 구현 방법을 소개한다. 4장에서는 동기화 및 성능 실험을 다루었고, 마지막으로 5장에서는 결론 및 향후 연구로 기술하였다.

Ⅱ. 관련 연구

1. MPU 6050 센서 기반 동작 추적 기술

본 논문에서는 상지 재활 운동에 대한 데이터를 수집하기 위해 상지 모션을 인식할 수 있는 센서개발에 대해 연구 하였다. MPU6050 모듈은 가속도 자이로 센서를 이용하여 객체의 기울어진 정도와 회전한 정도를 알아낼 수 있다. MPU6050은 관성센서 기반의 가속도(3축) 및 각속도(3축) 등 6축에 대한 센서 데이터를 획득할 수 있는 아두이노 모듈이다. 이 밖에 블루투스 모듈을 포함하고 있어 블루투스 통신을 통해 데이터 전송이 가능하다^[12].

그림1은 본 논문에서 사용한 MPU6050을 보이고 있다. MPU6050 센서 데이터를 쿼터니온 값으로 변환하기 위해서는 펌웨어 단계에서 이루어져야 한다. 펌웨어에서는 다양한 필터 알고리즘을 적용할 수 있는데, 일반적인 상보 필터의 경우 가장 기본적으로 사용되는 알고리즘이나 혼합현실과 연동하여 팔의 움직임을 추적하기에는 실시간 측면에서 불리하며, 정확성 또한 다른 정밀한 필터에 비해 많이 부족하다. 본 연구에서는 Maggwick 필터 기반의 쿼터니언 계산 알고리즘을 적용하였다. 상보필터보다는 적용하기가 어렵지만 관성센서의 특징상 튀는 값들을 보정하는데에 매우 효과적이다.

그림 1. MPU6050 센서와 6축 센서

Fig. 1. MPU6050 & 6-Axis Sensors

2. 가상 무게감 알고리즘

가상 무게감은 가상 환경에서 무게감을 체험할 수 있는 기술이다. 실제 물리적인 힘(중력)으로 인한 근육의 수축이 아닌 주먹을 쥐고 힘을 주도록 하여 느낄 수 있도록 하는 기술이다. 노인들은 무거운 덤벨을 들게 되면 사고의 위험이 있기 때문에 순간 가속도, 평균 가속도, 시간, 방향, 시각적 피드백, 청각적 피드백의 데이터를 인공지능으로 처리하여 가상의 무게감을 만들어 낸다[13].

그림2는 가상 무게감 알고리즘을 도식화 한 그림이다. 가상 무게감 알고리즘은 DBSCAN 알고리즘을 통해 사용자의 움직임에 대한 정확도에 대한 군집화 과정을 먼저 처리한다. 다음으로 선형회귀분석 방법을 활용하여 군집화 과정에서의 팔 움직임의 방향성을 계산한다. 이러한 과정에 대해 머신러닝을 통해 반복 학습을 시키고, 결과적으로 정확한 팔 동작에 대한 힘을 계산해 낼 수 있다. (F=ma) 마지막으로 힘의 정량 값에 대해 시각적인 표현 방법을 적용하여 가상 무게감을 느낄 수 있게 한다. 실제적인 무게감을 느낄 수는 없지만 힘을 주어서 운동을 하게 되면 정확성과 시간에 맞춰서 운동을 해야 하기 때문에 재활 운동에서의 가장 중요한 요소인 정확한 운동을 할 수 있다는 장점이 있다[14].

그림 2. 가상 무게감 알고리즘

Fig. 2. Virtual Pseudo Weight Algorithm

3. 근골격계 강화 운동 콘텐츠

그림3의 (좌)에서 보는 바와 같이 독일의 Kaia Health 는 비전 기반의 동작 분석을 통한 환자 상태 평가 후 근골격계 통증 완화를 위한 운동을 제공하고 있다[15]. 주변 환경에 따라 동작 인식 정확도가 떨어져서 정확한 진단이 힘들고, 2차원 영상을 기반으로 3차원 인체 포즈 추정 기술은 어깨 등 복잡한 동작 인식 정확도가 떨어진다는 단점을 가지고 있다.

그림 3. (좌) Kaia Health (중) Mindmaze (우)EverEx

Fig. 3. (Left) Kaia Health (Middle) Mindmaze (Right)EverEx

그림3의 (중)에서는 스위스의 제품인 Mindmaze는 모델에 따라 비전만 사용하는 것과 비전, 광학적 마커, 관성 센서 등을 융합하여 환자의 상태 평가 후 근골격계 재활을 위한 게임 기반의 콘텐츠를 제공하고 있다. 개인용 비전 기술만 사용한다는 단점이 있고 정확한 동작 인식이 어렵다[16].

국내의 EverEx는 비전 기반 동작 분석을 통한 재활 콘텐츠를 제공하고 있고, 주변 환경에 따라 동작 인식의 정확도가 떨어진다. 상지 재활 운동과 같은 복잡한 동작에서 실시간 동기화가 어려워서 운동의 정확도가 어렵다. 대부분의 재활 운동은 이동식이 아닌 비전 기반의 콘텐츠를 제공하고 있고 정확한 동작 인식이 어렵다는 단점이 있다[17].

근골격계 관련한 연구는 국내외적으로 대부분 비전 기반의 모션 인식을 기반으로 연구가 진행해 왔고, 가상현실, 혼합현실 등과 같이 리얼리티 기반의 콘테츠는 아직까지 이루어지고 있지 않은 상황이다. 본 논문에서는 혼합현실 기반에서 가상 무게감을 사용한 실시간 동작 트래킹을 통해 상지 재활 운동을 정확하게 할 수 있는 플랫폼을 제안한다.

Ⅲ. 근감소 재활 운동 플랫폼

1. 근감소 운동

본 논문에서는 혼합현실 기반에서 노인들의 근골격계 감소를 보완하기 위한 6가지 운동 방법을 선택하였다. 보통 중년 이후부터 나이가 들어감에 따라 가장 많이 발생하는 어깨 결림 장애를 중점으로 어깨 근육 활성화 프로그램을 구성하였다[18,19]. 심부 근육을 강화 시켜야지만 근골격계 문제를 완화할 수 있기 때문에 관련 운동으로 구성하였다. 프로그램은 어깨 삼각근(전면, 중면, 후면), 상부 승모근, 극상근, 극하근을 타겟 근육으로 하며 6가지 운동으로 구성한다[20]. 표 1은 이러한 6가지 운동 프로그램에 대한 설명을 나타내고 있다.

표 1. 6가지 근골계 재활운동

Table 1. 6 - Musculoskeletal Rehabilitation Exercises

2. 재활운동 플랫폼 시스템 구성

본 논문에서는 4개의 MPU6050 센서 4개와 MR 디바이스인 홀로렌즈2를 사용하여 플랫폼을 구성하였다.

그림 4는 센서와 홀로렌즈의 연결 상태를 나타낸 그림이다. 4개의 센서는 홀로렌즈와 직접 블루투스 통신을 하도록 하였다. 이때, 홀로렌즈와 BLE(Bluetooth Low Energy 모듈을 통해 무선으로 통신한다. 홀로렌즈2는 Windows Mixed Reality 환경에서 작동하며, 게임 엔진을 사용하여 MPU로부터 전달받은 데이터를 처리할 수 있어야 한다.

그림 4. MPU 6050 센서와 롤로렌즈 HMD

Fig. 4. MPU 6050 Sensors and MS Hololens HMD

그림 5는 재활 운동 데이터 수집을 위한 SW 시스템 구성도를 보여주고 있다. 표 2는 SW 적으로 처리되는 단계를 표로 나타낸 것이다. 센서 데이터와 홀로렌즈와 동기화하기 위해서는 소프트웨어적으로 3단계를 거친다.

그림 5. 시스템 구성도

Fig. 5. System Diagram

표 2. 운동 데이터 수집 단계

Table 2. Rehabiliatation exercise data gather steps.

첫 번째로, GATT는 BLE 디바이스 간의 데이터 전송을 관리하기 위한 프로토콜이다. GATT는 클라이언트-서버 모델을 구성하며, BLE 디바이스 간의 데이터 교환을 위한 프로토콜 스택의 상위계층에서 작동한다. GATT는 어트리뷰트의 서비스를 기반으로 한다. 어트리뷰트는 데이터의 최소 단위이며, 서비스는 어트리뷰트의 집합이다.

GATT 서버는 하나 이상의 서비스를 포함하며, 각 서비스는 하나 이상의 어트리뷰트를 포함하고 있고, GATT 클라이언트는 GATT 서버에 연결되어 서비스와 어트리뷰트를 검색하고, 데이터를 읽거나 쓸 수 있다. GATT는 BLE 디바이스 간의 효율적인 데이터 전송을 가능하게 해준다.

두 번째로 Middle GATT 구독 단계이다. WinRT(Windows Run-time) 환경에서 BLE 디바이스에서 수신하는 모듈로서, GATT 프로토콜을 구현한 클래스와 인테페이스를 제공하고 있으며, BLE 디바이스와의 통신을 원활하게 해주는 역할을 담당한다.

마지막 단계로서 게임 엔진에서 BLE 디바이스에서 수신 GattCharacteristic를 사용한 실시간 통신을 통해 센서 데이터랑 동기화한다. 동기화 되어 아바타의 동작을 렌더링 할 때 시각적인 피드백을 주어 가상 무게감 알고리즘을 적용할 수 있다.

Ⅳ. 실험 및 결과

본 논문에서는 재활 운동의 효과적인 움직임 데이터를 추출하기 위함과 사용자들이 착용 시 원활하게 운동할 수 있는 부위를 선정하였다.

표 3는 센서 부착 부위에 대한 설명이며, 그림 6는 실체 상체에 부착한 결과 화면을 보인다. _q0, _q1, _q2, _q3는 각각 쿼터니온의 (x, y, z, w)의 성분에 해당한다. MPU6050의 위치는 그림 6에서 보는 바와 같이 손목에 위치한다. MPU 4개의 센서와 MR HMD와 블루투스 통신을 하고 있으며 게임 엔진의 블루투스 모듈로 실시간 데이터를 전송하고 있다. 받은 데이터들은 게임 엔진에서 활용될 수 있도록 쿼터니온 값으로 변환해야 한다. MPU는 오른손 좌표계이기 때문에 왼손 좌표계로 변환한다. 직전에 받은 쿼터니온 값에서 현재 쿼터니온의 변화량(Delta)을 구한다. 마지막으로 센서의 위치에 맞는 가상 캐릭터의 관절에 회전 값을 적용하도록 한다. 수식(1,2,3)은 실세계와 가상 세계에서의 동작 일치를 위한 동기화 과정을 수식으로 표현한 것이다.

\(\begin{aligned}\begin{array}{l}\text { DATAref } f_{a 1}, \text { ref }_{a 2}, \text { ref } f_{a 3}, \text { ref }_{a 4} \\ :: \Rightarrow \hat{Q}_{\text {real }- \text { world }} r e f_{q 1}, r e f_{q 2}, r e f_{q 3}, r e f_{q 4} \\\end{array}\end{aligned}\)       (1)

\(\begin{aligned}\begin{array}{l}\hat{Q}_{\text {real-world }} \text { ref } f_{q 1}, r e f_{q 2}, \text { ref } f_{q 3}, r e f_{q 4} \\ :: \Rightarrow \widehat{Q}_{\text {virtual }- \text { world }} \text { ref } f_{q 1} \text { ref } f_{q 2}, \text { ref }_{q 3}, \text { ref } f_{q 4} \\\end{array}\end{aligned}\)       (2)

\(\begin{aligned}\begin{array}{c}\hat{Q}_{\text {real-world }} \text { LHQS } \times T(x=x, y=z, z=y) \\ :: \Rightarrow \widehat{Q}_{\text {virtual-world }} \text { RHQS }\end{array}\end{aligned}\)       (3)

표 3. 센서 부착 위치

Table 3. Sensors attachment position

그림 6. 상체 바디 부착 결과

Fig. 6. Uppser Body Attachment result

그림 7. VR 아바타 애니메이션 움직임과 동기화

Fig. 7. VR avatar animation movement and sychronization

표 4. 혼합현실내의 아바타와 근골격계 재활 운동의 실시간 동기화

Table 4. Real-time synchronization and musculoskeleton rehabilitation exercise with MR avatar

수식(1)은 실세계에서 동작에 따른 센서 값은 6축에 대한 상대적인 값을 나타낸다. 가상 세계에서의 아바타와 동기화를 위해서는 실세계의 센서 데이터값을 쿼터니온 값으로 일원화 해야 한다. 수식(2)는 쿼터니온으로 변환된 실세계의 회전 값을 게임 엔진에서 사용하는 가상 세계의 쿼터니온 값으로 변환하는 작업이다. 또한 MPU 6050은 오른손 기반의 좌표 시스템을 사용하고 있다. 보통의 게임 엔진들은 왼손 좌표계를 사용하고 있기 때문에 좌표계의 불일치성이 발생한다. 또한, 이러한 작업들은 실시간적으로 보정이 되어야 할 필요성이 있다. 수식 (3)은 좌표 변환을 나타낸다.

Ⅴ. 결론

내본 논문에서는 나이가 들어감에 따라 근력 감소로 인한 근골격계 만성 질환에 대해 혼합현실 환경에서 손쉽게 접근하여 운동할 수 있는 솔루션을 제안하였다. 점점 고령층이 많아지고 사무직에 종사하는 노인층이 많아 지면서 근골격계 질환을 호소하고 있지만 재미있게 접근성이 편한 몰입형 운동 콘텐츠는 부족한 상황이다. 본 연구에서는 어지러움증을 없애기 위해 가상현실보다는 혼합현실 플랫폼을 적용하였다. 일반적인 HMD 콘트롤러를 사용하는 것이 아니라 자체적으로 상체 운동 움직임을 트래킹 할 수 있는 독립적인 웨어러블 센서를 개발하여 활용하였다. 4개의 관성 센서를 활용하여 상체의 중요 부위에 부착하여 재활 운동의 움직임을 실시간 트래킹할 수 있다. 모션 데이터는 블루투스로 연결된 혼합현실 HMD 디바이스에 데이터 전송이 되며, 가상 아바타의 움직임을 제어할 수 있게 하였다. 사용자는 실시간적으로 재활 운동이 적확하게 이루어지고 있는지를 혼합현실 환경에서 체크할 수 있다.

본 연구에서는 아두이노로부터 입력되는 원시 데이터를 회전 값으로 변환하고, 변환된 값을 가상 환경의 아바타와 동기화하기 위해 가상 환경의 회전 값으로 변환하는 알고리즘을 개발하였다. 이로써 실시간적으로 현실 세계의 운동과 가상 환경의 운동이 동기화 되어 노인들이 재활 운동을 정확하게 할 수 있도록 하였다. 또한, 가상 무게감 알고리즘을 적용하여 좀 더 현실 세계와 유사한 재활 운동이 이루어질 수 있도록 하였다. 향후 연구로서는 본 연구에서 진행한 연구를 기반으로 실제 콘텐츠를 개발하여 효과성 검증을 진행할 계획이다.