Implementation of Personalized Rehabilitation Exercise Mobile App based on Edge Computing

Abstract

본 논문에서는 엣지 컴퓨팅 기반의 개인 맞춤형 운동 정보수집 시스템을 활용하여 개인 맞춤형 재활 운동 코칭 및 관리 서비스를 위한 모바일 앱을 제안한다. 사용자의 입력 정보에 의존하는 기존 관리 방식은 실질적인 재활 가능성을 타진하기에 어려움이 있다. 본 논문에서는 원격지의 엣지 컴퓨팅 기반의 영상정보에 대한 분석을 통하여 신체 관절정보와 함께 운동 정보를 수집하여 해당 운동의 시간 및 정확도를 측정하고 올바른 자세정보를 통한 재활 진척도를 제공하는 애플리케이션을 구현한다. 또한, 재활 센터의 측정 장비와 연동하여 건강상태를 관리할 수 있으며, 운동정보의 정확도 및 경향성 분석 정보를 제공한다. 본 연구의 결과를 통하여 비대면 환경에서의 자가 재활 운동에 따른 관리 및 코칭이 가능할 것으로 사료된다.

In this paper, we propose a mobile app for personalized rehabilitation exercise coaching and management service using an edge computing-based personalized exercise information collection system. The existing management method that relies on user input information has difficulty in examining the actual possibility of rehabilitation. In this paper, we implement an application that collects movement information along with body joint information through image information analysis based on edge computing at a remote location, measures the time and accuracy of the movement, and provides rehabilitation progress through correct posture information. In addition, in connection with the measurement equipment of the rehabilitation center, the health status can be managed, and the accuracy of exercise information and trend analysis information is provided. The results of this study will enable management and coaching according to self-rehabilitation exercises in a contactless environment.

I. Introduction

중추신경계가 손상되면 근력저하 등의 근골격계 장애가 지속되며 신체적 자립력이 부족하여 일상생활에 많은 어려움을 겪는다. 이러한 중추신경계 장애는 물리치료, 작업 치료 및 신경계 재활센터를 중심으로 치료가 이루어지고 있다. 또한, 다양한 치료 방법 중에 운동치료(Therapeutic Exercise)와 기능치료(Functional Training) 등은 선택적 움직임을 통한 일상생활 복귀, 근력, 지구력 및 심폐능력의 향상을 목적으로 가장 보편적으로 활용되고 있다. 하지만, 대부분의 재활 치료 및 관리는 전문적인 재활 병원이나 센터에서 한정적이고 일시적으로 진행되기 때문에 치료의 연속성이 단절되는 문제를 가진다. 이를 해결하기 위하여 재택 건강관리와 원격지 운동 정보 수집을 위한 다양한 연구가 진행되고 있다. 특히, 다양한 비대면 상황이 지속적으로 유지될 것으로 생각되는 현 시점에서 집체 공간을 활용하여 재활 치료활동을 전개하는 것은 환자의 건강유지에 심각한 위험 요인으로 작용되고 있다. 본 연구에서는 기존 연구[1]에서 개발한 엣지 컴퓨팅 기반의 개인 맞춤형 운동 정보수집 시스템을 활용하여 개인 맞춤형 재활 운동 코칭 및 관리 서비스를 위한 모바일 앱을 제안한다. 단순 운동 정보만으로 관리되는 기존 애플리케이션과 차별화하여 원격지의 엣지 컴퓨팅 기반의 영상정보에 대한 분석을 통하여 신체 관절정보와 함께 운동 정보를 수집하여 해당 운동의 시간 및 강도 외에도 올바른 자세정보를 통한 재활 진척도를 제공하는 애플리케이션을 구현한다. 또한, 심박 펄스 센서를 기존 디바이스에 추가하여 블루투스 통신을 통한 다양한 기본 대사 정보 수집을 가능하게 하였다. 운동 정보의 정확도 및 경향성 분석을 위하여 특정 측정 센터에서 수집된 실제 정보를 통하여 수집 정보에 대한 신뢰성을 높일 수 있도록 자세 인식작업의 정확도를 조정하였다. 논문의 구성은 2장에서 기존 연구[1]에서 구현한 엣지 컴퓨팅 기반의 수집 시스템과의 연계성에 대해 설명하고 3장에서 애플리케이션의 설계 및 구현결과를 기술한다. 마지막 4장에서 향후연구에 대해 기술한다.

II. Background

1. Personalized Exercise Data Collection

기존 연구[1]에서 개발한 엣지 디바이스는 카메라 제어와 모션캡쳐를 위한 연산과 자세 추정(Pose Estimation)을 위한 처리를 담당한다. 또한, 네트워크 연결 없이 동작이 가능하도록 GPU(Nvidia-Jetpack)를 탑재하고 있으며, 최종적으로 운동 동작에 따른 영상을 WebRTC(Web Real-Time Communication) 서버로 전송한다. 클라우드 플랫폼은 쿠렌토에서 영상 정보를 디코딩하기 위한 서버로 코칭 서비스를 위한 웹 서버 역할을 담당한다. WebRTC는 웹 서비스와 확장성을 고려하여 Naver Cloud Platform에 구축하였으며 스프링부트(Spring-boot)를 통해 영상 데이터를 웹에 표시한다.

Fig. 1. Design of Personalized Exercise Data Collection System based on Edge Computing[1]

신체 각 Keypoint 18개 부위의 3차원(x, y, z) 좌표 값은 모션 캡쳐 영상으로부터 추출한다. 모션 캡쳐 스트리밍 데이터에 대한 출력 예시는 Fig, 2와 같다.

Fig. 2. WebRTC(Top) and output the value of each keypoint of the body of the motion capture image(Bottom)

본 논문에서는 Fig. 3과 같이 기존에 개발한 운동 데이터 수집을 위한 엣지 컴퓨팅 시스템을 이용하여 개인 맞춤형 재활 운동 모바일 앱을 구현하고자 한다.

Fig. 3. Personalized Rehabilitation Exercise Mobile App based on Edge Computing

2. Research for Posture Estimation

Lee[2]는 키넥트 센서를 기반으로 휘트니스 동작의 정확성을 피드백 하는 윈도우 애플리케이션을 제안하였다. 운동부위는 목과 허리, 다리의 세 영역으로 분류하고 정확하지 않은 자세를 알려주는 기능을 가진다.

Fig. 4. Exercise Feedback Screen of KITNESS[2]

Kim[3]은 웨어러블 디바이스와 키넥트 센서를 이용하여 다중 사용자가 동시에 자세 교정과 관련된 서비스를 받을 수 있는 홈트레이닝 헬스케어 시스템을 제안하였다. 웨어러블 디바이스는 아두이노 보드에 MPU-9250 가속도 센서를 부착하고 손목과 허벅지에 착용하여 신체 부위의 각도 값을 측정하고 전체적인 관절 데이터는 키넥트 센서를 통하여 추출하였다. Soly[4]는 압력 센서와 플렉스 센서를 이용하여 손의 악력을 측정하는 아두이노 기반의 시스템을 제안하였다. 특정된 데이터를 분류하기 위하여 SVR(Support Vector Machine) 알고리즘을 이용하였으며, 연령별 그룹을 기반으로 그립의 강도를 특정하고 재활 운동 등에 사용할 수 있는 가능성을 보였다. Zou[5]는 원격지에서 근력 운동을 하는 사용자를 모니터링 및 코칭하기 위한 iCoach라는 스마트 피트니스 장갑을 제안하였다. 제안한 장갑을 통하여 다양한 운동을 식별하고 비정상적인 행공을 감지하여 사용자의 운동 품질을 평가한다. Cho[6]는 다중 키넥트 센서를 기반으로 운동 자세를 추정하는 시스템을 제안하였다. 하지만, 여러 대의 클라이언트와 유니티 게임 등이 연동되어 있으며, 제시된 16가지의 운동 자세에 적합적인 동작만을 인식하는 제한점을 가진다. 이처럼 기존 연구는 관절 정보나 악력 정보, 자세 정보 추정 등을 이용하여 사용자의 자세에 올바른지에 대한 식별 연구가 대부분 이였다. Park[7]은 Azure Kinect Camera를 이용하여 사용자의 관절 위치를 특정하고 삼각법과 피타고라스 정리를 통하여 관절의 각도를 구하여 요가 자세의 정확도를 피드백해주는 프로그램을 제안하였다.

상용화되어 있는 PPS사의 Tactile Glove[8]는 다양한 작업에 대해 손에 가해지는 힘과 변화를 통하여 손의 상호 작용에 대한 매칭 정보를 제공하고 65개의 센싱 포인터를 가지고 있는 장점이 있지만, 45,000달러의 고가이며 재활운동용으로 사용하기에는 경제성이 낮다.

Fig. 5. PPS Tactile Glove when sawing wood with several types of saw[8]

III. Design

1. Common and User Information Page

모바일 앱의 화면 설계는 운동 측정을 통한 신체 능력의 변화를 시각적으로 표현하고 동작 분석을 통한 운동의 효과성을 확인 가능하도록 직관적 표현을 컨셉으로 설정하였다. 먼저, 공통 및 사용자 정보 페이지는 기본적인 회원 가입 정보와 인바디 등의 신체정보 측정을 통한 기초자료를 수집한다. 신체정보는 시기별로 측정 정보를 식별할 수 있게 하여 운동의 효과성 분석에 사용한다.

Table 1. Page of Common and User Information

2. Exercise Management Page

재활 운동 관리를 위한 페이지는 개인에 맞는 운동 프로그램을 제시하고 신체 부위와 효과를 기준으로 사용자에게 해당 운동을 제시하는 페이지와 선택된 운동 프로그램에 대한 수행상태를 리스트 업으로 제시하는 페이지로 구성된다. 또한, 사용자의 동기 부여를 위해 달성 목표대비 성취도와 잔여 목표량을 표시한다. 활동 분석에 따른 추가적인 운동 프로그램이나 추천 프로그램도 제시한다.

Table 2. Page of Exercise Management

3. Coaching and Scheduler Page

사용자의 운동 자세에 대한 동작 정확도를 분석하여 사용자에게 제공하는 페이지로서 WebRTC를 통한 실시간 동작 상태를 점검하고 각 동작을 분할하여 비교 결과를 제공한다. 또한, 기간별 단위 운동 스케줄이나 일별 시간 단위, 신체 부위별 스케줄을 제시하는 페이지로 구성된다.

Table 3. Page of Coaching and Scheduler

IV. Implementation

1. Environment of Development

모바일 앱은 안드로이드 환경에서 동작 하도록 개발하였다. 다양한 플랫폼을 위한 범용성은 향후 실제 상용화 단계에서 확장할 계획이다. 개발 환경은 Table 4와 같으며, 구글에서 지원하는 Android용 통합 개발 환경인 Android Studio를 사용하였다. 앱에서 생성되는 데이터를 저장하기 위한 데이터베이스는 MariaDB를 사용하며, SQL 쿼리문을 생성하기 위하여 앱으로 부터 JSON 형태로 서버에 데이터를 보내고 PHP를 통한 파싱으로 데이터베이스에 저장한다.

Table 4. Environment of App Development

2. Implementation of the App page

현재는 안드로이드 전용 앱으로 동작하지만, 전체적인 페이지들은 반응형 페이지로 설계되었으며, 차후에 각종 웹 브라우즈에서 동작할 수 있게 고려하였다. Fig. 6의 왼쪽은 모바일 앱의 시작 페이지이며, 앱이 동작하면 이 화면에서 3초 로고를 보여준다. 이는 내부 버전 및 접속 동기화를 위한 준비 시간 확보 차원에서 고려되었다. Fig. 6의 오른쪽 페이지는 초기 접근 권한에 대한 확인 작업을 위한 페이지이다. 앱의 동작에 필요한 기기 및 네트워크의 필수 접근 권한과 카메라 및 미디어 등의 선택 접근 권한으로 구분되어 있다. 해당 접근 권한은 앱이 동작되고 휴대폰 설정 메뉴에서 변경 가능하다.

Fig. 6. The initial page and check of access rights

Fig. 7의 왼쪽은 앱의 회원가입 페이지를 보이고 있다. 본 모바일 앱에서는 과다한 개인정보 수집을 방지하기 위하여 기존 SNS에서 사용하는 로그인 정보를 이용하여 회원가입 절차를 진행한다. 네이버, 구글, 카카오 계정으로 회원가입 절차를 진행하기 위하여 해당 오픈 API 및 SDK를 이용하며, 일반적으로 App Key를 발급받아 앱 프로젝트에 등록하고 지원하는 SDK를 추가한다.

Fig. 7. Login and User Information page

로그인 이후의 사용자 화면에서는 ID와 메일, 가입 및 최근 접속 시간을 알려주며, 접속한 전체 횟수도 카운팅된다. 현재 구현된 페이지는 운동 정보와 신체 정보, 체성분 분석 및 설정 페이지이며 지속적으로 확장해 나갈 예정이다.

Fig. 8은 운동을 통한 신체적 변화와 효과성을 확인하기 위하여 인바디 측정 현황을 보이고 있는 페이지이다. 1 영역은 최근에 측정한 시점을 보이고 있으며, Trend 메뉴를 통해 보다 상세한 신체 측정 정보를 확인 할 수 있다. 2 영역은 측정된 시점에서의 측정항목별 측정값을 보이고 있다. 붉은 색은 정상범위를 벗어난 경우이고 검정색은 정상 범위 내, 파란색은 정상범위에 근접한 측정값을 의미한다. 3 영역의 측정 리스트에서 선택된 시점에 따라 2의 측정값은 변경되게 된다. 4 영역의 종 모양은 현재 선택된 리스트 항목을 의미하며 상단의 2 영역에 2022년 9월 26일 측정정보가 보이고 있음을 알 수 있다. 현재는 대학 내 체력 인증센터와 대구 소재 K병원에서 측정된 값만을 대상으로 한다. 측정된 값은 식별 아이디와 함께 지정된 데이터베이스에 저장될 수 있는 웹 페이지를 마련하고 있고 모바일 앱에서 확인 가능하다. 5 영역은 과거 이력을 확장해서 보고자 할 때 사용하는 버튼이며 6 영역은 각 페이지의 공통 Bottom 메뉴로서 사용자의 접근 편리성을 위하여 중요 메뉴를 직관적으로 표시하고 있다.

Fig. 8. In-Body Measurement Information page

Fig. 9는 사용자의 운동 정보를 확인 할 수 있는 페이지이다. 1 영역은 등록 이후의 총 누적 운동시간과 운동 능력을 보이고 있다. 운동 능력은 재활 프로그램과 운동 결과에 따라, 정상 능력을 기준으로 성취된 상대적 비율을 의미한다. 2 영역에서는 요일별 운동 기록에 따른 유산소 및 근력 운동에 대한 시간을 분 단위로 표시한 것이다. 3영역은 운동 기록에 대해 신체의 각 부위별 운동 횟수를 방사형으로 표시한 것이며, 이를 통하여 신체 부위별 균형감 있는 운동을 할 수 있게 돕는다. 4 영역은 사용하는 운동 기구별 운동 횟수를 기록한 부분이며, 재활 운동을 위한 초기에는 맨몸 운동이 많고 상태의 호전도나 운동 능력에 상승에 따라 기구의 사용성이 빈번해 진다. 제공되는 엣지 디바이스를 통해 운동을 시작하고자 할 때는 5 영역의 버턴을 클릭하면 Fig. 10의 페이지로 이동한다.

Fig. 9. Exercise Information page

Fig. 10은 운동을 측정하고 기록하는 페이지이며 1 영역은 운동 종료 후 Fig. 9의 운동 정보 페이지로 되돌아가는 버턴이다. 2 영역에는 엣지 디바이스의 카메라 표시 영역으로 왼쪽은 사용자의 운동 화면이고 오른쪽은 4 영역에서 제시된 운동 프로그램의 동작을 보여주는 스켈레톤 이미지이다. 3 영역은 사용자 동작의 18개 관절 Keypoint와 표준적 Keypoint 간의 각도와 거리등을 비교하여 85% 이상 일치하면 “EXCELLENT”, 84~60% 이면 “GOOD” 으로 표시하고 60% 미만이면 “BED”로 표시하고 운동 횟수에서 제외한다. 엣지 디바이스나 카메라가 없는 경우에는 사용자 화면은 표시되지 않고 운동에 따른 동작 표준 시간이 경과하면 운동 횟수가 카운터 된다. 5 영역은 “GOOD” 이상의 동작 시에 자동으로 목표값 까지 카운터 된다. 신체적 상황으로 잠시 쉬고자 할 때는 중지 버턴을, 계속 진행하고자 할 때 실행 버턴을 클릭할 수 있다. 신체 능력과 재활 정도에 따라 관리자(치료사)가 차등적으로 동작 표준 시간을 설정할 수 있고 횟수도 조정할 수 있다.

Fig. 10. Exercise Measurement page

Fig. 11은 사용자의 운동 및 재활 훈련에 따른 체성분 정보를 보이는 페이지이다. 1 영역은 초기 체중과 현재 체중, 목표 체중을 보이는 영역이다. 2 영역은 인바디 측정시점별로 체중의 증감 현황을 보이고 있고 3 영역은 목표 대비 현재 체중의 감량 정도와 잔여 목표 값을 보이며 사용자의 상황에 따라 목표 값을 변경할 수 있게 하였다. 4 영역은 골격근량의 변화를 보이고 있으며 5 영역은 체지방량을 변화를 보이고 있다. 이를 통하여 운동 및 재활의 효과성을 확인할 수 있게 된다.

Fig. 11. Body Composition Information page

V. Conclusions

본 논문은 이전 연구에서 구현한 엣지 디바이스를 이용하여 개인 맞춤형 재활 운동 코칭 및 관리 서비스를 위한 모바일 앱을 제안하였다. 비대면 상황과 건강 상태가 취약한 환자들이 집체적인 재활 병원 및 센터에 내원하지 않고 재택이나 원격지에서 재활 운동을 실시하고 이를 모니터링 하는 관리 체계의 필요성이 높이 대두되고 있다. 또한, 재활 운동의 특성상 올바른 운동 자세가 무엇보다 중요하므로 사용자의 입력 정보에 의존하는 기존 관리 방식으로는 재활 운동 관리가 적절하지 않은 것이 현실이다. 이러한 문제점을 극복하기 위하여 본 논문에서는 엣지 디바이스에서 얻은 사용자의 운동 자세 정보를 표준 동작과 비교하여 일치도를 측정하고 올바른 운동 자세를 위한 가이드 역할을 하는 앱을 개발하였다. 구현된 모바일 앱은 운동 측정 외에도 신체 정보의 변화를 사용자가 인식할 수 있도록 페이지를 구성하였으며 건강 상태와 재활 운동에 따른 운동 능력을 평가하여 사용자에게 제공한다. 또한, 앱을 통하여 신체 부위별 운동 기록을 제공하여 균형감 있는 운동 활동이 될 수 있게 하였다. 향후, 다양한 신체 바이오 정보를 측정할 수 있는 센서를 엣지 디바이스에 추가하여 표준화된 재활 셋탑박스 모듈을 통하여 과학적이고 체계적인 개인 맞춤형 재활 운동 시스템 연구를 지속할 계획이다.