Analysis on sEMG Signals of Contents Using Finger Tapping Device

Finger Tapping 기기를 활용한 콘텐츠의 sEMG 신호 분석

Abstract

In this paper, we would like to support anyone who can rehabilitate conveniently and happily by implementing rehabilitation device and game contents that can improve the motor ability of fingers. So we developed a Finger Tapping Device that can measure finger-regulation ability, accuracy, and agility and implemented tracking, visual response, finger-regulation on game contents by utilizing this device. The verification of usability was confirmed by analyzing sEMG signals during the execution of three types of game contents after attaching sEMG to the flexor digitorum poundus, which is most involved in finger movement. As a result of the experiment, activation of the flexor digitorum poundus was performed during execution of every game contents. Furthermore, we confirmed that there is a difference in agility by measuring the reaction time for each finger according to the visual response.

본 논문은 손가락의 운동능력을 개선시킬 수 있는 재활 기기와 콘텐츠를 구현함으로서 누구나 편리하고 재미있게 재활 훈련을 할 수 있도록 돕고자 한다. 그래서 손가락의 조절 능력, 정밀도, 민첩성을 측정할 수 있는 Finger Tapping Device를 제작하고, 이 기기를 사용할 수 있는 콘텐츠로 트래킹, 시각 반응, 손가락 조절을 구현하였다. 이에 대한 유용성 검증은 손가락 움직임에 가장 많이 관여하는 심지굴근에 sEMG를 부착한 후 3종류의 콘텐츠를 수행하는 동안 sEMG의 신호를 분석하여 확인하였다. 실험 결과로서 모든 콘텐츠 수행하는 동안 심지굴근의 근육 활성화가 이루어졌다. 또한 시각 반응에 따른 각 손가락 별 반응 시간을 측정하여 민첩성의 차이가 있음을 확인할 수 있었다.

Ⅰ. 서론

사람이 물건이나 도구를 집고 잡거나 조작하는 행동들은 손과 손가락의 움직임을 통해 이루어진다. 특히, 일상생활 활동을 영위함에 있어서 가장 기본적인 움직임 중 하나가 바로 물체를 잡는 파악활동(prehensile activity)으로서 이것은 손가락 움직임 조절이 필수적이다^[1]. 최근 들어 컴퓨터, 정보기기, 스마트폰 등과 같이 인간이 사용하는 도구들이 디지털화되면서 기존의 물건을 쥐는 형태의 움직임보다 터치 또는 타이핑 등과 같은 손가락을 많이 사용하는 기기가 증가하고 있다. 이외에도 근로환경, 운전, 운동 등 다양한 분야에서도 손가락 움직임 조절이 중요하다고 할 수 있다.

일반적으로 뇌졸중이나 파킨슨병과 같은 노인성 질환 및 뇌 병변환자들은 불규칙한 근육수축으로 경련, 강직, 마비 등으로 손의 불수의적 움직임으로 인해 집기 및 잡기와 같은 소근육 운동에 제한을 받는다. 작업이나 사고로 인한 손의 손상은 손가락 움직임이 제한적일 수밖에 없다. 예를 들어 일상생활에서의 필기구의 사용, 젓가락질과 같은 행동 시 소근육 운동능력은 필수적이기 때문이다. 또한, 뇌졸중으로 인한 편마비 질환인 경우 매년 살아남은 70만 명의 환자들 중 약 80%가 손의 재활 치료를 필요로 한다^[2].

이외에도 손의 손상은 손과 손목의 외상, 높은 수준의 척수 손상, 다발성 경화증, 외상성 뇌손상, 근위축성 경련, 뇌성마비 등이 있다. 이와 같은 질환들은 손이나 손가락의 운동기능 저하를 동반하기 때문에 일상생활에 어려움을 겪고 있다^[3]. 그러므로 손의 운동 능력을 평가하고 정상 상태를 유지 또는 개선시키기 위한 방법에 대한 연구가 필요하다^[4]. 이에 대한 연구 결과들 중에 인간의 운동계(Human motor system)는 상당한 가소성을 유지하고 있기 때문에 집중적인 재활 운동을 통해 장애를 감소시킬 수 있다고 하였다^[5]. 그리고 노화 또는 질환으로 발병되는 수부의 운동능력 감소는 근력훈련으로 회복이 가능하다는 것을 편마비 환자를 대상으로 진행된 실험에서 의식적인 손가락 움직임을 강화시키는 훈련 시 손가락과 손의 기능이 증진되었다고 하였다^[6].

이와 같은 재활 치료과정은 대부분 병원에서 환자가 방문하여 이루어지기 때문에 시간과 비용 부담이 될 뿐만 아니라 재활치료사와 환자가 일대일로 진행하므로 환자의 능동적인 참여가 부족하여 재활 훈련에 대한 최대 효율을 기대할 수 없다^[7]. 또한, 재활 치료의 효용성이 높은 기구일수록 고가의 장비이고 설치를 위한 공간 확보에 있어서 중요한 문제가 될 수 있다. 그래서 저렴한 비용과 능동적 재활 훈련을 위한 기구를 사용하여 높은 재활 효과를 얻기 위한 연구가 이루어지고 있다. 예로써, 로드셀을 이용한 스마트 악력계를 개발하여 유방암 환자를 대상으로 악력과 반응속도, 지구력 등을 측정하여 재활 운동의 가능성에서 유의한 결과를 보였으며^[8], 파킨슨 환자의 운동능력 장애에 대한 평가와 뇌졸중 환자의 상지 기능 손상의 회복 정도를 평가하였다^[9]. 이와 같은 기기들을 사용하여 기능성 게임 콘텐츠를 수행함으로써 재미있게 재활 훈련을 할 수 있도록 하고 있다^[10].

일반적으로 악력계를 사용한 연구들은 손의 악력 측정과 근력 훈련을 위한 게임 콘텐츠로 이루어져 있다. 이런 연구들은 힘이 매우 약한 중증 손상 환자, 어린이, 노인들은 힘이 부족하기 때문에 악력계를 사용하여 게임 콘텐츠를 진행할 시 손가락 움직임의 한계를 겪을 수 있다. 또한, 대부분의 재활도구들은 각 손가락에 대한 움직임이 아닌 모든 손가락을 사용하여 움켜쥐었을 때의 악력을 측정하거나 훈련을 진행하기 때문에 손가락의 운동 능력 중 각 손가락의 정밀도와 조절능력에 제한이 있다.

본 논문에서는 손의 악력보다 손가락의 조절능력과 움직임에 대한 정밀도와 민첩성 등을 측정하고 재활 훈련하기 위한 Finger Tapping Device를 제작하였다. 이를 사용하여 손가락 운동 능력을 향상시키기 위한 훈련용 게임 콘텐츠 세 가지(트래킹, 시각 반응, 손가락 조절)를 구현하고, 손가락 재활 운동에 도움이 될 수 있는지를 표면 근전도(sEMG: surface electromyography) 신호 변화를 분석하여 검증하고자 하였다.

Ⅱ. 본문

1. 실험 장비

본 논문에서 제작한 Finger Tapping Device(FTD) 는 한국인 인체치수조사에서 20∼30대 성인 남성의 평균적인 손 직선 길이 183.8mm 기준으로 둘레를 적용하고, 검지에서 소지까지의 너비 평균 80.1mm를 고려하여 폭을 정했다[11]. 이와 같이 제작된 Finger Tapping Device는 그림 1과 같으며, 손가락은 최대 15mm까지 누를 수 있다. 개발에 사용된 MCU는 소형 임베디드 제작에 적합한 Cortex M3이고, 여기서 내장된 12bit ADC를 50Hz 샘플링하고 가변저항을 이용하여 0∼ 3,800의 Raw 값이 출력되도록 조절하였다. 또한, 탄성이 약한 스프링을 사용하여 미세한 손가락 움직임에도 측정될 수 있도록 하였다. FTD를 사용하는 데 손가락 움직임이 자유롭고 편리하게 사용되기 위해서, 즉 주변 환경의 방해를 최소화하기 위하여 블루투스 모듈(Firmtech, FB155BC)을 이용한 무선 방식으로 데이터를 전송하였다.

그림 1. Finger Tapping Device 설계

Fig. 1. Design of Finger Tapping Device

2. 실험 방법

실험은 상지 근골격계에 병력이 없는 20대 성인(남자 4, 여자 1) 5명을 정상인 대상으로 실험 목적과 방법을 충분히 설명한 후, 미국 수부치료사 협회(American Society of Hand Therapists)에서 권장하는 앉은 자세에서 어깨 각도 0°, 팔꿈치 각도 90°의 표준 자세로 측정하였다. 손가락 움직임에 관한 게임 콘텐츠를 수행하는 동안의 근육 활성화 여부를 알아보기 위하여 sEMG 전극을 부착하고 신호 변화를 분석하였다^[12].

sEMG 전극 위치는 그림 2와 같이 검지, 중지, 약지, 소지에서 손가락 끝 마디뼈의 굴곡에 가장 많이 관여하는 심지굴근(Flexor Digitorum Profundus)에 부착하였다. 센서는 Laxtha사의 Am530을 사용하였으며, 전극은 미세한 sEMG 변화를 측정하는 데 높은 감도를 가지는 Ag/AgCI(bipolar)으로 하였다.

그림 2. 표면 근전도 전극 부착 위치(심지굴근)

Fig. 2. Attachment of sEMG electrodes with Flexor digitourm profundus

FTD를 사용한 여러 가지 콘텐츠를 수행 시 손가락 움직임에 따른 sEMG 신호는 1KHz ADC 샘플링하고 Serial 통신으로 PC 전송하여 분석할 수 있는 자체 보드를 개발하여 사용하였다. 전송된 모든 sEMG 신호의 Raw 데이터는 양방향 성분으로 정류하고 계산량의 간략화와 시간에 따라 변화하는 근육 사용량을 관찰하기 위하여 Window averaging을 적용하였다^[13]. 이에 대한 각각의 Raw, Rectified, Window averaging한 sEMG 신호 결과는 그림 3에서 보여주고 있다.

그림 3. 표면 근전도 신호 처리 (a) Raw (b) Rectified (c) Window averaging

Fig. 3. Signal processing of sEMG (a) Raw (b) Rectified (c) Window Averaging

3. 손가락 탭핑 훈련 기능성 게임 콘텐츠

손가락 탭핑 훈련용 기능성 게임 콘텐츠는 손가락의 정밀한 움직임을 훈련하기 위한 트래킹 콘텐츠와 시각 반응에 따라 손가락을 얼마나 빨리 움직이는지 알아보는 민첩성 훈련용 시각 반응 콘텐츠, 마지막으로 손가락을 미세한 움직임을 조절 훈련을 위한 손가락 조절 콘텐츠로 구성하였다. 모든 콘텐츠들은 Unity 3D 엔진을 이용하여 제작하였으며, 재활이나 기능 개선 효과에 중요한 요인 중 하나인 자발적인 동기와 반복을 극대화하기 위하여 흥미를 유발시키는 게임적인 요소를 가미한 기능성 게임으로 구성하고자 하였다.

가. 트래킹(Tracking) 콘텐츠

트래킹 콘텐츠는 손가락의 정밀한 움직임을 훈련할 수 있는 콘텐츠로서 그림 4 (a)의 실행 화면에서 보여주듯이 파란색 물고기가 하얀색 점선으로 보여주는 먹이를 따라 손가락 힘을 조절하여 상하로 움직이며 위험 요소를 피하는 내용으로 구성되어져 있다. 주어진 먹이 모양에 따라 최대한 가깝게 움직이면서 먹이를 획득하거나 상어와 같은 위험 요소를 피하기 위해서 손가락을 세밀하게 움직이어야 하는 정밀성이 요구된다. 콘텐츠 수행은 상어와 같은 물고기와 부딪히면 좌측 상단의 수행 횟수를 나타내는 하트가 사라지고, 전체 3회의 기회가 주어진다. 기본적으로 검지, 중지, 약지, 소지 중에서 훈련하고자 하는 손가락을 선택하여 진행할 수 있으며, 훈련의 레벨을 올리고 싶을 경우 복수의 손가락을 선택하여 동시에 훈련할 수 있도록 하였다. 훈련이 끝나면 주어진 먹이의 모양과 얼마나 근접하게 이동하였는지 분석 결과를 그림 4 (a)의 결과 화면과 같이 보여준다.

그림 4. 구현된 게임 콘텐츠 (a)트래킹 (b)시각 반응 (c)손가락 조절 콘텐츠

Fig. 4. Implementation of game contents (a) Tracking (b) Visual reaction (c) Finger-regulation

나. 시각 반응(Visual reaction) 콘텐츠

시각 반응 콘텐츠는 단계마다 주어지는 시간 내에 시각 반응에 따라 각 손가락의 민첩성을 훈련할 수 있는 것으로, 그림 4 (b)의 초록색 신호등일 때 자동차가 주행하고 있다가 임의의 시간에 빨간색 신호등으로 변하는 순간 손가락을 모두 눌러(FTD에서 측정할 수 있는 최대값의 10% 이상일 때) 자동차를 멈출 때까지의 시간을 측정하는 것이다. 만약 주어지는 반응 시간 내에 반응 실패 시 3회의 수행 횟수를 나타내는 하트가 줄어든다. 이 콘텐츠에 대한 결과는 그림 4 (b)와 같이 손가락 별 반응 시간을 보여주고 있다.

다. 손가락 조절(Finger control) 콘텐츠

손가락 조절 콘텐츠는 손가락들의 조절능력을 훈련할 수 있는 콘텐츠로 그림 4(c)의 실행 화면에서 보여주는 것처럼, 제공되는 시간 내에 보물 상자를 열기 위해 주어진 4개의 열쇠 홈 모양에 각 손가락의 움직임을 조절하여 맞추게 되면 상자가 열린다. 열쇠 좌측부터 검지, 중지, 약지, 소지를 나타내며, 열쇠의 모양은 단계마다 손가락 별 편차가 커지도록 임의의 모양으로 주어지고 제공되는 시간이 짧아지게 된다. 모든 손가락이 주어진 모양에서 ±5% 이내에 3초 이상 유지하면 성공이다. 1분 안에 성공하지 못하면 하트가 줄어들며 전체 3번의 기회가 주어진다.

Ⅲ. 실험 결과

위에서 언급한 콘텐츠들을 수행하는 동안 FTD의 Raw 데이터와 sEMG 신호를 동시에 획득하여 근육의 활성도와 각 손가락의 움직임과의 관계를 분석하였다.

1. 트래킹(Tracking) 콘텐츠 실험 결과

트래킹 콘텐츠에서 주어지는 모양에 따라 손가락 움직임이 얼마나 정밀하게 트래킹하는 지를 상관관계로 분석하고, sEMG 신호 변화는 손가락 움직임과 관련한 근육인 심지굴근에서 근 활성도를 확인하였다. 실험은 모든 손가락을 동시 탭핑할 때와 각 손가락 별로 탭핑할 때 콘텐츠에서 주어지는 트래킹 모양을 잘 따라가는지와 sEMG 신호 변화에 대한 결과들을 그림 5에 보여주고 있다.

그림 5. 트래킹 콘텐츠 수행 시 표면 근전도 신호 변화

Fig. 5. sEMG signal changes during performing tracking contents

그림 5 (a)는 손가락을 동시 탭핑할 때와 그림 5 (b)∼ (e)는 손가락 별로 탭핑할 때 콘텐츠에서 주어지는 트래킹 모양(검정 점선)을 잘 따라가는지를 확인(빨강 실선) 할 수 있으며, 이에 대한 상관 계수는 표 1의 결과에서 나타냈듯이 모두 높다. 이것은 본 연구에 참여하는 피험자의 구성이 20대 정상인이므로 정밀하게 손 움직임이 가능한 결과로 보인다. 손가락을 동시 탭핑과 개별적 탭핑에 대한 평균 상관계수와 표준편차를 비교하였을 때, 모든 손가락을 동시에 사용하는 것보다 각 손가락만을 사용하는 것이 전체적으로 높게 나타났다. 이는 동시에 네 손가락을 정밀하게 움직이기 위한 집중력과 정밀함이 더 필요하다는 것을 의미한다

표 1. FTD에 따른 Tracking Shape 및 표면 근전도 신호의 상관계수

Table 1. Correlation coefficient of Tracking Shape and sEMG signal according to FTD

콘텐츠 수행 시 근 활성도는 모든 탭핑 실험에 대하여 심지굴근에서 sEMG 신호 변화가 있는 것을 그림 5의 결과를 통해 확인할 수 있다. 이것은 FTD를 이용한 손가락 탭핑은 손가락 끝마디의 굴곡운동이 잘 이루어지고 있다는 것이다.

특히, 약지와 소지 손가락에 대한 sEMG 신호가 다른 손가락에 비교하여 매우 높은 신호 변화를 그림 5(d)와 (e)와 같이 보여주고 있다. 이는 소지가 다른 손가락의 비해 짧아 손가락 끝 마디뼈가 움직일 때 다른 손가락에 비해 더욱 강한 힘을 가해져서 심지굴근 활성도가 높게 나타난 것으로 보인다.

트래킹을 하는 동안 손가락 움직임에 대한 근육의 활성화가 잘 이루어졌는지에 대한 상관 계수 결과들은 표 1에 나타냈다. 각 손가락 움직임과 심지굴근에서의 근 활성도가 높은 상관계수를 나타냈다. 이런 결과를 바탕으로 Tracking 콘텐츠로 손가락 움직임과 관련한 훈련이 이루어진다면 심지굴근의 활성화가 일어나기 때문에 반복적인 훈련으로 손가락 움직임에 대한 조절능력을 향상시키는 데 도움을 줄 수 있을 것이다.

2. 시각 반응(Visual reaction) 콘텐츠 실험 결과

시각 반응 콘텐츠는 시각 자극이 일어났을 때부터 손가락 반응 시간과 sEMG 반응시간을 측정하여 분석하였다. 그림 6은 피험자들의 sEMG 신호와 FTD로부터 획득한 값들을 평균하여 나타낸 것이다. 그림 6에서 (1)은 시각 자극을 주기 전이며, (2)는 시각 자극 후 근육에서 반응이 일어난 평균 시간이다. 또한 (3)은 시각 자극 후 손가락 별로 반응이 일어나는 평균 시간(FTD에서 측정할 수 있는 최대값의 10% 이상일 때)까지이다. 그림 6에서도 손가락의 움직임에 따라 심지굴근에서 근육의 활성도가 변화하는 것을 볼 수 있다.

그림 6. 시각 자극에 따른 sEMG 반응 시간 및 손가락 반응 시간(1) 시각 자극 전(2) 자극 후 sEMG 평균 반응 시간(3) 자극 후 각 손가락의 평균 반응 시간

Fig. 6. Average response time of sEMG signal and each finger according to visual stimulus (1) Before visual stimulus (2) Average response time of sEMG after visual stimulus (3) Average response time of each finger after visual stimulus

시각 반응 콘텐츠를 통한 시각 반응에 대한 FTD의 각 손가락별 반응 시간은 표 2와 같이 검지의 경우 평균 0.463초이고 중지는 0.470초, 약지는 0.480초, 소지는 0.485초로 나타났다. 피험자들의 평균 반응 시간은 검지, 중지, 약지, 소지 순으로 빠르게 측정되었고, FTD 반응 시간의 최대 차이는 검지와 소지에서 0.022초의 시간 차이가 나타났다. 이는 손가락 별로 민첩성에 대한 측정이 가능하며, 이를 통해 민첩성 훈련이 필요하거나 불편한 손가락을 확인하고 집중적으로 훈련을 할 수 있을 것이다.

표 2. 시각반응 콘텐츠 수행 시 FTD와 표면 근전도 신호에 대한 평균 반응 시간

Table 2. Average response time for FTD and sEMG signals during performing visual reaction contents

sEMG 평균 반응시간은 0.336초로 측정되었다. 전체적으로 시각반응에 따라 비슷한 시간 내에 손가락 움직임이 발생한 것을 알 수 있지만, sEMG 신호가 손가락 움직임보다 좀 더 빠른 반응 시간을 나타났다. 이것은 전기 역학적 지연으로 인한 결과로 판단된다^[14].

3. 손가락 조절(Finger control) 콘텐츠 실험 결과

위에서의 실험 결과들을 바탕으로 제작된 손가락 운동을 위한 콘텐츠로서, 단계별로 정해진 열쇠 모양이 아닌 임의의 열쇠 모양을 맞추는 과제이다. 그래서 수행시간과 근 활성도를 측정하는 것보다 손가락 운동 훈련을 위한 콘텐츠로 제안한다. 이 콘텐츠를 수행할 때 근 활성도도 마찬가지로 높게 나타났다는 것은 결과적으로 콘텐츠 수행이 손가락 운동에 관여한다고 할 수 있다.

Ⅳ. 결론

대부분의 인간은 손의 자유로운 움직임을 잃지 않는 한 불편함에 대하여 인지하지 못한다. 가장 기본적인 생활의 모든 곳에 손의 활동이 들어가고 이러한 손의 정밀한 움직임이 가능한 것은 삶의 질 높여준다. 본 논문에서는 손가락의 조절능력의 중요성을 부각시키고, 손가락 기능 재활 훈련을 위한 FTD와 게임 콘텐츠를 개발하여 sEMG 신호 분석을 통해 재활 훈련 기기로서 타당성을 검증하였다.

첫 번째, 트래킹과 시각 반응 콘텐츠를 수행할 때 심지굴근의 근육 활성도를 분석하였다. 트래킹 콘텐츠에서는 손가락이 정밀하게 움직일 때, 이에 대한 근육 활성도의 증가가 심지굴근에서 뚜렷하게 발생하는 것으로 나타났고, 시각 반응 콘텐츠에서는 시각 자극에 따른 손가락 움직임이 있을 때마다 근육 활성도가 나타났다. 두 번째, 민첩성 실험을 위한 시각 반응 콘텐츠에서는 시각 반응 후 손가락 움직임으로 인한 FTD 데이터가 획득되는 시간과 근육에서의 sEMG 신호가 발생하는 시간을 비교하였다. 여기서 두 측정 시간의 차이가 발생하였는데, 이것은 근육 활성화와 역학적인 힘의 발생에 대한 전기역학적 지연으로 발생한 것으로 보인다. 또한 손가락 별 반응 시간의 차이가 있다는 것은 손가락마다 서로 다른 민첩성을 가지고 있다는 것을 의미한다. 이러한 민첩성 검사는 재활 효과에 대한 개선정도를 정량적으로 측정할 수 있을 것이다.

마지막으로 손가락 조절 콘텐츠는 각 손가락 조절능력을 위한 기능성 게임 콘텐츠로서 정량적인 분석은 이루어지지 않았지만, 피험자들의 심지굴근에 근 활성화가 있기 때문에 손가락 조절 능력이 필요한 재활 훈련에 사용이 가능할 것으로 보인다.

모든 실험 결과는 손가락 움직임이 있을 때마다 심지굴근에서 근 활성도가 나타났다. 그래서 본 연구에서 제작된 FTD(Finger Tapping Device)는 손가락 움직임에 대한 정량적 측정이 가능한 재활 기기로 사용이 가능하고, 콘텐츠는 FTD를 이용한 재활 훈련용으로 사용이 가능할 것이다.

본 논문에서의 시험 방법이 적은 수의 피험자 대상이고, 노화, 성별, 병력의 유무에 따라 세분화 되지 않은 조건으로 진행한 한계점은 있었지만, 재활 환자를 대상으로 손가락 조절 능력, 정밀성, 민첩성의 향상 여부를 비교 실험한다면 정량적으로 손가락 훈련 결과를 평가할 수 있을 것이다.

또한, 뇌는 세포 조직의 많은 부분을 손가락의 감각과 움직이는 운동신경에 관여하고 있다. 따라서 손가락의 민첩성과 손놀림이 향상되면 뇌의 기능 향상으로 이어진다 ^[15]. 그래서 여러 가지 콘텐츠를 제작하여 FTD를 사용한 손가락 운동으로 유아의 뇌 기능 발달과 노인들의 뇌 기능 유지의 대한 연구가 필요할 것으로 보인다.