A Study on Sensor-Based Upper Full-Body Motion Tracking on HoloLens

Abstract

In this paper, we propose a method for the motion recognition method required in the industrial field in mixed reality. In industrial sites, movements (grasping, lifting, and carrying) are required throughout the upper full-body, from trunk movements to arm movements. In this paper, we use a method composed of sensors and wearable devices that are not vision-based such as Kinect without using heavy motion capture equipment. We used two IMU sensors for the trunk and shoulder movement, and used Myo arm band for the arm movements. Real-time data coming from a total of 4 are fused to enable motion recognition for the entire upper body area. As an experimental method, a sensor was attached to the actual clothes, and objects were manipulated through synchronization. As a result, the method using the synchronization method has no errors in large and small operations. Finally, through the performance evaluation, the average result was 50 frames for single-handed operation on the HoloLens and 60 frames for both-handed operation.

본 논문에서는 혼합현실에서 산업 현장에서 필요한 동작 인식 방법에 대한 방법을 제안한다. 산업 현장에서는 몸통 움직임부터 팔 동작에 이르기까지 상체 전역의 동작(잡고, 들어올리고, 나르는 작업)이 필요하다. 본 논문에서는 무거운 모션 캡처 장비를 사용하지 않으면서 키넥트와 같은 비전 기반이 아닌 센서와 웨어러블 디바이스로 구성된 방법을 사용하고 있다. 몸통 동작과 어깨 동작은 2개의 IMU 센서를 사용하고 있으며, 팔 동작은 마이오 암 밴드를 사용하였다. 총 4개로부터 들어오는 실시간 데이터를 퓨전하여 상체 전 영역에 대한 모션 인식이 가능하도록 하였다. 실험 방법으로서는 실제 옷에 센서를 부착하였고 동기화 작업을 통해 물체 조작을 하였다. 그 결과 동기화 방법을 사용한 방식은 큰 동작과 작은 동작에 있어서 오류가 없었다. 마지막으로 성능 평가를 통해 홀로렌즈 상에서 한손 조작일 경우 평균적으로 50 프레임, 양 손 조작일 경우 60 프레임을 보이는 결과를 나타 내였다.

I. Introduction

가상현실(VR:Virtual Reality)과 함께 혼합 현실 (MR:Mixed Reality) 기술이 발전하면서 다양한 제품과 연구가 진행되고 있다[1]. 증강현실(AR:Augumented Reality) 기반의 스마트 글라스는 현재 많이 제품으로 나오고 있고 다양한 연구가 진행되고 있지만 본 논문에서는 디바이스의 지원하는 기능과 성능 차이에 따라 VR과 MR 로만 비교하도록 하겠다. 대부분의 VR 디바이스들은 유선 형태로 컴퓨터와 연결을 하고 있다. 모든 시각적 콘텐츠를 3D 객체로 구성해야만 하기 때문에 고성능의 독립적 PC 와 유선으로 연결해야 한다. PC에서 3D 객체의 렌더링 결과를 VR 디바이스로 보내주어야 하기 때문이다. 대부분 VR 디바이스는 양손에 쥘 수 있는 VR 컨트롤러 인터페이스를 제공하고 있다. 사용자는 컨트롤러를 이용하여 다양한 콘텐츠를 활용할 수 있다. 이러한 VR 디바이스에서 제공해주는 컨트롤러는 게임과 같은 엔터테인먼트 분야에 최적화 되어 활용될 수 있다. 빠른 렌더링 결과의 시각화지원, 양손 컨트롤러를 활용한 직관적 제어 방식에 기반한 VR 디바이스를 활용하기에 많은 어려움이 있다. 특히, 유선이기 때문에 작업에 공간적 제약 사항이 매우 커서 현실적으로 적용하기에는 불가능하다. 또한, 현장에서 일어나는 들고, 나르고, 설치하는 등에 대한 전반적인 작업 활동을 구현하기에는 지금까지 나온 VR 디바이스로는 힘들다고 볼 수 있다. MR 디바이스는 VR 디바이스와는 달리 산업 현장에 적용하기 위한 최고의 방법이다. 현장의 작업환경을 그대로 카메라로 인식하여 현실을 증강시켜 혼합한 현실을 보여준다. 그러나 현재까지 출시된 MR 디바이스는 상대적으로 VR 디바이스보다 많지 않으며 인터랙션 방법도 제한적이다. 유선 기반이지만 이중 몇 개의 MR 디바이스가 무선으로 활용할 수 있다. MR디바이스의 인터랙션 방법은 대부분 Point and Click 기반의 커맨드를 수행한다. 손가락 기반의 움직임 인식 및 포인터를 활용하여 다양한 입력에 따른 시각적 결과를 볼 수 있다.

실제 산업 현장에는 많은 인터랙션이 필요하다. 물건을 나르기 위해서는 물체를 잡고(Grasping), 들고(Lifting), 이동(Carrying)하는 동작이 필요하다. 이러한 동작은 팔 동작에만 국한 된 것이 아니라 몸통까지의 움직임을 고려한 상체 전역 모션 인식 방법이 필요하다. 현재까지 나와 있는 기술로서는 모션 캡처 장비를 사용하던가 아니면 키넥트(Kine ct)와 같은 고정된 카메라를 설치 한 후에 모션 동작을 인식하는 것이 일반적인 방법이다. 모션 캡처 장비를 사용하는 방법은 고가의 장비이며 실제 산업 현장에서 사용하기에는 착용성이 용이하지 않다. 키넥트를 이용한 방법은 고정된 카메라의 위치 때문에 이동하면서 동적으로 발생하는 모션 동작을 인식할 수 없다. 따라서, 산업 현장에서의 동적인 작업을 수행하기에는 현실적으로 어렵고 개별적인 방법이 연구 되어야 한다.

산업 현장에서 필요한 상체 동작은 큰 동작과 작은 동작이 함께 이루어져야 한다. 큰 동작은 몸통 뒤 틀기부터 어깨 회전 등에 이르기까지이며, 어깨 이하 팔 동작은 작은 동작으로 이루어 질 수 있다. 이러한 복잡한 동작 인식 방법은 다양한 방법이 있으나 위에서 언급한 바와 같이 이동할 수 있어야 하며 복잡한 착용이 아닌 간편하게 사용할 수 있어야 한다. 본 연구에서는 이러한 문제를 해결하기 위해 커다란 동작 인식을 위해 관성 측정 장치 (IMU:Inertial Measurement Unit) 센서를 사용하였고, 팔 동작 인식을 위해 마이오(Myo) 웨어러블 암 밴드를 사용하였다. 실시간으로 들어오는 2개의 관성 측정 장치 센서와 2개의 마이오 밴드의 데이터 퓨전을 통해 상체 전체 동작에 대한 인식을 가능하게 하였고 이를 기반으로 홀로렌즈 환경에서 물체 조작을 할 수 있도록 하였다.

본 논문은 다음과 같이 구성하였다. 2장 관련 연구에서는 홀로렌즈를 통해 다양한 모션 인식을 통한 인터랙션에 대한 연구 사례를 서술하였다. 3장에서는 관성 측정 장치 센서와 마이오 암 밴드를 사용하여 인터랙션 하는 가술에대해 소개하였다. 4장에서는 실험 5장에서는 본 연구에 대한 애로 사항 및 향후 연구에 대해 기술하였다.

II. Related Works

미국의 마이크로소프트사의 홀로렌즈가 출시되면서 MR 시장은 매우 급속도록 발전하고 있으며 관련된 연구가 다양한 분야에서 진행되고 있다. 이 가운데에 가장 많은 연구가 진행되고 있는 분야는 사용자 인터랙션 부분이라고 할 수 있다. [표1]은 현재 VR·MR HMD들 간의 비교 분석한 표이다. 가상현실 속에서의 다양한 인터랙션을 지원하기 위해 하드웨어적으로 개별적인 컨트롤러를 사용한다든가 아니면 제스처 방식의 모션 인식 방법을 사용하고는 있지만 매우 제한적이라 할 수 있다. [표1]에서도 볼 수 있듯이 홀로렌즈만이 유일하게 제스처 기반의 인터랙션을 제공해 주고 있다.

Table 1. Comparison of user interaction between VR and MR devices.

산업 현장에서 실제 홀로렌즈를 사용하기 위해서는 물체를 잡고, 들어올리고, 옮기는 등의 상체 전 영역에 대한모션 인식 과정이 필요하다. 대 부분 립 모션[4] 디바이스를 활용한 손동작 트래킹 연구는 많이 진행되고 있으나 몸통 전체에 대한 트래킹 연구는 모션 캡처 장비 아니면 쉽게 해결할 수 없다.

또한, 홀로렌즈를 착용하고 모션 인식을 위한 방법으로키넥트를 활용한 사례가 많이 있다. [그림1] (a)는 존 홉킨스대학에서는 병원과 공동연구를 진행하여 자세 교정하는 연구에 있어 홀로렌즈위에 키넥트를 부착하여 상체 모션 트래킹을 활용하고 있다. [8] (b)는 버클리 대학에서 키넥트를 활용하여 양 손에 대한 트래킹 작업을 수행하고 있는 모습을 보이고 있다. [2] 두 가지 경우 모두 키넥트를 활용하여 상체모션 트래킹을 사용하고 있지만 고정된 키넥트 앞에서만 활용할 수 있고, 제한적인 동작 인식으로 인해 커다란 동작은 판단하기 어렵다. 그리고, 무거운 헤드 셋 등을 고려 해 볼 때 산업현장에 적용하는 데에 어려움이 있다.

Fig. 1. (a) attaching Kinect on the HoloLens (b) Recognition of both hand motions on the HoloLens

또 다른 연구로서는 여러 가지 센서를 활용하여 모션 트래킹을 시도하고 있다. [그림 2]의 (a)와 (b)는 홀로 렌즈를 착용하고 관성 측정 장치 센서를 활용하여 손가락 터치 기반의 트래킹을 연구한 사례로서 GyroWand라는 디바이스를 개발하여 혼합현실에 적용하였다[9]. 이러한 방법은 혼합현실에서 자연스러운 제스처 기반의 모션 트래킹을 하지 않고 실시간으로 인식하는 방법을 사용하고 있다. 관성 측정 장치 센서를 홀로렌즈에 적용한 좋은 예라고 할 수 있다. (C)는 Thalmic Lab에서 개발한 웨어러블 암 밴드이다 [14]. EMG 근육 인식 센서, 블루투스, 3축 가속도, 3축 자이로스코프, 3축 자력계 등의 센서를 포함하고 있어서 손의 동작 인식이 가능하다. 홀로렌즈를 사용한 환경에서 마이오 암 밴드를 착용하여 다양한 응용 애플리케이션을 개발 할 수 있다. 그러나 한쪽 팔 만을 인식한다는 제한 조건이 있어 양 팔을 사용할 경우 다른 알고리즘이 필요하다.

Fig. 2. (a), (b) GyroWand Ring Sensor using IMU (c) Myo wearable arm band on the HoloLens

이 밖에 멀티 키넥트를 이용한 동작인식 방법 [5], 뷰포리아 모듈을 사용한 이미지 처리 방식[12]의 동작 인식 방법 등이 연구되었다. 그러나 본 논문에서 제안하는 산업 현장에서 사용될 수 있는 혼합현실 기반의 상체 전 동작에 대한 트래킹 방법은 제시되고 있지 않다. 특히, 센서 기반의 데이터 퓨전 방식을 통한 동작 인식 방법은 아직 제안되고 있지 않다.

III. System

1. Myo & IMU Sensor Configuration

본 논문에서는 혼합현실에서 상세한 상체 동작의 인식을 위해 웨어러블 인터페이스 및 센서를 사용하였다. 마이오는 자체 디바이스에 내장된 센서로부터 팔의 근육의 이완 정도를 데이터로 추출하여 움직임을 표현할 수 있다. 관성 측정 장치 센서는 관성을 측정하여 최종적으로 물체가 기울어진 각도를 구해낸다. 본 논문에서는 혼합 현실에서 자연스러운 제스처 기반의 물체 조작을 위해 마이오와관성 측정 장치 센서를 혼합하여 동작 인식을 할 수 있는 플랫폼을 개발하였다.

실제 인터페이스 디바이스를 통해 가상 환경의 물체를 조작하기 위한 중요한 방법은 상대 좌표 기반의 객체들을 계층적으로 구성하여 한다. 그 결과 손의 움직임에 따라 가상 객체도 트래킹 되어 따라서 움직일 수 있다.

Fig. 3. System Diagram

[그림 3]는 전체 시스템구성을 보여주고 있다. 우선 사용자는 두 개의 마이오 암 밴드와 두 개의 관성 측정 장치 센서를 일반 옷에 착용하여 실험하였다. 마이오는 신체 하완 부위에 부착하여 팔꿈치의 회전 값을 트래킹 할 수 있도록 하였으며 두개의 관성 측정 장치 센서는 신체 상완부 위에 부착하여 어깨의 회전 값을 트래킹 할 수 있도록 구성하였다. 관성 측정 장치 센서로부터 들어오는 데이터는 커다란 동작 인식하는 데에 사용하고 있고, 마이오로부터 입력되는 데이터는 상세한 동작 인식을 위한 것이다. 이 두 디바이스로부터 실시간 입력되는 데이터를 퓨전 함으로서 상체 동작을 정의할 수 있다.

Fig. 4. Kinds of motion based on fusion method using IMU sensors and Myo arm band

우선 2개의 관성 측정 장치 센서로부터 입력되는 데이터는 앞 팔, 팔뚝, 어깨 등의 동작 인식을 위한 것이고, 2 개의 마이오 암 밴드는 앞 팔의 근육 수축 정도, 손의 쥐고 펴는 동작, 손목의 움직임, 팔의 회전 정보를 실시간 획득할 수 있다. 물론 마이오는 왼손과 오른손이라는 구분이 없기 때문에 실시간 입력되는 데이터를 구분해야 한다. 본연구에서는 새로운 프로토콜을 설계하여 마이오 암 밴드의 왼손과 오른손을 구분하게 하였다. [그림 4]는 관성 측정 장치 센서와 마이오 암 밴드를 사용했을 경우 동작 인식을 위한 운동 정의를 그림으로 나타낸 것이다.

2. Consistency of object manipulation using both hands

마이오를 착용하여 한 손을 사용할 경우에는 물체를 손의 자식 노드로 두어서 물체를 이동시키고 회전한다. 하지만, 양 손을 사용할 경우에는 물체의 회전축이 두 손의 움직임에 따라 바뀌게 되어 일관된 물체의 움직임을 보장 할 수 없다. 본 논문에서는 양 손을 사용한 물체 조작의 일치성 확보를 위해 아래와 같은 단계 별 처리를 위한 알고리즘을 적용하였다.

Table 2. Processing steps for object manipulation using both hands

⦁ Algorithm : 두 손의 위치 값을 통해 임의의 축을 설정하고 해당 축을 통해 가상 물체를 이동, 회전한다.

⦁ Input : List VirtualHandList

⦁VirtualHandList의 0번째 원소의 위치정보를 \(\vec{A}\)정의한다.

⦁ VitualHandList의 1번째 원소의 위치정보를 \(\vec{B}\)정의한다.

⦁ 가상의 축의 새로운 위치를 \(\vec{Position}\)로 정의한다.

⦁ 가상의 축의 새로운 방향을 \(\vec{Direction}\)으로 정의한다.

\(\begin{aligned} &\overrightarrow{A B}=\vec{B}-\vec{A} \\ &\overrightarrow{\vec{A}}=\{x, y, z\}, \vec{B}=\left\{x, y, y^{\prime}\right\} \\ &=\{x-x, y-y, z-z\} \\ &\overrightarrow{\text { Position }}=\frac{\vec{A}+\vec{B}}{2} \\ &\vec{A}=x, y, z, \vec{B}=x^{\prime}, y^{\prime}, z^{\prime} \\ &\quad \text { Direction }=\vec{n}(\text { 단 },|n|=1) \\ &\vec{n}=\frac{\overrightarrow{A B}}{|A B|} \\ &\quad=\frac{x-x^{\prime}, y-y^{\prime}, z-z^{\prime}}{\sqrt{(x+y+z)^{2}}} \end{aligned}\)

두 개의 손의 객체를 인자로 받아온 후, 하나의 손에서 다른 손으로 향하는 방향 벡터를 합성한다. 그 다음 두 손의 중점(근사치임)에 피벗을 위치시키고 이전 줄에서 합성한 방향 벡터를 앞 벡터로 설정한다.

[그림 5]은 손이 가상의 객체에 닿았을 때 처리되는 과정을 보여주고 있다. 손의 위치를 지속적으로 갱신하고 피벗은 손의 개수와 위치에 따라 적절하게 위치하며, Virtual Object는 피벗의 하위 객체로 설정하였다. 보통은 3개의 객체 (Pivot, Virtual Object, Hands)는 독립적으로 존재한다. 손이 물체에 닿았을 때 손의 멤버 변수에 물체에 붙어있는 Controller.cs를 할당하고 해당 스크립트로 손의 위치를 리스트 형식으로 보내준다.

Fig. 5. shows the order of calling the function when the hand touches the object.

Controller.cs에서는 Pivot으로 다시 손의 위치를 리스트 형식으로 보내고 Pivot에서 Transform 형식을 반환 받는다. 이 반환받은 Pivot을 물체의 상위 객체로 설정한다.

[그림 6] 은 양손이 물체를 잡았을 때 (Grasp) 처리되는 과정 및 함수 기능에 대해 설명한 것이다. 첫 번째 단계에서는 움직이는 손의 위치 정보를 서버로 전달한다. 두 번째로 손의 위치를 리스트에 저장하고 세 번째 단계에서는 피벗의 위치를 계산한 다음 Transform 값을 반환한다. 마지막 단계에서는 Virtual Object의 부모 객체를 Pivot 으로 설정한다.

Fig. 6. shows the order of calling of the function when holding an object with both hands

마이오만으로는 상체의 동작 뿐 만 아니라 팔이 전체적인 트래킹에 문제가 있다. 마이오는 팔꿈치 아래 부분만을 인식할 수 있다. 그리고 간헐적으로 빈번히 일어나는 가속도 센서의 값이 정확하지 않아서 보정 작업이 필요하다. 본연구에서는 이러한 문제를 해결하기 위해 관성 측정 장치를 사용하여 해결하려고 한다. 관성 측정 장치 센서는 양쪽 어깨 부분에 부착하여 해결하였다. 마이오 같은 경우 Thalmic Lab에서 많은 SDK와 애플리케이션을 제공해 주고 있다. 관성 측정 장치 센서는 E2 BOX에서 제작한 EB MotionV4를 사용하였고 COM 포트를 사용하여 데이터를 전송 받았다. 이때 주의할 점은 마이오 디바이스와 충돌이 일어나지 않도록 해야 한다. EB Motion은 최대 100개의 센서 값을 수신 받을 수 있고 유니티 엔진 내부에서 사용하기 위해서는 쿼터니언 값으로 받아와야 사용해야 한다. 이때 스레드를 사용하여 1초에 60번 정도 받아오면 충돌을 회피할 수 있으면서 자연스럽게 센서 값을 활용할 수 있다.

IV. Experiments

본 논문에서는 우선 첫 번째 실험으로서 마이오 2개와 관성 측정 장치 센서 2개를 옷에 부착하여 가상의 세계에서 상체 움직임에 대한 트래킹이 제대로 움직이는가에 대해 실험하였다. 두 번째로는 홀로렌즈를 착용한 후 상체 움직임 기반에서 객체 조작(이동 및 회전)이 원활하게 이루어지는 것에 대해 실험 하였다. 마지막 실험으로 한 손을 사용했을 때의 성능과 양 손을 사용했을 경우에 대해 성능 평가를 실험하였다. 테이블 2는 실험에 사용된 장비들에 대한 리스트를 보여주고 있다.

Table 3. System Environment

[그림 7]의 왼쪽 그림은 실제 옷에다 어깨 부위에 2개의 관성 측정 장치 센서를 부착하고 2개의 마이오 밴드를 착용한 모습을 보여주고 있다. 오른쪽 그림은 유니티 엔진에서 3D 아바타가 모션 트래킹에 대해 실시간으로 움직이는 모습을 보여주고 있다.

Fig. 7. (a) Attached two Myo arm bands and two IMU sensors, (b) 3D avatar move in real time for motion tracking in Unity Tool

첫 번째 실험은 홀로렌즈의 위치에 따라 동작 트래킹이 잘 되는가를 실험하였다. 상체 움직임에 대한 트래킹을 하기 위해서는 몸통의 회전 축, 두 개의 어깨 회전축이 있어야지만 상체 움직임을 정확하게 트래킹 할 수 있다. 첫 번째 실험은 홀로렌즈의 위치에 따라 몸통의 위치 정보를 설정한 모션 트래킹 방법이다. 이러한 방법은 전방을 향해 바라보고 작업하는 것은 가능하나, 몸통을 뒤 틀게 되면 왼쪽 팔과 오른쪽 팔이 기준 축의 정보가 틀어져서 서로 평행하게 되는 심각한 오류를 발생한다. [그림 9]은 이러한 방법으로 실험한 결과를 보이고 있다.

Fig. 8. General motion tracking method

Fig. 9. Motion tracking method using synchronization

두 번째 실험은 양쪽 두 팔을 기준 원점(0, 0, 0)으로 두고 동기화 하는 방법을 사용하였다. 동기화란 앞으로 손을 뻗는 동작을 의미한다. 동기화 동작을 마치고 어깨를 펴게 되면 그 만큼 어깨의 회전 수치에 영향을 받아 앞쪽 팔꿈치의 위치가 변화하게 되기 때문에 성립되는 방법이다. 영점을 기준으로 회전하기 때문에 실험1에서 발생되는 양쪽 팔이 평행이 되는 문제가 발생하지 않았다. 마지막 실험으로 2개의 관성 측정 장치 센서와 1개의 마이오를 사용한 인터랙션(한쪽 손만 사용)의 성능과 2개의 마이오를 사용한 인터랙션(양 쪽 손을 사용한 경우)에 대한 성능(fps)을 측정하였다.

Fig. 10. Working process between client and server

[그림 10]은 그 결과를 보이고 있다. 두 방법 모두 홀로렌즈를 착용한 상태에서 진행하였다. 한 손만을 사용한 인터랙션은 평균적으로 60 프레임을 나타냈고 양 손을 사용한 경우는 50 프레임을 나타냈다. 실시간 적으로 하나의 물체 조작에 대해 양 손의 동기화 계산이 방영된 결과라 할 수 있다. [그림 11]는 실제 혼합현실 환경에서 양손을 사용한 물체 조작을 보이고 있다.

Fig. 11. Real object manipulation result screen with HoloLens

V. Conclusion

두 논문에서는 혼합현실 환경에서 웨어러블 디바이스 인마 이오와 관성 측정 장치 센서를 활용하여 상체 움직임에 대한 트래킹을 연구하였다. 마이오의 팔 움직임에 대한 트래킹이 정확하지 않아서, 주먹을 쥐고 있지 않아도 쥐고 있다고 판정해 버리는 문제 때문에 자유롭게 팔을 움직이다가 가상 물체와 손이 닿으면 가상 물체가 따라오는 현상이 발생했다. 비슷한 경우로서 물체를 들고 옮기다가 놓아야 할 장소에 손을 놓고 이동을 했는데 계속해서 물체가 따라오는 경우도 발생했다. 이런 경우를 제외하고 제대로 트래킹이 되었을 경우 가상 물체를 한 손으로 잡거나 양손으로 잡고 물체를 옮기고 돌리는 행위 자체에는 큰 문제점이 발생하지 않았다.

다음으로 고려할 점은 마이오와 관성 측정 장치 센서를 이용해서 손의 위치를 정확하게 트래킹 하는 것이다. 관성측정 장치 센서 2개를 어때 상단 부위에 부착한 다음 정확히 정면을 보고 테스트 하면 문제가 없었지만 몸의 방향과 바라보는 방향이 달라지면 손의 위치가 크게 벗어났다. 이러한 오류를 해결하기 위해 가상 어깨의 위치를 실제 몸처럼 떨어 뜨려놓지 않고 목 아래 한 지점까지 부착해가면서 실험을 했지만 조금씩 손의 트래킹이 이루어지지 않았다. 트리거의 크기를 조절할 경우 물체를 잡는 것에 대한 판정이 조금 크기를 키운 충돌 감지 영역이 커져서 쉽게 가상물체를 잡을 수 있었지만 못 잡는다고 생각한 곳에 잡히는 문제가 발생하였다.

본 연구를 통해 첫 번째 손동작 판정의 불 정확함과 두 번째로 손 위치 트래킹이 부 정확한 점을 발견하였다. 향후 연구로서 첫 번째 문제점은 머신러닝을 적용하여 해결할 수 있는데 마이오 같은 경우 근저도 정보와 손동작 정보를 XML로 출력하고 실제 손동작과 다르게 판정된 부분을 수정하여 머신러닝에 사용하기 위한 레이블로 만들고, 이 레이블을 이용하여 MLP 알고리즘을 적용하여 손동작 트래킹 부분을 적용할 계획이다. 두 번째 문제점을 해결하기 위한 방법으로서 센서를 가슴 쪽에 한 개 더 부착할 것이다. 다음으로 상체 움직임에 대한 실시간 성능 평가이다. 홀로렌즈에서 평균적으로 50~60 (FPS)이 꾸준하게 반영이 된 것을 확인하였다.