An Accurate Forward Head Posture Detection using Human Pose and Skeletal Data Learning

Abstract

In this paper, we propose a system that accurately and efficiently determines forward head posture based on network learning by analyzing the user's skeletal posture. Forward head posture syndrome is a condition in which the forward head posture is changed by keeping the neck in a bent forward position for a long time, causing pain in the back, shoulders, and lower back, and it is known that daily posture habits are more effective than surgery or drug treatment. Existing methods use convolutional neural networks using webcams, and these approaches are affected by the brightness, lighting, skin color, etc. of the image, so there is a problem that they are only performed for a specific person. To alleviate this problem, this paper extracts the skeleton from the image and learns the data corresponding to the side rather than the frontal view to find the forward head posture more efficiently and accurately than the previous method. The results show that the accuracy is improved in various experimental scenes compared to the previous method.

본 논문에서는 사용자의 골격 자세를 분석하여 네트워크 학습 기반으로 거북목 자세를 정확하고 효율적으로 판별하는 시스템을 제안한다. 거북목 증후군이란 목이 구부정하게 앞으로 나오는 자세를 오래 유지함으로써 목의 자세가 바뀌고 뒷목, 어깨, 허리 등에 통증이 생기는 증상을 말하며, 수술이나 약물치료보다 평소의 자세 습관이 효과적이라고 알려져 있다. 기존의 방법들은 웹캠을 이용한 합성곱 신경망을 이용하였고, 이러한 접근법은 영상의 명도와 조명, 피부 색 등에 영향을 받기 때문에 특정 인물에 대해서만 수행되는 문제가 있다. 본 논문에서는 이 문제를 완화하고 자 영상으로부터 골격을 추출하고, 정면보다는 측면에 해당하는 데이터를 학습하여 이전 기법보다 효율적이고 정확하게 거북목 자세를 찾아낸다. 결과적으로 이전 기법에 비해 다양한 실험 장면에서 정확도가 되었음을 보여준다.

I. Introduction

현대에 들어서 스마트 기기의 사용량이 증가하면서 거북목 증후군에 걸리는 사람들이 늘어났다[1-2]. 거북목 증후군이란 좋지 않은 자세로 인해 자세가 변형되고 뒷목, 어깨, 허리 등에 통증이 생기는 증상을 말한다. 특히 컴퓨터를 이용할 때 처음에는 똑바로 바라보다가도 시간이 흐를수록 머리를 앞으로 숙여지는 버릇이 생기고 결국에는 자세도 변하게 된다. 거북목 증후군의 원인은 컴퓨터나 모바일 기기를 장시간동안 사용하는 것이 그 원인이다[3,4].

기기를 사용할 때 대부분 눈높이보다 낮은 경우가 많으며 눈높이와 기기의 수평 위치를 맞추다보니 거북이 목과 같은 자세가 된다. 머리가 앞쪽으로 향하는 구부정한 자세가 오래갈 경우 척추 윗부분이 스트레스를 받고, 목 뒷부분의 근육과 인대가 늘어나 심한 고통을 받게 되고, 목뼈의 정상적인 역학이 무너져서 목에 관절염이 가속될 수 있다. 관련 연구에 따르면 움츠리고 소극적인 자세를 취하는 것만으로도 몸에서는 스트레스 호르몬이 분비되고, 생각도 부정적인 방향으로 더 쉽게 흘러가 우울증을 유발할 수도 있다[5,6].

거북목 증후군을 예방하기 좋은 방법은 바른 자세로 유지하는 것이며, 일상생활에서 자세를 바르게 하려고 노력하는 것이 가장 좋은 방법이다. 기존 논문에서는 노트북에 내장된 카메라를 통해 사용자의 자세 영상을 수집하여 학습 모델을 만들었다[7,8]. 하지만 정면에서 카메라를 통해 봤을 때는 영상으로부터 구부러짐을 인지하기 어렵기 때문에 정확한 거북목 구분이 힘들다. 또한 영상을 기반으로 학습하기 때문에 특정 사람의 특징(예 : 피부 색, 나이, 인종 등) 비중이 높을 경우 학습 결과가 제대로 나오지 않을 수 있다. 본 논문에서는 이러한 문제를 완화하기 위해 측면 카메라를 통해 얻은 사용자 영상으로부터 골격을 추출하고, 골격을 이루고 있는 골격 간의 관계를 기반으로 학습 데이터를 구축하며, 이 데이터셋을 통해 인공신경망 모델을 구축한다. 이 모델을 통해 실시간으로 거북목 자세를 판별한 후, 거북목 자세일 경우 사용자에게 경고를 준다.

II. Related Work

거북목 증후군을 진단하는 방법 중 하나는 Fig. 1에서 보듯이 X-ray를 통해 목이 튀어나는 부분의 각도를 이용하는 CVA(CranioVertebral Angle) 방법이 있다[9] (Fig. 1 참조). 또 다른 접근법으로는 사람의 귀 이슬점과 어깨의 수직선의 수평거리가 2.5~5cm가 될 경우 거북목이라고 판단하는 방법이 있다[10]. 이 외에 올바르지 않은 자세를 판단하고 자세를 교정할 수 있는 다양한 시스템들이 제안되었다. 그 중 하나인 알렉스는 웨어러블 시스템이며 양쪽 귀에 고리를 걸고 머리 혹은 목 후방부에 측정부가 접촉되는 방식이다[11]. 하지만 이러한 방법들은 고가의 시스템을 활용하거나 병원에 방문하여 X-ray를 찍어야하기 때문에 가정이나 실시간으로 거북목을 인지하기는 어려운 접근법이다[12].

Fig. 1. Forward head posture in X-ray.

이동성 제약을 피하기 위해 간단한 기기 혹은 소프트웨어적으로 이 문제를 해결하려고 몇몇 연구들이 진행되었다. 마이크로소프트사의 키넥트(Kinect)로부터 머리와 목의 깊이 값 차이를 통해 거북목을 판별하는 방법이 제시되었다[13,14]. 압력센터를 이용하여 자세를 교정하는 방법도 있지만[15], 특정 센서에 의존하게 되고, 센서의 정확도가 낮기 때문에 일반화시키기 어렵다. 센서를 직접 신체에 부착하여 신호 처리 및 분석을 통해 거북목을 판별하는 접근법도 있다[16]. 센서를 신체에 부착하기 때문에 센서 정확도를 올라가지만, 센서 의존도가 높아지기 때문에 이 역시 일반화시키기에는 무리가 있다.

이 문제를 해결하기 위해 상대적으로 이동성이 용이한 노트북과 모바일 환경으로 알고리즘을 개선되었다[17]. Khurana et al.은 모바일 기기에 내장된 가속도와 기울기 센서를 이용하여 거북목 자세를 분석하는 방법을 제시했다[18]. 이 시스템은 기본적으로 가속도계, 자이로스코프 및 전극을 사용하여 목과 몸의 상대적인 위치 및 움직임을 측정한다. 목의 자세를 모니터링하고 사용자에게 적절한 피드백을 제공하여 목 건강을 유지하고 개선하는 데 도움을 준다. 또한 자세한 사용자 모니터링을 가능하게 하며, 사용자가 목 건강에 대한 인식을 높이는 데 기여한 기법이다. 센서를 신체에 부착하거나 설치하지 않아도 된다는 장점은 있지만 특정 시간마다 정보를 저장하고 월/일별 단위로 자세 현황을 알려주는 시스템이다. 그렇기 때문에 사용자가 원할 때 거북목 자세 정보를 얻기 어렵고, 모바일 기기의 센서를 이용하는 만큼 디바이스에 무리를 주기 때문에 배터리 사용량에 의한 발열 등 불편함이 있을 수 있다.

최근에 센서를 설치하거나 부착하지 않고 노트북에 내장된 웹캠을 통해 얻은 영상과 CNN을 이용하여 거북목 자세를 추론할 수 있는 방법이 제시되었다[8]. 이 방법은 네트워크 학습을 이용하기 때문에 온라인에서는 수치적인 계산 없이 동작될 수 있다. 하지만 영상의 품질에 영향을 받기 때문에 사람의 피부색, 인종, 나이, 조명 등에 영향을 받기 때문에 제한된 환경에서만 동작되는 한계가 있다.

III. The Proposed Scheme

본 논문에서는 물리 기반 애니메이션이나 컴퓨터 비전에서 활용되고 있는 인공신경망을 이용하여 거북목 자세를 판별한다. 기존의 방법은 골격 저보가 아닌 정상인과 거북목 자세를 수집한 영상 데이터를 CNN 기반으로 학습함으로써 거북목을 찾아냈지만[8], 이러한 방법은 주변 조명 및 특정 데이터에 의존하는 결과를 보인다. 본 논문에서는 이러한 문제를 해결하기 위해 사람의 골격을 추출하고, 그들 간의 관계를 학습함으로써 이 문제를 효율적으로 완화한다.

따라서 본 논문은 Fig. 2와 같이 정상적인 자세와 거북목 자세로부터 각각의 골격을 추출하고 이를 인공신경망을 기반으로 학습함으로써 실시간으로 거북목 자세를 판단하고 경고해주는 프레임워크를 목표로 한다. 본 논문에서 제안하는 방법은 고가의 장비를 필요로 하지 않고, 개인정보나 피부의 색, 인종, 나이 등에 영향을 받지 않기 때문에 일반화가 가능한 접근법이다.

Fig. 2. System overview.

1. Skeleton Extraction from Video

기존의 거북목 학습 모델은 인공신경망 알고리즘 중 하나인 CNN을 사용하여 올바른 자세와 거북목 자세일 때의 데이터를 학습했다. 영상을 통해 학습하는 접근법은 이미지 자체의 명도나 인종 등에 영향을 많이 받는다. 이러한 문제를 방지하기 위해 본 논문에서는 영상으로부터 골격을 추출하여 각 포인트 값을 학습하는 방법을 제안한다.

본 논문에서는 영상으로부터 골격을 추출하기 위해 OpenPose 라이브러리를 사용한다[19,20]. 이 방법은 단일 영상에서 인체, 손, 얼굴 및 발에 대한 키 포인트(총 135개의 키 포인트)를 동시에 감지하는 실시간 다중 인물 감지 시스템이다. 이번 장에서는 본 논문에서 활용한 OpenPose 알고리즘에 대해서 간단하게 설명한다.

OpenPose는 영상을 입력으로 객체의 위치 및 방향을 감지하는 CNN기반 프레임워크이다. OpenPose에서 사용하고 있는 인공신경망 구조는 다음과 같다 (Fig. 3 참조).

Fig. 3. OpenPose architecture[19].

입력 데이터는 VGGNet-19를 통해 데이터의 특징이 계산되고, 첫 번째 분기점에서 전반적인 신체 부위(팔꿈치, 무릅 등)의 특징을 추출한다. 반복되는 과정을 거치면서 신뢰도 맵(Confidence map)과 선호도 필드(Affinity field)를 계산한다. 여기서 신뢰도 맵은 사람의 관절 구조 등을 찾는데 활용되며, 선호도 필드는 추출된 관절 구조가 어떤 객체의 것인지를 알아내는데 사용된다. 본 논문에서 사용하는 것은 인체, 손, 얼굴의 골격 중 인체의 골격만을 이용한다. OpenPose에 있는 CNN은 BODY-25, COCO, MPII로 각각 출력 관절이 25개, 18개로 추출되며, 그 중에 본 논문에서는 BODY-25를 사용한다. BODY-25에 해당하는 각 관절 포인트는 다음과 같다 (Fig. 4 참조).

Fig. 4. BODY-25 keypoints.

일반적으로 거북목 증후군을 진단하는 기준은 똑바로 섰을 때 고개가 앞으로 나와 있는지 판단하기 때문에 정면보다는 측면에서 보는 것이 정확도가 높다. 정면에서 추출된 영상만으로는 목의 구부러짐을 표현하는 것은 어렵다. 이런 문제는 이전 기법에서도 제대로 거북목 감지를 못하는 결과로 이어지며, 제안하는 방법을 이를 뼈대 데이터로 해결한다. 정확하게는 측면 카메라로 해결한 것이 아닌, 측면 뷰에서 추출된 뼈대 데이터로부터 학습함으로써 기존 방법에서 나타나는 불안정성을 해결한다.

Fig. 5와 같이 측면에서 검출되는 키 포인트는 왼쪽에서 0.Nose, 1.Nect, 5.LShoulder, 16.LEye, 18.LEar이고 오른쪽에서 0.Nose, 1.Neck, 2.RShoulder, 15.REye, 17.REar이며, 각각 왼쪽 상단을 기준으로 X, Y좌표가 출력된다. 카메라를 추가적으로 설치하게 될 경우 카메라의 위치에 따라 각 포인트 값에 차이가 생기기 때문에 본 논문에서는 코의 좌표를 원점으로 정규화하여 사용한다.

Fig. 5. Skeleton extraction with OpenPose.

2. Points Addition to Diagnose Forward Head Posture

본 논문에서는 거북목 자세를 정확하게 판별하기 위해 4가지 데이터를 추가한다. 첫 번째 데이터는 귀와 어깨의 X좌표 값의 차이이다. Fig. 5에서 확인할 수 있듯이 어깨에서 위쪽으로 가상의 수직선을 그었을 때 올바른 자세일 경우 수직선의 귀를 지나가고, 거북목일 경우에는 귀가 수직선보다 앞에 존재하게 된다. 즉 X좌표 값의 차이를 Γ라고 할 때 정상적인 자세에서는 Γ값이 작게 나오고, 거북목일 경우에서는 Γ값이 크게 나온다. 추가되는 두 번째 데이터는 Y좌표 값의 차이이다. Figure 4를 보면 목의 좌표는 양 어깨의 중간에 위치해 있기 때문에 정상적인 자세일 경우 목과 어깨의 Y좌표 값이 비슷하게 나오고, 정상적인 자세가 아닐 경우에 값의 차이가 크게 측정된다.

세 번째 데이터는 목과 코 사이의 거리이다. 거북목 자세는 목을 앞으로 길게 뺀 자세이기 때문에 Figure 6에서 확인할 수 있듯이 정상적인 자세일 때보다 길이 값이 크게 측정된다. 마지막으로 네 번째 데이터는 코와 목 포인트를 직선으로 이었을 때 선이 이루는 각도이다. 코에서 오른쪽으로 수직선을 그었을 때 두 점 사이를 이은 직선과 수직선 사이의 각도가 정상적인 자세일 때보다 거북목 자세일 때가 더 작다 (Figure 6 참조). 본 논문에서는 5개의 포트에서 코를 원점으로 데이터 값을 변경했기 때문에 코를 제외하고 총 4개의 포인트의 X, Y좌표 값에 앞에서 추가한 4개의 데이터로 총 12개의 데이터 값을 학습 데이터로 만든다. 그리고 총 400개의 학습 데이터를 구성한다. 학습 데이터는 조명 변화, 이어폰, 마스크, 안경 착용 유무에 대한 데이터와 10명의 참가자를 통해 정상자세와 거북목 자세에 대한 데이터를 얻었으며, 골격 위치에 지터(Jitter)를 추가하여 데이터 증강을 통해 학습 데이터를 얻었다.

Fig. 6. Comparison posture between normal and neck postures.

3. Neural Network Model

본 논문에서 사용한 인공신경망 구조는 다음과 같다(Figure 7 참조). 여기서 각 레이어로 이동할 때 사용한 활성화 함수는 Softmax를 이용하였으며, 거북목 자세인지 아닌지 2가지 상태 중 판별하는 확률로 추정한다. 학습률(Learning rate)은 0.01을 사용하였고, 학습을 위한 X와 Y는 크기는 각각 앞에서 언급한 데이터의 크기는 12개, 라벨의 크기(거북목인지, 아닌지)인 2로 설정했다. 좀 더 자세한 구조는 네트워크를 학습할 때 활용한 코드를 참조하길 바란다 (Fig. 8 참조). 이 과정에서 최적화 함수는 적응적 모멘트 추정(Adaptive moment estimation) 기법을 사용했으며, 모델의 정확도는 98.7%로 측정되었고, 하나의 이미지를 추론하는데 소요된 시간은 약 0.15초이다.

Fig. 7. Neural network architecture.

Fig. 8. Neural network code.

IV. Experiment and Results

본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다. 본 논문에서는 외부 카메라로부터 실시간으로 들어오는 영상을 기반으로 골격을 추출했고, 이 값을 인공신경망 학습모델에 적용시킨다. 결과 값이 거북목 자세인지, 정상적인 자세인지에 따라 사용자에게 경고 시스템을 출력하는 기능을 추가했다. 인공 신경망을 학습하기 위해 본 논문에서는 안경, 목도리, 마스크, 헤드폰 등을 착용한 상태에서 올바른 자세와 거북목 자세 영상을 녹화했으며, 이 영상으로부터 골격 데이터를 추출하여 학습 데이터로 활용한다.

Fig. 9은 본 논문에서 제안한 방법을 이용하여 추론한 거북목 자세를 실험한 결과이다. 사용자가 안경을 착용한 여성에게 실험했으며, 거북목과 정상적인 상황에 대해서 명확하게 구분을 잘 하였다. Fig. 10는 안경을 착용한 남성에 대해서 실험을 한 결과이다. 여성에게 실험한 결과와 마찬가지로 안정적으로 거북목 자세를 잘 추론했다.

Fig. 9. Pose estimation inferred using our method (scene1).

Fig. 10. Pose estimation inferred using our method (scene2).

이전 기법에서는 영상으로부터의 특징을 CNN기반으로 합성하기 때문에 피부의 색, 성별, 나이, 조명 등에 영향을 받는 결과가 나타났다. Fig. 11은 이전 기법인 CNN을 학습하여 실험한 결과이다[8]. 앞에서 언급했듯이 정상적인 자세와 거북목 자세를 인지 못하는 결과가 나타났다. 이같은 결과는 데이터 의존성이 강하게 표현되기 때문에 학습 데이터의 성별이나 주변 조명에 따라 결과가 불안정하게 나타났다.

Fig. 11. Pose estimation inferred using previous method[8] (scene 3).

Fig. 12은 안경을 쓰지 않은 채로 실험한 결과이다. 이전 방법에서는 안경을 쓰지 않은 실험에서도 제대로 된 평가 불가능했지만 (Fig. 12a 참조), 본 논문에서 제안한 방법은 안경을 쓴 상황에서도 거북목 인지를 안정적으로 수행했다. 이전 접근법은 CNN으로부터 영상 특징을 추출하기 때문에 영상 색상이나 조명의 변화가 결과에 큰 영향을 미친다. 하지만 제안하는 방법은 안경을 쓰지 않은 장면에서도 안정적으로 거북목 자세를 인지하였다.

Fig. 12. Comparison pose estimation between previous method[8] and our method.

Fig. 13는 마스크를 착용한 상태에서 제안하는 방법을 적용한 실험결과이다. 입모양이 부정확하게 가려졌음에도 불구하고 제안하는 방법은 거북목을 정확하게 인지했기 때문에 제한적인 실내 공간이 아닌 다 수의에 대한 실외까지 확장이 가능하다.

Fig. 13. Pose estimation inferred using our method (scene 4).

본 논문에서 제안하는 방법은 OpenPose를 기반으로 추출된 골격 데이터를 정제하여 학습데이터를 얻었고, 이 데이터를 이용하여 거북목을 인지할 수 있도록 학습하였다. 그렇기 때문에 골격을 안정적으로 추출할 수 있는 OpenPose의 장점을 그대로 흡수하여 다양한 환경에서 안정적으로 거북목 자세를 추론할 수 있다.

Fig. 14는 출력한 사진으로부터 거북목 자세를 추출한 결과이다. 이러한 결과는 이전 기법들에서는 적용이 어렵지만, 본 논문에서 제안하는 방식은 추출된 골격을 기반으로 거북목 자세를 인지하기 때문에 출력된 이미지에서도 결과가 안정적으로 수정됐다. Fig. 15는 흑백 출력으로 실험한 결과이며 여전히 안정적으로 거북목을 인지했다.

Fig. 14. Pose estimation inferred using our method (scene 5).

Fig. 15. Pose estimation inferred using our method (scene 6).

V. Conclusions

본 논문에서는 골격을 기반으로 데이터를 추출하고, 이 데이터 간의 관계를 학습함으로써 거북목 자세인지 아닌지를 판별하는 시스템을 제안했다. 기존의 RGB영상 데이터를 기반으로 자세를 추정하는 방법은 조명, 피부 색, 성별 등 다양한 환경이나 개인적 특성에 의존하는 결과가 나왔다. 이러한 문제는 학습하는데 있어서 특정 개인에 맞춰진 형태로 학습될 가능성이 있으며, 개인정보를 이용한다는 점에서 데이터 보안이나 은닉성에 대한 부차적인 문제가 발생할 수 있다. 하지만 본 논문은 골격 정보만을 이용하기 때문에 개인정보 문제를 완화시킬 뿐만 아니라, 주변 환경적인 특징을 배제할 수 있기 때문에 안정적으로 거북목 자세를 추론할 수 있다.

카메라로부터 얻은 영상들은 조명이나 피부색이 조금만 변경되어도 특징을 인식하는데 문제가 발생하며 이런 데이터를 통해 학습하면 특징 장면에서만 거북목이 인식된다. 본 논문에서는 주변 환경(조명, 혹은 피부색 등)에 영향을 크게 받지 않는 선에서 학습이 가능하도록 영상이 아닌 뼈대 학습을 통해 거북목을 찾았다. 그리고 학습 데이터인 경우 개인 얼굴이 포함된 경우 초상권이나 저작권 문제가 발생하기 때문에 공개데이터가 아닌 경우 활용하기가 어려우면 관련 공개데이터는 거의 없다. 이런 경우 학습을 위한 데이터 획득이 어려우며 소규모 인원으로 데이터를 획득할 경우 개인의 특징(피부색, 조명)에 영향을 받기 때문에 본 논문에서는 뼈대 데이터를 이용하여 거북목 학습에 활용하였다. 향후 단순한 자세교정 경고가 아닌, 어떻게 하면 안정적인 자세가 되는지를 가이드 해줄 수 있는 시뮬레이션 방법으로 알고리즘을 확장할 계획이다.