• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1101-1104
• /
• 2019

키넥트는 RGBD 카메라로 인체의 뼈대와 관절을 3D 공간에서 스켈레톤 데이터수집을 가능하게 해주었다. 스켈레톤 데이터를 활용한 행동 분류는 RNN, CNN 등 다양한 인공 신경망으로 접근하고 있다. 본 연구는 키넥트를 이용해서 Skeleton Joints를 수집하고, DNN 기반 스켈레톤 모델링 학습으로 행동을 분류한다. Skeleton Joints Processing 과정은 키넥트의 Depth Map 기반의 Skeleton Tracker로 25가지 Skeleton Joints 좌표를 얻고, 학습을 위한 전처리 과정으로 각 좌표를 상대좌표로 변경하고 데이터 수를 제한하며, Joint가 트래킹 되지 않은 부분에 대한 예외 처리를 수행한다. 스켈레톤 모델링 학습 과정에선 3계층의 DNN 신경망을 구축하고, softmax_cross_entropy 함수로 Skeleton Joints를 집는 모션, 내려놓는 모션, 팔짱 낀 모션, 얼굴을 가까이 가져가는 모션 해서 4가지 행동으로 분류한다.

• 한국게임학회 논문지
• /
• 제17권5호
• /
• pp.133-142
• /
• 2017

최근 스크린 클라이밍용 콘텐츠로 클라이밍 학습 프로그램과 스크린 클라이밍 게임이 등장하였으며, 특히 스크린 클라이밍 게임에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 스크린 클라이밍 콘텐츠 구현의 핵심 기술인 자세 인식 성능의 개선을 위하여 등반자의 신체영역을 기반으로 하는 스켈레톤 보정 방법을 제안한다. 스켈레톤 보정 과정은 비정상적인 스켈레톤 정보를 걸러내는 스켈레톤 프레임 안정화와 신체 영역을 관절부위별로 나누어 각 관절부위의 중점을 보정위치로 하는 신체영역 기반 스켈레톤 수정 과정으로 이루어진다. 이렇게 보정한 스켈레톤 정보는 클라이밍 콘텐츠에서 등반자의 자세가 이상적인 자세와 얼마나 유사한지 판단하는 데 사용될 수 있다.

• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1095-1106
• /
• 2020

In this paper, we propose an algorithm that extracts a high-precision 3D skeleton using a model generated using a distributed RGB-D camera. When information about a 3D model is extracted through a distributed RGB-D camera, if the information of the 3D model is used, a skeleton with higher precision can be obtained. In this paper, in order to improve the precision of the 2D skeleton, we find the conditions to obtain the 2D skeleton well using the PCA. Through this, high-quality 2D skeletons are obtained, and high-precision 3D skeletons are extracted by combining the information of the 2D skeletons. Even though this process goes through, the generated skeleton may have errors, so we propose an algorithm that removes these errors by using the information of the 3D model. We were able to extract very high accuracy skeletons using the proposed method.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권11호
• /
• pp.491-500
• /
• 2021

본 연구에서는 MS Kinect v2 RGBD 카메라 기반의 Human-Skeleton Keypoints와 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 탐지하는 방법을 제안한다. 기존의 연구는 RGB 영상에서 OpenPose 등의 딥러닝 모델을 이용하여 골격 정보를 추출한 후 LSTM, GRU 등의 순환신경망 모델을 이용해 인식을 수행하였다. 제안한 방법은 카메라로부터 골격정보를 바로 전달 받아 가속도 및 거리의 2개의 시계열 특징을 추출한 후 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 인식하였다. 어깨, 척추, 골반 등 주요 골격을 대상으로 중심관절을 구하고 이 중심관절의 움직임 가속도와 바닥과의 거리를 특징으로 제안하였다. 추출된 특징은 Stacked LSTM, Bi-LSTM 등의 모델과 성능비교를 수행하였고 GRU, LSTM 등의 기존연구에 비해 향상된 검출 성능을 실험을 통해 증명하였다.

• 한국컴퓨터정보학회논문지
• /
• 제26권3호
• /
• pp.43-50
• /
• 2021

본 논문에서는 키넥트 센서를 기반으로 한 휘트니스(Fitness) 동작의 정확성을 피드백 하는 윈도우 애플리케이션 KITNESS를 설계하고 구현한다. 이 애플리케이션의 특징은 키넥트의 카메라와 관절 인식 센서를 활용하여 사용자가 정확한 휘트니스 자세로 운동할 수 있도록 피드백을 주는 것이다. 이때 키넥트의 IR Emitter와 IR Depth Sensor를 이용하여 사용자와 키넥트 간의 거리를 측정하고, 사용자의 관절 위치인 조인트(Joint)와 각 관절의 스켈레톤(Skeleton) 데이터를 측정한다. 이러한 데이터를 이용하여 사용자의 관절 위치와 자세마다 일정 거리를 계산하고 자세의 정확도를 판단한다. 그리고 키넥트의 RGB 카메라를 통해 사용자가 본인의 자세를 확인할 수 있도록 구현한다. 즉, 사용자의 자세가 정확하면 스켈레톤 정보를 초록색 선으로 표시하고, 정확하지 않으면 정확하지 않은 부분을 빨간색 선으로 표시하여 직관적으로 알려준다. 사용자는 이 애플리케이션을 통하여 운동하는 자세의 정확도를 피드백 받기 때문에 혼자서도 정확한 자세로 운동할 수 있다. 이 애플리케이션은 운동 부위를 목, 허리, 다리 세 가지 영역으로 분류하고, 각 운동 부위의 자세에서 관절이 겹쳐서 키넥트가 인식하지 못하는 자세를 제외함으로써 키넥트의 인식률을 높인다. 그리고 애플리케이션 종료 시에는 마지막 운동 모습을 이미지로 5초간 보여줌으로써 성취감을 고취시키고 지속적으로 운동할 수 있도록 구현한다.

• 한국생산제조학회지
• /
• 제24권6호
• /
• pp.605-612
• /
• 2015

Three dimensional (3D) position determination and motion recognition using a 3D depth sensor camera are applied to a developed penguin-shaped robot, and its validity and closeness are investigated. The robot is equipped with an Asus Xtion Pro Live as a 3D depth camera, and a sound module. Using the skeleton information from the motion recognition data extracted from the camera, the robot is controlled so as to follow the typical three mode-reactions formed by the operator's gestures. In this study, the extraction of skeleton joint information using the 3D depth camera is introduced, and the tracking performance of the operator's motions is explained.

• 한국정밀공학회지
• /
• 제28권4호
• /
• pp.455-462
• /
• 2011

This paper is about the design of a new gravity compensator for the lower body exo-skeleton device. The exo-skeleton devices is for increasing the torque of the human body joint for the purpose of helping the disabled, workers in the industry, and military soldiers. So far, most of studied exo-skeleton devices are actuated by the motors, but motors are limited in energy such that a short durability is always a big problem. In this paper, a new gravity compensator is proposed to reduce the torque load applied to human body joints due to gravity. The gravity compensator is designed using a tortional bar spring, and its structure and characteristics are studied through the test and computer simulation. A design concept on the exo-skeleton device using the gravity compensator is presented. An analysis and computer simulation on the torque reduction of the proposed exo-skeleton device that applies and non-applies the gravity compensator are performed.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권6호
• /
• pp.583-594
• /
• 2000

필기 한글 문자 인식을 위한 획 추출 방법으로 많이 사용되는 세선화는 패턴을 왜곡시키는 문제점을 안고 있다. 본 논문은 모양 분해 알고리즘을 사용한 한글 문자의 골격선 추출 방법을 제안한다. 먼저 모양 분해 알고리즘을 사용하여 입력 패턴을 유사 볼록한 부품 집합으로 분해한다. 모양 분해된 패턴에서 결합 부품을 탐지하고, 이 부품과 인접한 부품들로부터 골격선을 구한다. 그 다음 결합 부품과 인접하지 않은 부품들에 대한 골격선을 추출하고 골격선의 연결성을 보장하기 위해서 선분 연장을 수행한다. 본 논문에서 추출한 골격선과 세선화로 추출한 골격선을 비교하기 위하여 다섯 가지 비교 기준을 설정하고, 이를 기반으로 비교 분석하였다. 본 논문에서 제안한 방법이 여러 기준에서 세선화-기반 방법보다 우수함을 보였다.

• 방송공학회논문지
• /
• 제26권3호
• /
• pp.247-257
• /
• 2021

본 논문에서는 3D(dimensional) 스켈레톤을 이용하여 다시점 RGB-D 카메라를 캘리브레이션 하는 새로운 기법을 제안하고자 한다. 다시점 카메라를 캘리브레이션 하기 위해서는 일관성 있는 특징점이 필요하다. 또한 높은 정확도의 캘리브레이션 결과를 얻기 위해서는 정확한 특징점의 획득이 필요하다. 우리는 다시점 카메라를 캘리브레이션 하기 위한 특징점으로 사람의 스켈레톤을 사용한다. 사람의 스켈레톤은 최신의 자세 추정(pose estimation) 알고리즘들을 이용하여 쉽게 구할 수 있게 되었다. 우리는 자세 추정 알고리즘을 통해서 획득된 3D 스켈레톤의 관절 좌표를 특징점으로 사용하는 RGB-D 기반의 캘리브레이션 알고리즘을 제안한다. 다시점 카메라에 촬영된 인체 정보는 불완전할 수 있기 때문에, 이를 통해 획득된 영상 정보를 바탕으로 예측된 스켈레톤은 불완전할 수 있다. 불완전한 다수의 스켈레톤을 효율적으로 하나의 스켈레톤으로 통합한 후에, 통합된 스켈레톤을 이용하여 카메라 변환 행렬을 구함으로써 다시점 카메라들을 캘리브레이션 할 수 있다. 캘리브레이션의 정확도를 높이기 위해서 시간적인 반복을 통해서 다수의 스켈레톤을 최적화에 이용한다. 우리는 실험을 통해서 불완전한 다수의 스켈레톤을 이용하여 다시점 카메라를 캘리브레이션 할 수 있음을 증명한다.

• 한국정보통신학회논문지
• /
• 제19권5호
• /
• pp.1199-1206
• /
• 2015

본 논문은 위상분석 기법을 이용하여, 스켈레톤의 크기, 조인트의 개수, 조인트 이름이 다른 모션들에 대한 유사도를 자동으로 계산하는 알고리즘을 제안한다. 제안하는 알고리즘은 스켈레톤의 계층구조와 기본포즈를 분석하여 k 개의 조인트 그룹으로 자동 분류하며, 분류된 조인트 그룹은 조인트의 전역 위치를 이용한 포인트 클라우드로 변환된다. 이 때, 비교 대상이 되는 각 그룹의 포인트 클라우드 내 포인트의 위치는 스켈레톤의 크기를 고려하여 자동으로 조정되며, 포인트 개수 또한 자동으로 일치하게 된다. 비교 대상이 되는 두 포인트 클라우드들은 유사도 계산을 위해 거리 값을 최소로 하는 최적의 2D변환 행렬을 구하게 되며, 이 행렬을 적용 후 나타나는 포인트 간의 거리의 합을 최종 유사도 값으로 결정한다. 실험을 통해, 제안하는 알고리즘은 스켈레톤의 크기, 조인트의 개수, 조인트 이름에 상관없이 유사도 값을 계산해 줌을 알 수 있었다.