• Journal of the Korea Computer Graphics Society
• /
• v.29 no.5
• /
• pp.11-20
• /
• 2023

In this paper, we propose a novel deep learning-based motion reconstruction approach that facilitates the generation of full-body motions, including finger motions, while also enabling the online adjustment of motion generation delays. The proposed method combines the Vive Tracker with a deep learning method to achieve more accurate motion reconstruction while effectively mitigating foot skating issues through the use of an Inverse Kinematics (IK) solver. The proposed method utilizes a trained AutoEncoder to reconstruct character body motions using tracker data in real-time while offering the flexibility to adjust motion generation delays as needed. To generate hand motions suitable for the reconstructed body motion, we employ a Fully Connected Network (FCN). By combining the reconstructed body motion from the AutoEncoder with the hand motions generated by the FCN, we can generate full-body motions of characters that include hand movements. In order to alleviate foot skating issues in motions generated by deep learning-based methods, we use an IK solver. By setting the trackers located near the character's feet as end-effectors for the IK solver, our method precisely controls and corrects the character's foot movements, thereby enhancing the overall accuracy of the generated motions. Through experiments, we validate the accuracy of motion generation in the proposed deep learning-based motion reconstruction scheme, as well as the ability to adjust latency based on user input. Additionally, we assess the correction performance by comparing motions with the IK solver applied to those without it, focusing particularly on how it addresses the foot skating issue in the generated full-body motions.

• Proceedings of the KIEE Conference
• /
• 2011.07a
• /
• pp.1918-1919
• /
• 2011

상체 지원 외골격 로봇은 크게 인간의 근력을 보조하는 형태와 인간의 근력을 증강하는 형태가 있다. 여기서는 인간의 근력을 증강하는 외골격 로봇을 중심으로 기술하고자 한다. 이러한 외골격 로봇은 팔의 EMG (Electromyograph;근전도) 신호를 측정하는 방법보다는 손의 힘을 직접 감지하는 방법을 통한 팔꿈치와 어깨의 엑추에이터를 구동하는 방식을 취하는 경향이 있다. 본 논문에서도 후자의 방식을 이용하여 손에 작용하는 힘을 분석하여 외골격 로봇을 움직이는 방식을 취하였다. 손의 힘 중에서도 인간을 중심으로 볼 때 위방향과 전진방향의 힘을 분석하기 위하여 2개의 F/T(Force/Torque) 센서를 사용하였으며 팔을 벌리는 동작은 엑추에이터 없이 자유롭게 동작이 가능하도록 설계하였다. 이러한 위방향 및 전진방향 힘의 크기를 팔꿈치와 어깨의 엑추에이터의 동작으로 바꾸어 인간의 동작을 도울 수 있고 힘을 증폭할 수 있는 외골격 로봇을 설계 제작하였다. F/T 센서는 손의 힘을 전기적 신호로 바꾸어주는 로드셀로 이루어지며 손의 힘을 최대한 잘 반영하기 위한 구조를 고안하였다. F/T 센서의 전기신호는 증폭기를 거쳐서 잡음을 제거한 후에 A/D 변환하여 processor에서 처리되어진다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.299-300
• /
• 2011

최근 손 동작 인식은 새로운 맨머신인터페이스(man-machine interface)를 위한 기술로 주목 받고 있으며, 이를 위한 손 검출은 손 동작 인식이나 손 추적을 위해 반드시 선행되어야 하는 중요한 기술이다. 기존에 연구되어온 대부분의 손 검출 방법으로는 색상을 기반으로 한 손 검출이었다. 하지만 색상을 기반으로 한 손 검출은 조명의 영향을 많이 받아 신뢰성을 보장하기 어렵다. 이러한 조명의 영향은 깊이 정보(depth information)를 이용함으로써 조명 변화에 강인한 손 검출을 수행할 수 있다. 본 논문에서는 손 검출을 깊이 정보를 활용하여 수행할 수 있는 방법을 제안하였다. 실시간으로 깊이 정보를 생성할 수 있는 depth sensor 하나를 사용하여 깊이 영상을 얻고 노이즈를 개선 해 준 후에 정의된 모션을 사용하여 손의 특징을 추출하여 손 검출을 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.97-100
• /
• 2007

이 논문에서는 비전 시스템 기반 동작 인식 인터페이스 시스템으로 스테레오 카메라와 동적 제스처를 이용한 방식을 제안한다. 스테레오 카메라로부터 얻은 영상으로 손의 3차원 위치를 검출하고 이를 바탕으로 손의 동작을 추적하고 이를 인식함으로써 동적 제스처에 기반 한 동작 인식 방법을 제시한다. 이러한 깊이에 따른 제스처 동작을 인식하는 방법으로 단순한 컨트롤러부터 IPTV 제어나 가상의 마우스 제작이 가능한 본질적으로 편하고 자연스러운 인터페이스 구현 방향을 제시한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.851-856
• /
• 2007

수화는 청각장애인이 주로 사용하는 시각적인 언어이다. OpenGL 기반의 가상현실 공간을 배경으로 하여 청각장애인들이 쉽게 이해할 수 있는 수화 아바타의 움직임을 구현하기 위해, 본 논문에서는 수화 동작 데이터베이스를 구축하는 그래픽 사용자 인터페이스를 개발한다. 개발한 시스템에서는 아바타의 사실적인 표현과 친근감을 강조하기 위해 3D MAX 기반의 인체 아바타 모델의 픽셀 값을 ASE를 사용하여 C언어 코드로 변환함으로써 인간과 거의 비슷한 모델을 생성하였다. 손 모양 편집프로그램은 슬라이드 바를 사용하여 21개의 손 관절 각도를 조정할 수 있으며, 손 모양 코드번호와 손 모양 이름을 지정하여 수화단어 편집프로그램에서 사용하는 손 모양 데이터 형식으로 저장할 수 있다. 수화단어 편집프로그램은 수화단어 데이터 형식의 값을 설정하는 기능과 함께 손 모양 대칭복사, 검색, 추가, 수정, 삭제 기능을 제공함으로써 사용자가 손 모양을 쉽게 편집할 수 있도록 하였다. 손 모양 편집프로그램과 수화단어 편집프로그램을 사용하여 구성한 데이터베이스를 기반으로 수화 아바타가 가상현실 공간에서 인간과 유사한 움직임을 표현할 수 있도록 하였다.

• The Journal of the Korea Contents Association
• /
• v.9 no.10
• /
• pp.206-217
• /
• 2009

The purpose of this study was to investigate the cause-effect relationship between motor impairments, hand function, gross motor function and activities of daily living (ADL) in children with cerebral palsy through the analysis of structural equation modeling. For this, 105 children with cerebral palsy (between 6 and 12 years old) were assessed about muscle tone and strength, range of motion, abilities of selective motor control, hand function, gross motor function and ADL. The results of this study were follows: Firstly, there were significant correlations between motor impairments of muscle tone, muscle strength, the abilities of selective motor control and ADL (p < .05); Secondly, a good correlation between the gross motor function, hand function and ADL was found in all children (p < .05); Thirdly, the appropriateness of research model was good. This study focused on exploration of the relationship between the motor impairment, gross motor function, hand function and ADL through structural equation modeling.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.73-74
• /
• 2020

사용자 동작 추정이란 이미지 또는 비디오에서 사용자의 관절 위치를 추정하는 과정을 말한다. 기존의 연구들은 사용자의 몸에서 관절의 큰 부분(어깨, 무릎, 골반, 손, 발 등)만을 추정하거나 손의 세부 관절을 별도로 추정 했다. 하지만 특정 분야(수화, 댄스 등)에선 몸짓과 손을 함께 사용하기에 우리는 사용자 몸의 큰 관절과 손의 세부 관절을 같이 추정하는 방법에 대한 연구를 제안한다. 본 논문에서 제안하는 사용자 동작 추정 방법은 Cascades 방법을 이용한 합성곱 신경망 기반 회귀모델을 적용한 방식이다. 손의 관절들은 다른 큰 관절들(어깨, 무릎, 골반 등)보다 작아서 정밀한 추정을 요구하기에 Cascades 방법을 사용해 보다 정밀하게 추정할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.387-389
• /
• 2011

본 논문에서는 원거리에서 디스플레이를 제어하는 인터페이스를 제안한다. 제안하는 인터페이스는 사용자의 얼굴과 손을 관심 영역으로 규정하고, 이를 추적하여 사용자의 특정 동작을 인터페이스 입력으로 사용한다. 사용자에게 익숙한 손 동작을 인터페이스 입력으로 제공하고, 추가적인 장비를 강요하지 않는 비전 기반의 상호작용 방법을 이용하기 때문에, 사용자는 별도의 훈련 과정 없이 편하게 디스플레이를 제어할 수 있다. 빠르고 정확하게 사용자의 손을 검출하기 위해서 적외선 영상과 컬러 영상을 혼합하는 다중 비전 기반 방법을 사용하며, 손가락 끝 검출을 통해서 손가락 동작을 인식 한다. 인식된 동작을 원거리 통신방법을 이용하여 실제 디스플레이에 적용하여 효용성을 검증 한다.

• The Transactions of the Korea Information Processing Society
• /
• v.4 no.12
• /
• pp.3033-3044
• /
• 1997

This paper presents a system which recognizes dynamic hand gesture for virtual reality (VR). A dynamic hand gesture is a method of communication for human and computer who uses gestures, especially both hands and fingers. Since the human hands and fingers are not the same in physical dimension, the produced by two persons with their hands may not have the same numerical values where obtained through electronic sensors. To recognize meaningful gesture from continuous gestures which have no token of beginning and end, this system segments current motion states using the state automata. In this paper, we apply a fuzzy min-max neural network and feature analysis method using fuzzy logic for on-line pattern recognition.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.12
• /
• pp.1770-1776
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on hand movement are used together. In this paper, we proposed a hand expression recognition method that recognizes symbols based on the trajectory of a hand movement on a virtual blackboard. In order to recognize a sign drawn by hand on a virtual blackboard, not only a method of recognizing a sign from a hand movement, but also hand pose recognition for finding the start and end of data input is also required. In this paper, MediaPipe was used to recognize hand pose, and LSTM(Long Short Term Memory), a type of recurrent neural network, was used to recognize hand gesture from time series data. To verify the effectiveness of the proposed method, it was applied to the recognition of numbers written on a virtual blackboard, and a recognition rate of about 94% was obtained.