• IEIE Transactions on Smart Processing and Computing
• /
• 제5권4호
• /
• pp.267-273
• /
• 2016

Hand posture recognition is an important technique to enable a natural and familiar interface in the human-computer interaction (HCI) field. This paper introduces a hand posture recognition method using a depth camera. Moreover, the hand posture recognition method is incorporated with the Moving Picture Experts Group Rich Media User Interface (MPEG-U) Advanced User Interaction (AUI) Interface (MPEG-U part 2), which can provide a natural interface on a variety of devices. The proposed method initially detects positions and lengths of all fingers opened, and then recognizes the hand posture from the pose of one or two hands, as well as the number of fingers folded when a user presents a gesture representing a pattern in the AUI data format specified in MPEG-U part 2. The AUI interface represents a user's hand posture in the compliant MPEG-U schema structure. Experimental results demonstrate the performance of the hand posture recognition system and verified that the AUI interface is compatible with the MPEG-U standard.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권2호
• /
• pp.763-774
• /
• 2015

Hand posture recognition has been a wide region of applications in Human Computer Interaction and Computer Vision for many years. The problem arises mainly due to the high dexterity of hand and self-occlusions created in the limited view of the camera or illumination variations. To remedy these problems, a hand posture recognition method using 3-D point cloud is proposed to explicitly utilize 3-D information from depth maps in this paper. Firstly, hand region is segmented by a set of depth threshold. Next, hand image normalization will be performed to ensure that the extracted feature descriptors are scale and rotation invariant. By robustly coding and pooling 3-D facets, the proposed descriptor can effectively represent the various hand postures. After that, SVM with Gaussian kernel function is used to address the issue of posture recognition. Experimental results based on posture dataset captured by Kinect sensor (from 1 to 10) demonstrate the effectiveness of the proposed approach and the average recognition rate of our method is over 96%.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.219-221
• /
• 2007

Recent changes to ubiquitous computing requires more natural human-computer(HCI) interfaces that provide high information accessibility. Hand-gesture, i.e., gestures performed by one 'or two hands, is emerging as a viable technology to complement or replace conventional HCI technology. This paper deals with hand-posture recognition. Hand-posture database construction is important in hand-posture recognition. Human hand is composed of 27 bones and the movement of each joint is modeled by 23 degrees of freedom. Even for the same hand-posture,. grabbed images may differ depending on user's characteristic and relative position between the hand and cameras. To solve the difficulty in defining hand-postures and construct database effective in size, we present a method using a 3D hand model. Hand joint angles for each hand-posture and corresponding silhouette images from many viewpoints by projecting the model into image planes are used to construct the ?database. The proposed method does not require additional equations to define movement constraints of each joint. Also using the method, it is easy to get images of one hand-posture from many vi.ewpoints and distances. Hence it is possible to construct database more precisely and concretely. The validity of the method is evaluated by applying it to the hand-posture recognition system.

• Journal of Electrical Engineering and Technology
• /
• 제10권4호
• /
• pp.1910-1914
• /
• 2015

Human posture recognition is an attractive and challenging topic in computer vision due to its promising applications in the areas of personal health care, environmental awareness, human-computer-interaction and surveillance systems. Human posture recognition in video sequences consists of two stages: the first stage is training and evaluation and the second is deployment. In the first stage, the system is trained and evaluated using datasets of human postures to ‘teach’ the system to classify human postures for any future inputs. When the training and evaluation process is deemed satisfactory as measured by recognition rates, the trained system is then deployed to recognize human postures in any input video sequence. Different classifiers were used in the training such as Multilayer Perceptron Feedforward Neural networks, Self-Organizing Maps, Fuzzy C Means and K Means. Results show that supervised learning classifiers tend to perform better than unsupervised classifiers for the case of human posture recognition.

• 정보처리학회논문지B
• /
• 제15B권5호
• /
• pp.435-448
• /
• 2008

사용자 포즈의 3차원 데이터 생성을 통한 3차원 포즈 인식은 2차원 포즈 인식의 문제점을 해결하기 위해서 많이 연구되고 있지만, 3차원 표면 데이터의 방대한 양으로 포즈 인식에서 중요한 특징 추출(feature extraction)이 어렵고 수행 시간이 많이 걸리는 문제점을 가지고 있다. 본 논문에서는 3차원 포즈 인식의 두 가지 문제점인 특징 추출의 어려움과 느린 처리속도를 개선하기 위해서 3차원 형상복원 기술로 모델의 3차원 표면 점들로 구성된 데이터를 2차원 데이터로 변환하는 차원 축소(dimension reduction) 방법을 제안한다. 실린더형 외곽점을 이용한 메쉬없는 매개변수화(meshless parameterization) 방법은 방대한 데이터인 3차원 포즈 데이터를 2차원 데이터로 변환하여 특징 추출과 매칭과정의 연산 속도를 향상 시키며, 특징 추출의 효율성 검증을 위해 간단한 환경에서 실험이 가능한 손 포즈 인식 및 인간 포즈 인식에 적용하였다.

• 한국멀티미디어학회논문지
• /
• 제8권6호
• /
• pp.768-775
• /
• 2005

For sign languages are main communication means among hearing-impaired people, there are communication difficulties between speaking-oriented people and sign-language-oriented people. Automated sign-language recognition may resolve these communication problems. In sign languages, finger spelling is used to spell names and words that are not listed in the dictionary. There have been research activities for gesture and posture recognition using glove-based devices. However, these devices are often expensive, cumbersome, and inadequate for recognizing elaborate finger spelling. Use of colored patches or gloves also cause uneasiness. In this paper, a vision-based finger spelling recognition system is introduced. In our method, captured hand region images were separated from the background using a skin detection algorithm assuming that there are no skin-colored objects in the background. Then, hand postures were recognized using a two-dimensional grid analysis method. Our recognition system is not sensitive to the size or the rotation of the input posture images. By optimizing the weights of the posture features using a genetic algorithm, our system achieved high accuracy that matches other systems using devices or colored gloves. We applied our posture recognition system for detecting Korean Sign Language, achieving better than $93\%$ accuracy.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제5권10호
• /
• pp.303-310
• /
• 2016

최근 Wii Sport나 Xbox Fitness 등 실제와 똑같이 몸을 움직이도록 하는 기능성 운동 게임인 엑서 게임이 인기를 끌고 있다. 그런데 이런 체감형 운동 게임에서는 사용자가 운동 자세를 얼마나 정확하게 취했는지 자세의 교정이 얼마나 필요한지를 알 수 있기 위하여 자세 인식이 크게 중요하다. 본 연구에서는 고령자를 대상으로 한 운동프로그램 콘텐츠에서 사용자의 자세 정보를 인식하기 위하여 키넥트 센서에서 제공하는 골격 모델의 특징점을 추출하여 각각의 특징벡터를 생성하여 만든 운동 자세 인식 모델 방법을 제안하였다. 본 논문에서는 제안하는 운동 자세 인식 모델의 설계 및 구현을 설명하였고, 간단한 실험을 통해서 제안된 운동 자세 인식 모델의 사용 가능성을 증명하였다. 실험결과 10명의 참여자들의 12가지 운동 자세에 대한 전체 평균은 94.52% 정도 일치율을 보였다.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.83-95
• /
• 2014

최근 손과 손가락을 인식하는 기술은 HCI(human computer interaction)에서 자연스럽고 친숙한 환경을 제공하기 위한 기술로 주목 받고 있다. 본 논문에서는 깊이 카메라를 이용하여 손과 손가락의 모양을 검출 및 인식하는 방법을 제안하고, 그 인식 결과를 활용하여 다양한 기기와 상호연동 할 수 있는 MPEG-U 기반 향상된 사용자 상호작용 인터페이스 시스템을 제안한다. 제안하는 시스템은 깊이 카메라를 이용하여 손을 검출한 후, 손목의 위치를 찾아 최소 손 영역을 검출한다. 이어서 검출된 최소 손 영역으로부터 손가락 끝점을 검출 한 후, 최소 손 영역의 중심점과 손가락 끝점간의 뼈대를 만든다. 이렇게 만든 뼈대의 길이와 인접 뼈대간의 각도차를 분석하여 손가락을 판별한다. 또한, 제안하는 시스템은 사용자가 MPEG-U에서 정의하는 다양한 심벌들을 손 자세로 취하였을 때 제안 방법을 이용하여 손 자세를 인식하고, 인식 결과를 상호연동 가능한 MPEG-U 스키마 구조로 표현한다. 실험에서는 다양한 환경에서 제안하는 손 자세 인식 방법의 성능을 보인다. 또한, 제안 시스템의 상호연동성을 보이기 위해 인식 결과를 MPEG-U part2 표준에 맞는 XML 문서로 표현하고, MPEG-U 참조 소프트웨어를 이용하여 그 표현 결과에 대한 표준 부합성을 검증한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권7호
• /
• pp.2585-2598
• /
• 2015

Hand posture recognition has played a very important role in Human Computer Interaction (HCI) and Computer Vision (CV) for many years. The challenge arises mainly due to self-occlusions caused by the limited view of the camera. In this paper, a robust hand posture recognition approach based on 3D point cloud from two RGB-D sensors (Kinect) is proposed to make maximum use of 3D information from depth map. Through noise reduction and registering two point sets obtained satisfactory from two views as we designed, a multi-viewed hand posture point cloud with most 3D information can be acquired. Moreover, we utilize the accurate reconstruction and classify each point cloud by directly matching the normalized point set with the templates of different classes from dataset, which can reduce the training time and calculation. Experimental results based on posture dataset captured by Kinect sensors (from digit 1 to 10) demonstrate the effectiveness of the proposed method.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제41권8호
• /
• pp.586-597
• /
• 2014

최근 고성능 센서가 집적된 스마트폰과 웨어러블 디바이스 기술이 부각됨에 따라 이와 같은 플랫폼을 활용한 차세대 모바일 컴퓨팅 기술이 크게 주목받고 있다. 기존 행위인지는 지속적인 움직임에 따른 고유 패턴을 포착하는 반면, 자세인지는 급격한 순간 변화나 신체 방향의 변화를 포착하는 방법으로 접근되어 왔다. 그러나 이 두 가지의 패턴을 함께 고려하고 실제 활용 가능한 수준의 성능 확보와 그 시스템에 대한 연구는 다소 부족한 실정이다. 이에 본 논문에서는 최근 부각되는 스마트폰과 웨어러블 디바이스의 센서 데이터를 함께 고려하고 각각이 갖는 장점을 혼합한 사용자 행위 및 자세인지 기법과 스마트폰 플랫폼을 기반으로 실제 환경에서의 그 활용 방법을 제안한다. 스마트폰과 웨어러블 센서 데이터를 함께 운용하기 위한 전처리 방법을 설계하고 고유 진동 패턴과 수직, 수평 방향 패턴 특징을 혼합적으로 활용하여 인지 모델을 구축하였다. 이 과정에서 자전거 타기와 빠르게, 천천히 걷기, 뛰기와 같이 보다 다양한 행위와 서기, 앉기, 누워있기와 같은 자세 패턴을 고려하였다. 실험 결과 제안하는 기법의 성능과 타당성을 입증하였고 실제 환경에서의 적용을 통해 그 활용 가능성을 보였다.