• Proceedings of the KIEE Conference
• /
• 2007.04a
• /
• pp.216-218
• /
• 2007

Korean Sign Language (KSL) is a communication method for the Deaf in Korea, and hand shape is one of important elements in sign language. In this paper, we developed a KSL hand shape editor to simply compose hand shape and connect it to a database. We can edit hand shape by a graphical user interface (GUI) on 3D virtual reality environment. Hand shape codes are connected to a sign word editor to synthesize sign motion and to decrease total amount of KSL data.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.18 no.7
• /
• pp.1686-1694
• /
• 2014

In this paper, a new scheme to recognize a finger shape in the depth image captured by Kinect is proposed. Rigid transformation of an input finger shape is pre-processed for its robustness against the shape angle of input fingers. After extracting contour map from hand region, observing the change of contour pixel location is performed to calculate rotational compensation angle. For the finger shape recognition, we first acquire three pixel points, the most left, right, and top located pixel points. In the proposed algorithm, we first acquire three pixel points, the most left, right, and top located pixel points for the finger shape recognition, also we use geometrical features of human fingers such as Euclidean distance, the angle of the finger and the pixel area of hand region between each pixel points to recognize the finger shape. Through experimental results, we show that the proposed algorithm performs better than old schemes.

• Journal of Satellite, Information and Communications
• /
• v.9 no.1
• /
• pp.57-64
• /
• 2014

Recently, many human-friendly communication methods have been studied for human-machine interface(HMI) without using any physical devices. One of them is the vision-based gesture recognition that this paper deals with. In this paper, we define some gestures for interaction with objects in a predefined virtual world, and propose an efficient method to recognize them. For preprocessing, we detect and track the both hands, and extract their silhouettes from the low-resolution hand images captured by a webcam. We modeled skin color by two Gaussian distributions in RGB color space and use blob-matching method to detect and track the hands. Applying the foodfill algorithm we extracted hand silhouettes and recognize the hand shapes of Thumb-Up, Palm and Cross by detecting and analyzing their modes. Then, with analyzing the context of hand movement, we recognized five predefined one-hand or both-hand gestures. Assuming that one main user shows up for accurate hand detection, the proposed gesture recognition method has been proved its efficiency and accuracy in many real-time demos.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.91-96
• /
• 2008

증강현실(Augmented Reality)을 위한 효과적인 비전 기반 인터페이스 개발은 꾸준히 진행되어 왔으나, 대부분 환경적 제약을 받거나, 특수한 장비 혹은 복잡한 모델을 요구한다. 예를 들어, 마커를 이용하면 구현 상의 편의성과 정확성을 보장하지만, 일반적으로 마커는 환경과 대비되는 모양을 가지기 때문에, 사용자에게 거부감을 줄 수 있으며 무엇보다 복잡한 인터랙션에는 적용되기 힘들다. 한편, 손동작을 이용할 경우, 자연스럽고 다양한 인터랙션을 수행할 수 있지만, 색을 이용한 손동작 인식은 복잡한 환경에서 인식률이 크게 저하되고, 3 차원 모델 기반의 손동작 인식은 많은 연산량을 필요로 한다는 문제점을 가진다. 이로 인해 지금까지 제안된 방법을 증강현실 시스템에 적용하는 데는 한계가 있다. 본 논문에서는 기본적으로 손동작을 이용한 인터페이스를 제안하는데, 손동작 인식을 위한 알고리즘을 효율적으로 개선함으로써, 복잡한 환경에서 적은 연산량으로 자연스러운 인터랙션을 제공하고자 한다. 제안방법은 손목에 컬러 밴드를 착용하고, 색 정보를 이용하여 손을 포함하는 최소 영역을 용이하게 검출함으로써, 손 동작 인식률이 좋아지도록 하였다. 제안된 인터페이스는 손의 자연스러운 움직임을 감지해서 손의 모양과 동작에 따라서 가상의 물체를 자연스럽게 제어할 수 있도록 해 준다. 예를 들어, 손이 지정한 위치에 가상의 물체를 나타내고, 가상의 물체를 잡고 다양한 조작을 하는 등의 제어를 할 수 있다. 다양한 환경에서의 실험 및 사용자 평가를 통해 제안된 인터페이스의 유용성을 검증하였다.

• Proceedings of the IEEK Conference
• /
• 2003.07e
• /
• pp.2291-2294
• /
• 2003

본 논문에서는 손목이나 손바닥 아래에 부착된 PC카메라와 두 개의 광원을 이용한 데이터 글러브 구현 방법을 제안한다 기존의 데이터 글러브 방식은 글러브를 손에 착용하여야 하는 단점이 있으며 영상처리 기반의 HCI 방법 또한 공간상에 고정된 카메라를 이용함으로써 웨어러블 컴퓨팅이나 모바일 환경하에서는 사용할 수 없다. 이 문제를 해결하기 위해 본 논문은 착용 가능한 한대의 카메라와 두 개의 평행 광을 사용하여 손 모양을 입력하는 방법을 제안하였다. 또한 손 영상을 제외한 배경영상을 이용하여 손의 변위를 얻어낼 수 있는 방법을 제안한다. 제안된 방법을 구현한 "BareHand 1.0"과 테스트 결과에 대해서도 논하였다.

• Proceedings of the KSLP Conference
• /
• 1998.11a
• /
• pp.201-207
• /
• 1998

현악기의 대표격 악기라고 할 수 있는 바이올린이나 기타는 소리(음원)를 만들어 내는 역할을 하는 줄(현)과 공명통이 합쳐져 있는 모양을 하고 있다. 활로 바이올린 줄은 긁거나 기타줄을 손으로 튕겨서 소리를 만들어 내면, 이 소리는 공명통을 울려서 크고 아름다운 소리가 발생되는 것이다. 사람의 목소리도 이러한 현악기와 비슷한 구조를 가지고 있어서, 두 개의 줄모양을 하고 있는 성대에서 성대음(glottal sound)을 만들어 내며 이 성대음이 성도(성도, vocal tract)를 통과하면서 여과(filtration) 되고 성도의 모양에 따른 특성에 따라 공명(resonance) 현상을 일으켜서 입술이나 콧구멍 바깥으로 방출되어 말소리(speech sound)를 만들어내는 것이다. (중략)

• The Transactions of the Korea Information Processing Society
• /
• v.4 no.12
• /
• pp.3033-3044
• /
• 1997

This paper presents a system which recognizes dynamic hand gesture for virtual reality (VR). A dynamic hand gesture is a method of communication for human and computer who uses gestures, especially both hands and fingers. Since the human hands and fingers are not the same in physical dimension, the produced by two persons with their hands may not have the same numerical values where obtained through electronic sensors. To recognize meaningful gesture from continuous gestures which have no token of beginning and end, this system segments current motion states using the state automata. In this paper, we apply a fuzzy min-max neural network and feature analysis method using fuzzy logic for on-line pattern recognition.

• Journal of Korea Society of Industrial Information Systems
• /
• v.13 no.4
• /
• pp.145-154
• /
• 2008

In this paper, we propose the pet robot control system using hand gesture recognition in image sequences acquired from a camera affixed to the pet robot. The proposed system consists of 4 steps; hand detection, feature extraction, gesture recognition and robot control. The hand region is first detected from the input images using the skin color model in HSI color space and connected component analysis. Next, the hand shape and motion features from the image sequences are extracted. Then we consider the hand shape for classification of meaning gestures. Thereafter the hand gesture is recognized by using HMMs (hidden markov models) which have the input as the quantized symbol sequence by the hand motion. Finally the pet robot is controlled by a order corresponding to the recognized hand gesture. We defined four commands of sit down, stand up, lie flat and shake hands for control of pet robot. And we show that user is able to control of pet robot through proposed system in the experiment.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.11a
• /
• pp.300-303
• /
• 2007

지문자는 청각장애인이 사용하는 수화로 표현하지 못하는 한글 문자를 알파벳으로 표시하기위한 손 제스처이다. 본 논문에서는 추출된 손 영역의 무게 중심과 퍼지 논리를 이용하여 지문자를 인식하는 알고리즘을 제안하고, 한글 문자를 표현하는 시스템을 개발한다. USB 카메라로부터 얻어진 영상에서 히스토그램을 이용하여 손의 피부색 영역을 추출하고, 영상 마스크를 이용하여 피부색이 아닌 배경 영역을 제거한다. 문턱 값을 사용하여 얻어진 이진화된 영상에서 손의 영역을 검출하고, 무게 중심을 이용하여 손 중심과 손가락 끝의 거리를 측정한다. 얻어진 거리 정보에 퍼지 기법을 적용하여 손가락의 굽힘 정도를 판단하고, 손 모양 데이터베이스에서 손가락 굽힘 정도와 가장 근사한 한글 문자를 선택한다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.1
• /
• pp.82-91
• /
• 2009

Sign language spotting is the task of detecting and recognizing the signs in a signed utterance. The difficulty of sign language spotting is that the occurrences of signs vary in both motion and shape. Moreover, the signs appear within a continuous gesture stream, interspersed with transitional movements between signs in a vocabulary and non-sign patterns(which include out-of-vocabulary signs, epentheses, and other movements that do not correspond to signs). In this paper, a novel method for designing a threshold model in a conditional random field(CRF) model is proposed. The proposed model performs an adaptive threshold for distinguishing between signs in the vocabulary and non-sign patterns. A hand appearance-based sign verification method, a short-sign detector, and a subsign reasoning method are included to further improve sign language spotting accuracy. Experimental results show that the proposed method can detect signs from continuous data with an 88% spotting rate and can recognize signs from isolated data with a 94% recognition rate, versus 74% and 90% respectively for CRFs without a threshold model, short-sign detector, subsign reasoning, and hand appearance-based sign verification.