• The Journal of Korean Institute of Next Generation Computing
• /
• v.14 no.6
• /
• pp.66-74
• /
• 2018

Recently, there has been active studies on hand gesture recognition to increase immersion and provide user-friendly interaction in a virtual reality environment. However, most studies require specialized sensors or equipment, or show low recognition rates. This paper proposes a hand gesture recognition method using Deep Learning technology without separate sensors or equipment other than camera to recognize static and dynamic hand gestures. First, a series of hand gesture input images are converted into high-frequency images, then each of the hand gestures RGB images and their high-frequency images is learned through the DenseNet three-dimensional Convolutional Neural Network. Experimental results on 6 static hand gestures and 9 dynamic hand gestures showed an average of 92.6% recognition rate and increased 4.6% compared to previous DenseNet. The 3D defense game was implemented to verify the results of our study, and an average speed of 30 ms of gesture recognition was found to be available as a real-time user interface for virtual reality applications.

• Journal of Satellite, Information and Communications
• /
• v.9 no.1
• /
• pp.57-64
• /
• 2014

Recently, many human-friendly communication methods have been studied for human-machine interface(HMI) without using any physical devices. One of them is the vision-based gesture recognition that this paper deals with. In this paper, we define some gestures for interaction with objects in a predefined virtual world, and propose an efficient method to recognize them. For preprocessing, we detect and track the both hands, and extract their silhouettes from the low-resolution hand images captured by a webcam. We modeled skin color by two Gaussian distributions in RGB color space and use blob-matching method to detect and track the hands. Applying the foodfill algorithm we extracted hand silhouettes and recognize the hand shapes of Thumb-Up, Palm and Cross by detecting and analyzing their modes. Then, with analyzing the context of hand movement, we recognized five predefined one-hand or both-hand gestures. Assuming that one main user shows up for accurate hand detection, the proposed gesture recognition method has been proved its efficiency and accuracy in many real-time demos.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1048-1051
• /
• 2020

본 논문에서는 사람의 손에 관한 개별적으로 분리되어 진행되고 있는 손 위치 추정, 손 자세 추정, 손 동작 인식 작업을 통합하는 Faster-RCNN기반의 프레임워크를 제안하였다. 제안된 프레임워크에서는 RGB 동영상을 입력으로 하여, 먼저 손 위치에 대한 박스를 생성하고, 생성된 박스 정보를 기반으로 손 자세와 동작을 인식하도록 한다. 손 위치, 손 자세, 손 동작에 대한 정답을 동시에 모두 가지는 데이터셋이 존재하지 않기 때문에 Egohands, FPHA 데이터를 동시에 효과적으로 사용하는 방안을 제안하였으며 제안된 프레임워크를 FPHA데이터에 평가하였다., 손 위치 추정 정확도는 mAP 90.3을 기록했고, 손 동작 인식은 FPHA의 정답을 사용한 정확도에 근접한 70.6%를 기록하였다.

• The Journal of the Korea Contents Association
• /
• v.13 no.11
• /
• pp.28-36
• /
• 2013

This study proposed a robust detection algorithm. It detects hands more stably with respect to changes in light and rotation for the identification of a hand shape. Also it satisfies both efficiency of calculation and the function of detection. The algorithm proposed segmented the hand area through pre-processing using a hand shape as input information in an environment with a single camera and then identified the shape using a Self Organized Feature Map(SOFM). However, as it is not easy to exactly recognize a hand area which is sensitive to light, it has a large degree of freedom, and there is a large error bound, to enhance the identification rate, rotation information on the hand shape was made into a database and then a principal component analysis was conducted. Also, as there were fewer calculations due to the fewer dimensions, the time for real-time identification could be decreased.

• Journal of the Korea Society of Computer and Information
• /
• v.19 no.11
• /
• pp.63-72
• /
• 2014

In this paper, we propose a sign language recognition system using SVM and depth camera. Especially, we focus on the Korean sign language. For the sign language system, we suggest two methods, one in hand feature extraction stage and the other in recognition stage. Hand features are consisted of the number of fingers, finger length, radius of palm, and direction of the hand. To extract hand features, we use Distance Transform and make hand skeleton. This method is more accurate than a traditional method which uses contours. To recognize hand posture, we develop the decision tree with the hand features. For more accuracy, we use SVM to determine the threshold value in the decision tree. In the experimental results, we show that the suggested method is more accurate and faster when extracting hand features a recognizing hand postures.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.211-214
• /
• 2008

본 논문에서는 카메라로부터 획득된 영상을 이용하여 손을 인식하고 이를 통해 실시간으로 마우스 포인터를 제어하는 알고리즘을 제안한다. 기존의 상호 작용 멀티미디어 시스템은 펜이나 마우스등과 같은 특정 외부 입력장치들에 의존하였기 때문에 사용자에게 불편함을 주었다. 따라서 본 논문에서는 외부 입력장치가 필요 없는 손 인식 알고리즘을 이용하여 이러한 단점을 보완하였다. 제안하는 알고리즘은 카메라로부터 획득된 영상에 저주파 필터를 통과시킨 후 색 정보를 이용하여 손 영역과 배경을 분리하고, 분리된 손 영역의 중심 좌표를 이용하여 모니터 상의 마우스 포인터 좌표를 결정한다. 또한 손의 중심을 원점으로 하는 가변적인 크기의 원과 손가락과의 교차점을 이용하여 손가락의 개수를 계산하고, 이를 통해 마우스의 특정 동작을 결정한다. 제안한 알고리즘은 90% 이상의 높은 손 인식률을 나타내었으며, 스테레오 카메라를 이용한 3차원 실시간 상호작용 멀티미디어 시스템에도 적용이 가능할 것으로 기대된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.49-53
• /
• 2006

본 논문에서는 복잡한 배경을 가진 영상에서 손 영역을 안정적으로 검출, 손 형상을 인식하여 그림 맞추기 응용 프로그램을 제어하는 시스템에 대해 기술한다. 피부색의 컬러 정보를 이용하여 손 영역만을 추출한 후 핑거 팁 템플릿매칭을 사용하여 손가락 끝점을 찾아낸다. 또한 손 영역의 에지 방향성 히스토그램을 구하여 얻어진 정보를 바탕으로 주성분 분석법을 사용하여 손 형상을 인식한다. 최종적으로 인식된 손 형상 정보와 손가락 끝점 추적을 이용한 명령어 실행으로 그림 맞추기 응용 프로그램을 제어 한다. 본 논문에서 제안한 알고리즘으로 그림 맞추기 응용 프로그램 제어에 적용한 결과 안정적인 실험 결과를 얻을 수 있었고, HCI 분야에서 다양하게 활용될 수 있음을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.577-579
• /
• 2005

본 논문에서는 손 제스처를 사용한 2족 보행로봇 제어방법을 제안한다. 제안된 방법은 연속된 입력 영상으로부터 사용자의 손을 검출하기 위해, 피부색 정보와 Hue의 불변 모멘트 정보를 사용한다. 검출된 손 영역은 Active Contour Model를 사용하여 추적한다. 손 제스처를 인식하기 위해 Hue의 불변 모멘 정보로부터, 검출된 손의 모양을판단하고 그 결과를 미리 정해둔 심벌 중에 하나로 할당한다. 이렇게 연속적으로 할당된 심벌들은 HMM(Hidden Markov Model) 인식기를 통해 인식 되고 로봇 명령어를 출력하며, 출력된 명령어에 따라 로봇이 제어된다. 제안된 방법의 효율성을 증명하기 위해, 자체 제작한 2족 보행로봇(KAI)으로 6개의 손 제스처를 이용하여 사용자가 원격지에 있는 로봇의 보행을 제어하는 원격 로봇 보행 제어 시스템에 응용해 보았다. 실험 결과, $94\%$의 인식률을 보였다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.12
• /
• pp.1028-1033
• /
• 2009

This paper presents a real-time hand gesture recognition approach for controlling a computer. We define hand gestures as continuous hand postures and their movements for easy expression of various gestures and propose a Two-layered Bayesian Network (TBN) to recognize those gestures. The proposed method can compensate an incorrectly recognized hand posture and its location via the preceding and following information. In order to vertify the usefulness of the proposed method, we implemented a Virtual Mouse interface, the gesture-based interface of a physical mouse device. In experiments, the proposed method showed a recognition rate of 94.8% and 88.1% for a simple and cluttered background, respectively. This outperforms the previous HMM-based method, which had results of 92.4% and 83.3%, respectively, under the same conditions.

• Proceedings of the Korea Contents Association Conference
• /
• 2006.11a
• /
• pp.801-805
• /
• 2006

In this paper, we describe a system of controlling the pictorial puzzle program using information of hand shape. We extract hand region using skin color information and then principal component analysis uses centroidal profile information which comes blob of 2D appearance for hand shape recognition. This method suit hand shape recognition in real time because it extracts hand region accurately, has little computation quantity, and is less sensitive to lighting change using skin color information in complicated background. Finally, we controlled a pictorial puzzle with using recognized hand shape information. This method has good result when we make an experiment on application of pictorial puzzle. Besides, it can use so many HCI field.