• Journal of Information Processing Systems
• /
• 제8권3호
• /
• pp.399-408
• /
• 2012

Hand gesture recognition is an important area of research in the field of Human Computer Interaction (HCI). The geometric attributes of the hand play an important role in hand shape reconstruction and gesture recognition. That said, fingertips are one of the important attributes for the detection of hand gestures and can provide valuable information from hand images. Many methods are available in scientific literature for fingertips detection with an open hand but very poor results are available for fingertips detection when the hand is closed. This paper presents a new method for the detection of fingertips in a closed hand using the corner detection method and an advanced edge detection algorithm. It is important to note that the skin color segmentation methodology did not work for fingertips detection in a closed hand. Thus the proposed method applied Gabor filter techniques for the detection of edges and then applied the corner detection algorithm for the detection of fingertips through the edges. To check the accuracy of the method, this method was tested on a vast number of images taken with a webcam. The method resulted in a higher accuracy rate of detections from the images. The method was further implemented on video for testing its validity on real time image capturing. These closed hand fingertips detection would help in controlling an electro-mechanical robotic hand via hand gesture in a natural way.

• 전자공학회논문지CI
• /
• 제47권5호
• /
• pp.1-9
• /
• 2010

일반적으로 동적 손동작 인식을 위해서는 전처리, 손 추적, 손 모양 검출의 단계가 필요하다. 본 논문에서는 전처리와 손 모양 검출 방법을 개선함으로써 성능을 향상시킨 동적 손동작 인식 방법을 제안한다. 전처리 단계에서는 동적테이블을 이용하여 노이즈제거 성능을 높이고, YCbCr 컬러공간을 이용한 기존의 피부색 검출 방식에서 피부색의 범위를 조절할 수 있도록 하여 피부색 검출 성능을 높인다. 특히 손 모양 검출 단계에서는 가이드라인을 이용하여 동적 손동작 인식의 요소인 시작이미지(Start Image)와 정지 이미지(Stop Image)를 검출하여 동적 손동작을 인식하기 때문에 학습예제를 사용한 손동작 인식 방법에 비해 인식 속도가 빠르다는 이점이 있다. 가이드라인이란 웹캠을 통해 입력되는 손의 모양과 비교하여 검출하기 위해 화면에 출력하는 손 모양의 라인이다. 가이드라인을 이용한 동적 손동작 인식 방법의 성능을 평가하기 위해 웹캠을 사용하여 복잡한 배경과 단순한 배경으로 구분된 9가지 동영상을 대상으로 실험하였다. 그 결과 CPU 점유율이 낮고, 메모리 사용량도 적기 때문에 시스템 부하가 높은 환경에 효과적임을 알 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3924-3940
• /
• 2020

Dynamic hand gesture recognition(d-HGR) plays an important role in human-computer interaction(HCI) system. With the growth of hand-pose estimation as well as 3D depth sensors, depth, and the hand-skeleton dataset is proposed to bring much research in depth and 3D hand skeleton approaches. However, it is still a challenging problem due to the low resolution, higher complexity, and self-occlusion. In this paper, we propose a hand-shape feature extraction(HSFE) network to produce robust hand-shapes. We build a hand-shape model, and hand-skeleton based on LSTM to exploit the temporal information from hand-shape and motion changes. Fusion between two models brings the best accuracy in dynamic hand gesture (DHG) dataset.

• 한국멀티미디어학회논문지
• /
• 제14권7호
• /
• pp.866-871
• /
• 2011

In this paper, an improved method of hand detecting and hand gesture recognition is proposed, it can be applied in different illumination condition and complex background. We use Adaptive Skin Threshold (AST) to detect the areas of hand. Then the result of hand detection is used to hand recognition through the improved HMM algorithm. At last, we design a simple program using the result of hand recognition for recognizing "stone, scissors, cloth" these three kinds of hand gesture. Experimental results had proved that the hand and gesture can be detected and recognized with high average recognition rate (92.41%) and better than some other methods such as syntactical analysis, neural based approach by using our approach.

• 한국통신학회논문지
• /
• 제30권12C호
• /
• pp.1175-1180
• /
• 2005

본 논문에서는 비전 기반의 손동작 검출 및 추적 시스템을 제안하고자 한다. 기존의 손동작 인식 시스템은 정적인 관측 환경에서 배경을 제거함으로 손을 검출하는 단순한 방법을 사용함으로써, 카메라의 움직임, 조명의 변화 등에 의해 견실하지 못하였다. 그러므로 본 논문에서는 기하학적 구조에 의하여 손의 외형을 인식하여 검출할 수 있는 통계적 방법을 제안하였다. 또한 카메라의 각도에 의한 손이 겹쳐 보이는 문제를 줄이기 위하여 다중 카메라를 사용하였으며 비동기식 다중 관측으로 시스템의 범용성을 향상시키었다. 실험 결과 제안된 방법이 기존의 외관을 이용한 방법보다 $3.91\%$ 개선된 $99.28\%$의 인식률을 나타내어 제안한 방법의 효율성을 입증하였다.

• 한국콘텐츠학회논문지
• /
• 제18권4호
• /
• pp.398-405
• /
• 2018

HCI 분야에서 대표적인 손 제스처 인식은 IT기기의 개발과 더불어 사용자와 기기 간의 상호작용 및 정보교환을 위한 방법으로 주목받고 있다. 영상 처리를 통한 손 제스처 인식에서 손바닥 영역 검출은 처리속도 및 인식률 향상에 기여하는 핵심 처리 과정이다. 본 논문에서는 손바닥 영역 검출(palm area detection)을 위해 손과 손목을 영상 분할(image segmentation) 하는 새로운 방법을 제안한다. 손의 해부학적 특성으로 가장 넓은 폭이 발생하는 엄지와 소지의 장골 간격을 손 영상의 수평 투사 히스토그램으로 계산 후 이 간격을 지름으로 하는 원을 그려 손바닥 영역을 검출한다. 이 방법의 우수성을 검증하기 위하여 다단 형판정합(multiple stage template matching)을 사용해 10가지 손 제스처에 대해 기존 방법 4가지와 인식 성능을 비교 평가한다. 손 제스처 인식에 관련한 연구가 다양하나 손바닥 영역 검출에 특화된 성능 비교 문헌이 저조함을 강조한다.

• 스마트미디어저널
• /
• 제8권3호
• /
• pp.47-52
• /
• 2019

In this paper, we designed HW / SW interfaces for processing the signals of capacitive sensors like Electric Potential Sensor (EPS) to detect the surrounding electric field disturbance as feature signals in motion recognition systems. We implemented a smart light control system with those interfaces. In the system, the on/off switch and brightness adjustment are controlled by hand gestures using the designed and fabricated interface circuits. PWM (Pulse Width Modulation) signals of the controller with a driver IC are used to drive the LED and to control the brightness and on/off operation. Using the hand-gesture signals obtained through EPS sensors and the interface HW/SW, we can not only construct a gesture instructing system but also accomplish the faster recognition speed by developing dedicated interface hardware including control circuitry. Finally, using the proposed hand-gesture recognition and signal processing methods, the light control module was also designed and implemented. The experimental result shows that the smart light control system can control the LED module properly by accurate motion detection and gesture classification.

• 한국멀티미디어학회논문지
• /
• 제13권7호
• /
• pp.1000-1015
• /
• 2010

본 논문에서는 손동작 인식을 위한 새로운 방법을 제안한다. 손 추출을 위한 방법으로는 피부색과 boundary energy 정보를 이용하고 moment method로 손바닥의 중심을 구하게 된다. 손동작 인식은 두 단계로 나눌 수 있다. 첫 번째 단계는 손 형상 인식으로 병렬 신경망을 이용하였다. 손 형상의 패턴을 추출하기 위해서 fitting ellipses method를 이용하였다. fitting ellipses method는 추출된 손 영역을 12개의 타원형으로 분류하고 타원 외곽선의 흰 픽셀 비율을 계산한다. 패턴은 12개의 입력 노드로 신경망에 입력되고 4개의 출력 노드로 출력되는데 각 출력 노드는 0~1사이의 값을 갖게 된다. 손 형상은 4개의 출력 노드의 구성으로 나타낼 수 있다. 두 번째 단계는 손동작 추적과 인식이다. 손동작 추적과 인식을 위해서는 손동작의 위치 정보를 예측 할 수 있는 Kalman Filter를 이용하였다. 실험은 Windows XP상에서 수행되었고 제안한 알고리즘의 효율성을 평가하였다. 손 형상을 인식하기 위해서 300개의 이미지를 인식기에 훈련시키고 200개의 이미지를 실험에 사용하였다. 194개 이상의 이미지가 정확하게 인식 되었다. 그리고 손동작 추적 인식을 실험하기 위해서 1200번의 손동작(각 동작은 400번)을 사용하였고 그 중 1002번의 손동작이 정확하게 인식 되었다.이러한 결과는 제안된 방법이 손 영역을 추출하고 손 동작을 인식하는데 유용함을 확인 할 수 있었다.

• 산업기술연구
• /
• 제29권A호
• /
• pp.47-54
• /
• 2009

In this paper, we proposed hand detection and hand gesture recognition from USB camera video. Firstly, we extract hand region extraction using skin color information from a difference images. Background image is initially stored and extracted from the input images in order to reduce problems from complex backgrounds. After that, 16-directional chain code sequence is computed from the tracking of hand motion. These chain code sequences are compared with pre-trained models using DP matching. Our hand gesture recognition system can be used to control PowerPoint slides or applied to multimedia education systems. We got 92% hand region extraction accuracy and 82.5% gesture recognition accuracy, respectively.

• 한국멀티미디어학회논문지
• /
• 제16권12호
• /
• pp.1393-1402
• /
• 2013

Hand gesture is one of the most popular communication methods in everyday life. In human-computer interaction applications, hand gesture recognition provides a natural way of communication between humans and computers. There are mainly two methods of hand gesture recognition: glove-based method and vision-based method. In this paper, we propose a vision-based hand gesture recognition method using Kinect. By using the depth information is efficient and robust to achieve the hand detection process. The finger labeling makes the system achieve pose classification according to the finger name and the relationship between each fingers. It also make the classification more effective and accutate. Two kinds of gesture sets can be recognized by our system. According to the experiment, the average accuracy of American Sign Language(ASL) number gesture set is 94.33%, and that of general gestures set is 95.01%. Since our system runs in real-time and has a high recognition rate, we can embed it into various applications.