• Journal of Information Processing Systems
• /
• v.8 no.3
• /
• pp.399-408
• /
• 2012

Hand gesture recognition is an important area of research in the field of Human Computer Interaction (HCI). The geometric attributes of the hand play an important role in hand shape reconstruction and gesture recognition. That said, fingertips are one of the important attributes for the detection of hand gestures and can provide valuable information from hand images. Many methods are available in scientific literature for fingertips detection with an open hand but very poor results are available for fingertips detection when the hand is closed. This paper presents a new method for the detection of fingertips in a closed hand using the corner detection method and an advanced edge detection algorithm. It is important to note that the skin color segmentation methodology did not work for fingertips detection in a closed hand. Thus the proposed method applied Gabor filter techniques for the detection of edges and then applied the corner detection algorithm for the detection of fingertips through the edges. To check the accuracy of the method, this method was tested on a vast number of images taken with a webcam. The method resulted in a higher accuracy rate of detections from the images. The method was further implemented on video for testing its validity on real time image capturing. These closed hand fingertips detection would help in controlling an electro-mechanical robotic hand via hand gesture in a natural way.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.236-239
• /
• 2022

증강현실로 날씨, 뉴스 요약 등이 제공되거나 AI 비서 기능을 제공하는 스마트 미러(smart mirror)가 개발되고 있다. 본 작품에서는 IoT 통합제어, 뉴스 요약 및 날씨 정보 제공 등의 서비스를 하나의 웹 플랫폼으로 구축하고 이를 손가락 제스쳐 및 음성 명령으로 제어하는 것을 제안하고 구현하였다. 본 작품에서는 음성 인식을 통해 IoT 서비스를 직관적으로 이용할 수 있게끔 설계하여 사용자의 편의성을 높였으며, 디바이스를 직접 터치하는 방식이 아닌 finger gesture로 제어하는 방식을 채택해, 디바이스 유지 보수 및 위생 문제를 해결하였다. 단순 IoT 통합 제어 기능뿐만 아니라 다양한 컨텐츠 및 기능을 제공함으로써 통합 플랫폼의 기능을 수행할 수 있도록 하였다. 뉴스 홈페이지에서 Crawling한 뉴스를 text rank 알고리즘을 이용. 자동으로 요약하는 기능과, 사용자의 IP를 기반으로 위도와 경도를 추론, 해당 지역의 일기 예보 정보를 표현해 주는 등 단순 IoT 제어 플랫폼이 아닌, 통합 플랫폼의 기능을 다하도록 설계하였다. 이처럼 다양한 정보를 압축해서 사용자가 편하게 볼 수 있도록 제공하며, 직관적인 two track 제어 방식을 채택. 사용 대상의 편의성을 증대시켜 본 프로젝트는 기존 프로젝트보다 사용자에게 더 나은 사용 경험을 제공할 것이다.

• Journal of Korea Game Society
• /
• v.12 no.6
• /
• pp.121-130
• /
• 2012

Due to recent developments in smart media, the desire for interaction between humans and computers has increased. In order to satisfy these needs, gesture recognition fields have been actively studied using image processing. In this paper, we propose a method to recognize Chinese hand numeric representation using image processing. The method binarizes an input image based on skin color to extract region of interest and check the number using the angular information of stretched fingers. Our proposed method has 95.83% of recognition rate.

• Journal of the Ergonomics Society of Korea
• /
• v.34 no.5
• /
• pp.541-548
• /
• 2015

Objective: We introduce a hand gesture segmentation method using a wrist-worn wearable device which can recognize simple gestures of clenching and unclenching ones' fist. Background: There are many types of smart watches and fitness bands in the markets. And most of them already adopt a gesture interaction to provide ease of use. However, there are many cases in which the malfunction is difficult to distinguish between the user's gesture commands and user's daily life motion. It is needed to develop a simple and clear gesture segmentation method to improve the gesture interaction performance. Method: At first, we defined the gestures of making a fist (start of gesture command) and opening one's fist (end of gesture command) as segmentation gestures to distinguish a gesture. The gestures of clenching and unclenching one's fist are simple and intuitive. And we also designed a single gesture consisting of a set of making a fist, a command gesture, and opening one's fist in order. To detect segmentation gestures at the bottom of the wrist, we used a wrist strap on which an array of infrared sensors (emitters and receivers) were mounted. When a user takes gestures of making a fist and opening one's a fist, this changes the shape of the bottom of the wrist, and simultaneously changes the reflected amount of the infrared light detected by the receiver sensor. Results: An experiment was conducted in order to evaluate gesture segmentation performance. 12 participants took part in the experiment: 10 males, and 2 females with an average age of 38. The recognition rates of the segmentation gestures, clenching and unclenching one's fist, are 99.58% and 100%, respectively. Conclusion: Through the experiment, we have evaluated gesture segmentation performance and its usability. The experimental results show a potential for our suggested segmentation method in the future. Application: The results of this study can be used to develop guidelines to prevent injury in auto workers at mission assembly plants.

• The Journal of the Convergence on Culture Technology
• /
• v.7 no.2
• /
• pp.411-417
• /
• 2021

The field that studies human-computer interaction is called HCI (Human-computer interaction). This field is an academic field that studies how humans and computers communicate with each other and recognize information. This study is a study on hand gesture recognition for human interaction. This study examines the problems of existing recognition methods and proposes an algorithm to improve the recognition rate. The hand region is extracted based on skin color information for the image containing the shape of the human hand, and the center of gravity profile is calculated using principal component analysis. I proposed a method to increase the recognition rate of hand gestures by comparing the obtained information with predefined shapes. We proposed a method to increase the recognition rate of hand gestures by comparing the obtained information with predefined shapes. The existing center of gravity profile has shown the result of incorrect hand gesture recognition for the deformation of the hand due to rotation, but in this study, the center of gravity profile is used and the point where the distance between the points of all contours and the center of gravity is the longest is the starting point. Thus, a robust algorithm was proposed by re-improving the center of gravity profile. No gloves or special markers attached to the sensor are used for hand gesture recognition, and a separate blue screen is not installed. For this result, find the feature vector at the nearest distance to solve the misrecognition, and obtain an appropriate threshold to distinguish between success and failure.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.11a
• /
• pp.127-130
• /
• 2007

최근 하지가 불편한 노약자나 장애인이 집 안의 다양한 가전기기를 손쉽게 제어할 수 있게 하는 비전 기반의 손동작 인식 기술이 발전해 왔다. 다수의 사용자가 하나의 손동작 인식 시스템을 사용할 경우 사용자마다 손동작 특성이 모두 다르기 때문에 특정 사용자의 인식률이 저하되는 문제가 발생한다. 또한 동일한 사용자라 하더라도 시간에 따라 손동작 특성이 변화할 수 있다. 사용자마다 다른 손동작 특성은 모텔 학습 및 선택 기법을 사용해 효과적으로 다루어질 수 있다. 시간에 따라 변하는 사용자의 특성은 퍼지 개념을 이용해 효과적으로 다루어질 수 있다. 본 논문에서는 다변량 퍼지 의사결정트리를 이용해 사용자 별 인식모텔을 만드는 방법을 제시한다. 또한 새로운 사용자가 시스템을 사용할 경우 가장 적합한 모델을 선택해 인식에 사용하고 인식률을 측정한다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1348-1353
• /
• 2006

본 논문은 3 차원 게임 제어를 위한 인간의 동작인식에 대하여 기술하고 있다. 사용자의 편의성을 위하여 게임에 직관적으로 적용할 수 있는 인간의 동작들을 마커프리 모션 캡쳐 장비를 이용하여 취득하고, 이를 실시간으로 인식하는 동작 인식 시스템을 개발하였다. 또한, 개발된 동작인식기를 이용한 3차원 게임으로의 응용시스템의 접근 방식에 대하여 기술하고 있다. 개발된 동작 인식기는 LDA 방식에 기반을 둔 확률적 접근 방식으로 실시간으로 빠르고 정확하게 응용 시스템에 필요한 인간의 동작을 구별할 수 있도록 설계되었다. 개발된 시스템에서는 인식된 결과를 실시간으로 실제 어플리케이션에 전달하여 그 결과를 직접 사용자가 판단하여 다음 동작을 수행 할 수 있도록 되어 있다. 본 논문은, 이러한 실제 시스템의 개발을 통하여, 3 차원 인간 동작의 간단하고 유용한 활용 방법에 대한 해법을 제시하고 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1037-1043
• /
• 2006

본 논문에서는 유비쿼터스 컴퓨팅 오피스 환경에서 가장 직관적인 HCI 수단인 손 제스처를 사용하여 대형 스크린 상의 응용 프로그램들을 쉽게 제어할 수 있는 시스템을 제안한다. 손 제스처는 손 영역의 정보, 손 중심점의 위치 변화값과 손가락 형상을 이용하여 시스템 제어에 필요한 종류들을 미리 정의해 둔다. 먼저 효율적으로 손 영역 획득을 위해 적외선 카메라를 사용하여 연속된 영상을 획득한다. 획득된 영상 프레임으로부터 구조적 템플레이트 매칭 방법을 사용하여 손의 중심(centroid) 및 손가락끝(fingertip)을 검출한다. 인식과정에서는 양손의 Euclidean distance와 손가락 형상 정보를 이용하여 미리 정의된 제스처와 비교하여 인식을 행한다. 본 논문에서 제안한 비전 기반 hand gesture 제어 시스템은 인간과 컴퓨터의 상호작용을 이해하는데 많은 이점을 제공할 수 있다. 실험 결과를 통해 본 논문에서 제안한 방법의 효율성을 입증한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.423-428
• /
• 2007

본 연구는 기존의 프레젠터의 단순한 포인터 및 클릭 기능을 넘어선 다기능 제스처 인식 포인터의 구현이 주 목적이다. 주된 연구 내용으로는 적외선 발광 다이오드에서 나오는 빛을 인지하여 포인터의 궤적 인식을 하는 기술과 이를 응용한 어플리케이션의 개발에 있다. 본 하드웨어에는 기본적인 마우스 클릭 기능 외에도 적외선 발광 다이오드를 탑재하여 PC와 연결된 카메라가 이를 인지하도록 한다. 장점으로는 카메라가 항상 PC와 가까이 있을 필요가 없으므로 어느 장소이든 관계없이 적외선 투과 필터가 장착된 카메라 하나만 설치할 수 있는 곳이면 구현이 가능하며 적외선을 이용하므로 가시광선의 영향을 적게 받아 효율적으로 영상 처리를 할 수 있다는 데에 있다. 제스처 인식을 통하여 수많은 여러 가지 기능을 실행할 수 있으며, 보다 사용자와 인터랙티브한 작업이 가능해진다. 구현된 하드웨어와 소프트웨어 시스템은 프레젠테이션 및 게임 컨트롤에 사용되었다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.891-896
• /
• 2007

지금까지 진행된 제스처 인식 연구는 한 사람을 대상으로 정적인 환경을 가정하여 이루어져 왔다. 본 논문에서는 복수의 등장인물이 존재하는 환경에서 대화 상대를 선택하여 제스처를 인식하는 방법에 대해 기술한다. 먼저 복수의 인물이 존재하는 환경에서 배경영역을 제외한 행위자의 영역을 추출한다. 그 후 각각의 행위자를 트래킹하면서 카메라와 가장 가까이 있는 행위자를 대화 상대자로 선택한다. 대화상대자가 선택되면 스테레오 카메라에서 입력된 영상에서 추출된 실루엣 이미지를 이용하여 얼굴과 두 손을 특징 영역으로 하여 매 프레임마다 Kalman filter를 사용하여 각 영역을 트래킹한다. 트래킹되는 특징 영역의 2차원 좌표 값을 모델 제스처의 2차원 좌표 값과 비교하여 가장 높은 유사값을 갖는 모델 제스처를 입력 제스처로 인식하게 된다. 본 논문에서 사용한 방법은 복수의 등장인물이 있는 경우 효과적으로 행위 대상자를 선택하여 제스처를 인식할 수 있다. 또한 제스처 인식에 있어서 단순한 큐 매칭을 사용함으로써 계산이 복잡하지 않은 장점이 있다. 실험을 통해 본 논문에서 제시한 방법을 적용함으로써 복수의 인물이 등장하는 환경에서 제스처 인식이 가능함을 입증한다.