• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1143-1148
• /
• 2006

사용자 친화형 유저 인터페이스 구현을 위해 인간의 손 형상을 실시간으로 인식하는 연구의 중요성이 부각되고 있다. 그러나 인간의 손은 자유도가 크기 때문에 손 형상을 정확히 인식하기란 매우 어렵고 또한 피부색과 유사한 색을 가지는 복잡한 배경에서는 더욱 곤란하다. 본 논문에서는 별도의 센서를 부착하지 않고 카메라를 사용하여 피부색 정보에 의한 손 형상을 분할한 후 손가락 끝 점을 찾는다. 찾은 손가락 끝점을 이용하여 방향을 탐지하는 알고리즘에 대해 기술한다. 이 방법은 템플리트 매칭을 이용하여 손가락 끝 점을 탐색한 후 찾은 손 가락 끝 점과 손목의 중심을 이용하여 전, 후, 좌, 우 방향을 탐지한다. 제안하는 방법을 이용하여 3D가상현실 공간에서의 Navigation에 응용하였으며, 실험결과 전진, 후진 및 좌측, 우측의 방향전환도 매우 좋은 결과를 보였다. 또한 본 논문에서 제안하는 방법은 마우스, 키보드, 조이스틱 등의 조작 없이 전, 후, 좌, 우 방향전환을 사용자가 직관적으로 지시함으로써 보다 자연스러운 인간과 컴퓨터의 상호작용을 제공할 수 있을 것이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.368-370
• /
• 2000

본 논문에서는 새로운 내용기반 영상 검색 방법인 'query-by-gesture'를 제안하고 이를 본 논문의 영역기반 영상 검색 도구인 FRIP시스템에 적용하였다. 'query-by-gesture' 검색 방법을 이용하여, 사용자는 마우스나 다른 스케치 도구를 사용하지 않더라도 컴퓨터에 부착된 카메라를 이용하여 쉽고 편리한 방법으로 찾고자 하는 객체를 검색할 수 있다. 또한 본 논문에서 제안하는 'query-by-gesture' 방법은 다른 동작 인식 방법에서 문제점으로 제기되는 속도 문제를 해결하기 위해 색상을 이용하여 손 영역을 찾아내고 찾아진 손가락 끝점에 local 윈도우를 적용시켜 빠르고 효율적인 검색 환경을 제공하도록 설계되었다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.18 no.7
• /
• pp.1686-1694
• /
• 2014

In this paper, a new scheme to recognize a finger shape in the depth image captured by Kinect is proposed. Rigid transformation of an input finger shape is pre-processed for its robustness against the shape angle of input fingers. After extracting contour map from hand region, observing the change of contour pixel location is performed to calculate rotational compensation angle. For the finger shape recognition, we first acquire three pixel points, the most left, right, and top located pixel points. In the proposed algorithm, we first acquire three pixel points, the most left, right, and top located pixel points for the finger shape recognition, also we use geometrical features of human fingers such as Euclidean distance, the angle of the finger and the pixel area of hand region between each pixel points to recognize the finger shape. Through experimental results, we show that the proposed algorithm performs better than old schemes.

• Journal of the Institute of Convergence Signal Processing
• /
• v.15 no.3
• /
• pp.85-90
• /
• 2014

In this paper, we propose a virtual violin implementation using the detection of bowing and finger dropping position from the estimated finger tip and finger board information with the 3D image data from a Kinect. Violin finger board pattern and depth information are extracted from the color image and depth image to detect the touch event on the violin finger board and to identify the touched position. Final decision of activated musical alphabet is carried out with the finger drop position and bowing information. Our virtual violin uses PC MIDI to output synthesized violin sound. The experimental results showed that the proposed method can detect finger drop position and bowing detection with high accuracy. Virtual violin can be utilized for the easy and convenient interface for a beginner to learn playing violin with the PC-based learning software.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.21 no.3
• /
• pp.636-642
• /
• 2017

In this paper, We proposed a novel hand-gesture recognition algorithm using concentric-circle expanding and tracing. The proposed algorithm determines region of interest of hand image through preprocessing the original image acquired by web-camera and extracts the feature of hand gesture such as the number of stretched fingers, finger tips and finger bases, angle between the fingers which can be used as intuitive method for of human computer interaction. The proposed algorithm also reduces computational complexity compared with raster scan method through referencing only pixels of concentric-circles. The experimental result shows that the 9 hand gestures can be recognized with an average accuracy of 90.7% and an average algorithm execution time is 78ms. The algorithm is confirmed as a feasible way to a useful input method for virtual reality, augmented reality, mixed reality and perceptual interfaces of human computer interaction.

• Journal of the Institute of Convergence Signal Processing
• /
• v.15 no.2
• /
• pp.42-47
• /
• 2014

A finger-gesture game controller using the single camera is implemented in this paper, which is based on the recognition of the number of fingers and the index finger moving direction. Proposed method uses the CAMShift algorithm to trace the end-point of index finger effectively. The number of finger is recognized by using a double circle tracing method. Then, HSI color mode transformation is performed for the CAMShift algorithm, and YCbCr color model is used in the double circle tracing method. Also, all processing tasks are implemented by using the Intel OpenCV library and C++ language. In order to evaluate the performance of the proposed method, we developed a shooting game simulator and validated the proposed method. The proposed method showed the average recognition ratio of more than 90% for each of the game command-mode.

• Journal of the Korea Society of Computer and Information
• /
• v.17 no.12
• /
• pp.219-228
• /
• 2012

In this paper, we propose a paper keyboard piano implementation using the finger movement detection with the 3D image data from a kinect. Keyboard pattern and keyboard depth information are extracted from the color image and depth image to detect the touch event on the paper keyboard and to identify the touched key. Hand region detection error is unavoidable when using the simple comparison method between input depth image and background depth image, and this error is critical in key touch detection. Skin color is used to minimize the error. And finger tips are detected using contour detection with area limit and convex hull. Finally decision of key touch is carried out with the keyboard pattern information at the finger tip position. The experimental results showed that the proposed method can detect key touch with high accuracy. Paper keyboard piano can be utilized for the easy and convenient interface for the beginner to learn playing piano with the PC-based learning software.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.129-132
• /
• 2009

컴퓨터의 소형화로 휴대성과 공간의 제약이 없는 컴퓨터 인터페이싱 방법의 필요성이 증가하고 있으며, 이와 관련하여 인간-컴퓨터 상호작용(HCI)을 위한 제스처 기반의 제어방식에 대한 연구가 활발하게 진행되고 있다. 기존의 손동작 인터페이스 구현들은 컴퓨터를 제어하기 위하여 사용방법에 대한 선행학습이 필요하였다. 이 논문은 사용자의 손 모양과 손끝 정보만을 가지고 선행학습이 요구되지 않는 간편한 인터페이스 구현방법을 제안하였다. 이를 위해 1대의 웹캠과 인텔의 오픈소스 영상처리 라이브러리 OpenCv를 사용하였다. 차영상과 화소값 기반의 영상처리과정을 통해 실시간으로 손 영역을 추적하고 이를 이진화 시켰다. 손가락의 움직임도 값이 변하지 않도록 중심모멘트를 설정하여 마우스 커서 움직임을 상대적으로 활용하였다. 상황에 따라 손 끝점을 절대적 좌표로 활용하여 손이 웹캠에서 벋어날 때 움직임을 자연스럽게 연결시켰다. 마지막으로 검지의 움직임 하나 만으로 마우스 클릭 이벤트를 수행함으로써 보다 사용자에게 친숙한 핸드마우스 인터페이스를 구현하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.516-520
• /
• 2010

컴퓨터와 인간과의 상호작용에서 다양한 형태의 인터페이스에 대한 요구가 날로 커지고 있다. 그 가운데 실생활에서도 사물을 지칭하거나 의사소통의 수단으로 사용되는 손과 관련한 인터페이스에 대한 연구가 주목 받고 있다. 기존의 대부분의 연구들은 손을 입력 받으면 영상을 기반으로 손의 중심점을 찾아 그것의 위치를 인식하였는데 이는 물체에 의해 손이 가려진 것과 같이 잘못된 영상을 입력 받았을 때 원하는 결과를 얻지 못하는 상황을 야기할 수 있다. 본 논문은 이러한 점을 보완하기 위하여 손의 중심점을 찾을 때 방해 받는 물체에 덜 민감하게 반응하도록 칼만 필터를 적용하여 문제점을 개선할 수 있도록 하였다. 또한 결과의 정확도를 높일 수 있도록 손가락 끝점을 추출하여 칼만 필터의 매개변수에 반영시켜주었다. 그 결과 예기치 못한 상황이 발생했을 때에도 이것에 덜 민감하게 반응하면서 손의 위치를 비교적 정확하게 측정할 수 있었으며 시스템의 과정이 간단하여 실시간으로 응용하기에 적합한 것을 알 수 있었다.

• Journal of Korea Game Society
• /
• v.12 no.5
• /
• pp.79-88
• /
• 2012

In this paper, we present a real-time hand pose recognition method to provide an intuitive user interface through hand poses or movements without a keyboard and a mouse. For this, the areas of right and left hands are segmented from the depth camera image, and noise removal is performed. Then, the rotation angle and the centroid point of each hand area are calculated. Subsequently, a circle is expanded at regular intervals from a centroid point of the hand to detect joint points and end points of the finger by obtaining the midway points of the hand boundary crossing. Lastly, the matching between the hand information calculated previously and the hand model of previous frame is performed, and the hand model is recognized to update the hand model for the next frame. This method enables users to predict the hidden fingers through the hand model information of the previous frame using temporal coherence in consecutive frames. As a result of the experiment on various hand poses with the hidden fingers using both hands, the accuracy showed over 95% and the performance indicated over 32 fps. The proposed method can be used as a contactless input interface in presentation, advertisement, education, and game applications.