• 한국CDE학회논문집
• /
• 제16권4호
• /
• pp.277-284
• /
• 2011

In tangible augmented reality (AR) environments for virtual prototyping, the user interacts with virtual products by manipulating tangible objects with his or her hands, but the user often encounter awkward situations in which his or her hands are occluded by augmented virtual objects, which reduces both immersion and ease of interaction. In this paper, we present how to resolve such hand region occlusion in order to enhance natural interaction and immersive visualization. In the AR environment considered, we use two types (product-type and pointer-type) of tangible objects for tangible user interaction with a virtual product of interest. Holding the tangible objects with his or her hands, the user can create input events by touching specified regions of the product-type tangible object with the pointer-type tangible object. We developed a method for resolving hand region occlusion frequently arising during such user interaction, It first detect hand region in a real image and refines the rendered image of the virtual object by subtracting the hand region from the rendered image, Then, it superimposes the refined image onto the real image to obtain an image in which the occlusion is resolved. Incorporated into tangible AR interaction for virtual prototyping of handheld products such as cellular phones and MP3 players, the method has been found by a preliminary user study that it is not only useful to improve natural interaction and immersive visualization of virtual products, but also helpful for making the users experience the products' shapes and functions better.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제1권3호
• /
• pp.177-186
• /
• 2012

본 논문에서는 실시간 손동작 분석을 위한 깊이정보 기반 손 영역 검출 및 추적 방법을 제안한다. 이를 위해 손 영역 검출단계에서는 깊이정보만을 이용하여 손 영역의 특징인 형태모델을 생성하고, 검출 시 움직임 정보와 영역 확장(Region Growing)을 통해 객체를 추출한다. 추출된 객체는 사전에 생성된 형태모델과 크기정보를 분석하여 최종 손 영역으로 판정한다. 판정된 손 객체는 추적단계에서 중심점 전이 과정을 통해 이전 중심점과의 최근접점을 획득하고, 최근접점으로부터 영역 확장과 깊이기반 적응적 평균 이동 기법(DAM-Shift)을 통해 새로운 중심점을 검출하여 추적한다. 마지막으로 성능 검증을 위해 다양한 손 모양과 속도 및 위치에 대한 다양한 환경에서 실험하고, 검출속도와 추적된 궤적의 정량적, 정성적 분석을 통해 제안하는 방법의 효율성을 입증한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 추계종합학술대회 논문집
• /
• pp.1003-1006
• /
• 1999

Hand segmentation and tracking is essential to the development of a hand gesture recognition system. This research features segementation and tracking of hand regions based the hue component of color. We propose a method that employs HSI color model, and segments and tracks hand regions using the hue component of color alone. In order to track the segmented hand regions, we only apply Kalman filter to a region of interest represented by a rectangle region. Initial experimental results show that the system accurately segments and tracks hand regions although it only uses the hue compoent of color. The system yields near real time throghput of 8 frames per second on a Pentium II 233MHz PC.

• 정보처리학회논문지B
• /
• 제10B권4호
• /
• pp.473-478
• /
• 2003

본 논문은 복잡한 영상에서 추출해낸 손 영역으로부터 움직임 정보를 이용하여 제스처를 인식하는 시스템에 관한 것이다. 제안한 방법은 먼저 인접한 프레임간의 파 영상에 대하여 엔트로피를 측정한다. 큰 값을 갖는 영역에 대해 피부색에 가까운 분포를 갖는 색깔 정보를 추출하여 배경 영상으로부터 손 영역만을 추출한다. 추출된 손 영역에 대해 체인코드를 이용하여 외곽선을 검출하고 개선된 무게중심 프로필(centroidal profile) 방법을 적용하여 손의 제스처론 인식한다. 6가지 모양의 손 제스처를 사용한 실험 결과 기존의 방법들과 달리 표식을 사용하지 않고도 복잡한 배경과 조명의 변화에서 안정적으로 손 제스처를 인식할 수 있다. 또한 초당 15프레임 정도의 처리속도로 각 사람별로 95% 이상, 각 제스처별로 99∼100%의 인식률을 얻을 수 있다.

• 로봇학회논문지
• /
• 제10권4호
• /
• pp.223-229
• /
• 2015

This paper proposes a novel method for detection of hand raising poses from images acquired from a single camera attached to a mobile robot that navigates unknown dynamic environments. Due to unconstrained illumination, a high level of variance in human appearances and unpredictable backgrounds, detecting hand raising gestures from an image acquired from a camera attached to a mobile robot is very challenging. The proposed method first detects faces to determine the region of interest (ROI), and in this ROI, we detect hands by using a HOG-based hand detector. By using the color distribution of the face region, we evaluate each candidate in the detected hand region. To deal with cases of failure in face detection, we also use a HOG-based hand raising pose detector. Unlike other hand raising pose detector systems, we evaluate our algorithm with images acquired from the camera and images obtained from the Internet that contain unknown backgrounds and unconstrained illumination. The level of variance in hand raising poses in these images is very high. Our experiment results show that the proposed method robustly detects hand raising poses in complex backgrounds and unknown lighting conditions.

• 한국정보통신학회논문지
• /
• 제15권7호
• /
• pp.1564-1572
• /
• 2011

본 논문에서는 증강현실을 위한 히스토그램 기반의 손 인식 기법을 제안한다. 손동작 인식은 사용자와 컴퓨터 사이의 친숙한 상호작용을 가능하게 한다. 하지만, 비젼 기반의 손동작 인식은 복잡한 손의 형태로 인한 관찰 방향 변화에 따른 입력 영상의 다양함으로 인식에 어려움이 따른다. 따라서 본 논문에서는 손의 형태적인 특징을 이용한 새로운 모델을 제안한다. 제안하는 기법에서 손 인식은 카메라로부터 획득한 영상에서 손 영역을 분리하는 부분과 인식하는 부분으로 구성된다. 카메라로부터 획득한 영상에서 배정을 제거하고 피부색 정보를 이용하여 손 영역을 분리한다. 다음으로 히스토그램을 이용하여 손의 특징점을 구하여 손의 형태를 계산한다. 마지막으로 판별된 손인식 정보를 이용하여 3차원 객체를 제어하는 증강현실 시스템을 구현하였다. 실험을 통해 제안한 기법의 구현 속도가 빠르고 인식률도 91.7%로 비교적 높음을 확인하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2005년도 학술대회 논문집 정보 및 제어부문
• /
• pp.186-188
• /
• 2005

Hand region detection in images is an important process in many computer vision applications. It is a process that usually starts at a pixel-level, and that involves a pre-process of color space transformation followed by a classification process. A color space transformation is assumed to increase separability between skin classes for hands and non-skin classes for other parts, to increase similarity among different skin tones, and to bring a robust performance under varying illumination conditions, without any sound reasonings. In this work, we examine if the color space transformation does bring those benefits to the problem of hand region detection on a dataset of images with different hand postures, backgrounds, people, and illuminations. Results indicate that best of the color space is the normalized RGB.

• 한국산학기술학회논문지
• /
• 제20권9호
• /
• pp.525-531
• /
• 2019

인간과 컴퓨터 사이의 보다 자연스러운 상호적인 인터페이스를 효과적으로 구현하기 위해서 사람의 제스처를 활용하려는 노력이 최근 들어 지속적으로 시도되고 있다. 본 논문에서는 연속적으로 입력되는 3차원의 깊이 영상을 받아들여서 손 모델을 정의하고, 정의된 손 모델을 기반으로 사람의 손 영역을 강인하게 추출하는 알고리즘을 제시한다. 본 논문에서 제시된 알고리즘에서는 먼저 21개의 관절을 사용하여 손 모델을 정의한다. 본 논문에서 정의한 손 모델은 6개의 손바닥 관절을 포함하는 손바닥 모델과 15개의 손가락 관절을 포함하는 손가락 모델로 구성된다. 그런 다음, 입력되는 3차원의 깊이 영상을 적응적으로 이진화함으로써, 배경과 같은 비관심 영역들은 제외하고, 관심 영역인 사람의 손 영역만을 정확하게 추출한다. 실험 결과에서는 제시된 알고리즘이 연속적으로 입력되는 깊이 영상으로부터 배경과 같은 영역들은 제외하고 사람의 손 영역만을 기존의 알고리즘에 비해 약 2.4% 보다 강인하게 검출한다는 것을 보여준다. 본 논문에서 제안된 손 영역 추출 알고리즘은 제스처 인식, 가상현실 구현, 3차원 운동 게임, 수화 인식 등과 같은 컴퓨터 비전 및 영상 처리와 관련된 여러 가지의 실제적인 분야에서 유용하게 활용될 것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권2호
• /
• pp.763-774
• /
• 2015

Hand posture recognition has been a wide region of applications in Human Computer Interaction and Computer Vision for many years. The problem arises mainly due to the high dexterity of hand and self-occlusions created in the limited view of the camera or illumination variations. To remedy these problems, a hand posture recognition method using 3-D point cloud is proposed to explicitly utilize 3-D information from depth maps in this paper. Firstly, hand region is segmented by a set of depth threshold. Next, hand image normalization will be performed to ensure that the extracted feature descriptors are scale and rotation invariant. By robustly coding and pooling 3-D facets, the proposed descriptor can effectively represent the various hand postures. After that, SVM with Gaussian kernel function is used to address the issue of posture recognition. Experimental results based on posture dataset captured by Kinect sensor (from 1 to 10) demonstrate the effectiveness of the proposed approach and the average recognition rate of our method is over 96%.

• 산업기술연구
• /
• 제29권A호
• /
• pp.47-54
• /
• 2009

In this paper, we proposed hand detection and hand gesture recognition from USB camera video. Firstly, we extract hand region extraction using skin color information from a difference images. Background image is initially stored and extracted from the input images in order to reduce problems from complex backgrounds. After that, 16-directional chain code sequence is computed from the tracking of hand motion. These chain code sequences are compared with pre-trained models using DP matching. Our hand gesture recognition system can be used to control PowerPoint slides or applied to multimedia education systems. We got 92% hand region extraction accuracy and 82.5% gesture recognition accuracy, respectively.