• Journal of Korea Society of Industrial Information Systems
• /
• v.16 no.2
• /
• pp.99-109
• /
• 2011

This paper presents implementation details of home appliance control system using personal communicator based on LN2440 single board computer, which recognizes hand-gesture of user, controls remote moving device such as mobile home server, robot etc. through delivery of proper control commands. Also, this paper includes details of design and implementation of home gateway and mobile home server. The implemented prototype can be utilized to develop various remote control system including a remote exploration robot, intelligent wheelchair based on general purpose embedded system.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.30 no.12C
• /
• pp.1175-1180
• /
• 2005

We present a vision-based hand gesture detection and tracking system. Most conventional hand gesture recognition systems utilize a simpler method for hand detection such as background subtractions with assumed static observation conditions and those methods are not robust against camera motions, illumination changes, and so on. Therefore, we propose a statistical method to recognize and detect hand regions in images using geometrical structures. Also, Our hand tracking system employs multiple cameras to reduce occlusion problems and non-synchronous multiple observations enhance system scalability. In this experiment, the proposed method has recognition rate of $99.28\%$ that shows more improved $3.91\%$ than the conventional appearance method.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.513-518
• /
• 2006

본 논문에서는 특별한 스튜디오 조명이 아닌 가정용 혹은 학교용 조명 하에서 동작하는 감정 표현이 가능한 그림자 놀이 도구를 소개한다. 이 놀이는 사용자의 실사로부터 추출된 가상 그림자에 사용자의 동작에 따라 실시간으로 반응하는 가상 표정 애니메이션 캐릭터를 투영한다. 이 놀이 도구는 행위전시 등의 공연 환경뿐만 아니라 가정, 학교 등의 일상 환경에서도 동작이 가능하도록 설계되었다. 따라서 가장 일반적인 조명의 하나인 가정용 형광등과 백열등 환경을 가정하였고, 배경에 대해서는 어떤 제약도 가정하지 않았다. 사용자의 실사를 구분하는 과정에는 배경 차분화 기법을 사용하였고, 빛의 산란 및 실제 그림자의 영향 등으로 인한 잡음을 최소화하기 위해 몇 가지 잡음 제거 알고리즘을 결합하여 적용하였다. 이 도구에서 가상 그림자의 표정 애니메이션은 사용자의 손동작에 따라 변화하며, 손동작 및 머리 위치의 추적을 위해 새로이 고안한 자질 기반 추적 기법을 적용하였다. 이 도구는 공연장에서의 인터렉티브 미디어 아트 전시 또는 공연, 아동 대상의 미술 교육, 예술치료 등의 분야에 활용될 수 있을 것으로 판단된다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2008.10a
• /
• pp.419-423
• /
• 2008

사람의 손동작은 오랫동안 하나의 언어역할을 하는 통신 수단으로 사용되어 왔다. 이러한 손동작 중에서 가장 체계를 갖춘 수화는 청각장애인이 일반인과 일상 대화를 할 수 있도록 도와주는 주요한 통신 수단이다. 하지만 건청인들의 대부분이 습득하고 있지 않아 청각장애인들과 의사소통이 거의 불가능 한 것이 현실이다. 따라서 본 논문에서는 건청인과 청각장애인들 간의 의사소통을 원활하게 하기 위해 색상 정보와 퍼지 클러스터링 알고리즘을 이용한 실시간 수화 인식 방법을 제안한다. 제안된 방법은 화상 카메라를 통해 얻어진 실시간 영상에서 YCbCr 컬러 공간에서 색차 정보에 해당하는 Cb, Cr 정보를 각각 추출한 후, 이진화한 영상과 원본 영상에서 마스크를 통한 에지를 추출한 이진화 영상에 대해 논리연산을 통해 두 손의 위치와 외곽을 추출한다. 추출된 각 정보를 조합하여 8 방향 윤곽선 추적 알고리즘을 적용하여 객체의 위치를 추적한다. 그리고 추적한 객체의 영역에 대해 형태학적 정보를 이용하여 잡음을 제거한 후, 최종적으로 두 손의 영역을 추출한다. 추출된 손의 영역은 퍼지 클러스터링 기법 중의 FCM 알고리즘을 적용하여 수화의 특징들을 분류하고 인식한다. 제안된 방법의 성능을 평가하기 위해 화상카메라를 통해 얻어진 실시간 영상을 대상으로 실험한 결과, 제안된 방법이 두 손 영역의 추출에 효과적이고 수화 인식에 있어서 가능성을 확인하였다.

• Journal of Korea Game Society
• /
• v.6 no.2
• /
• pp.3-12
• /
• 2006

Recently, Many 3D augmented reality games that provide strengthened immersive have appeared in the 3D game environment. In this article, we describe a barehanded interaction method based on human hand gestures for augmented reality games. First, feature points are extracted from input video streams. Point features are tracked and motion of moving objects are computed. The shape of the motion trajectories are used to determine whether the motion is intended gestures. A long smooth trajectory toward one of virtual objects or menus is classified as an intended gesture and the corresponding action is invoked. To prove the validity of the proposed method, we implemented two simple augmented reality applications: a gesture-based music player and a virtual basketball game. In the music player, several menu icons are displayed on the top of the screen and an user can activate a menu by hand gestures. In the virtual basketball game, a virtual ball is bouncing in a virtual cube space and the real video stream is shown in the background. An user can hit the virtual ball with his hand gestures. From the experiments for three untrained users, it is shown that the accuracy of menu activation according to the intended gestures is 94% for normal speed gestures and 84% for fast and abrupt gestures.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2012.05a
• /
• pp.22-25
• /
• 2012

본 논문에서는 키보드나 마우스와 같은 인풋 디바이스 없이 손동작만으로 컴퓨터를 조작할 수 있는 차세대 인터페이스인 에어 인터페이스를 구현하였다. 이 시스템 구현을 위해 먼저 적외선 카메라와 적외선 LED를 사용하였고, 또한 적외선의 전반사의 원리를 이용하였다. 이를 통해 획득된 적외선 영상은 다양한 영상처리 기술을 통해 손 영역을 분할, 검출하게 되고, 검출된 정보를 이용하여 다양한 메타포를 구현 하였으며, 최종적으로 개별적인 제어 이벤트에 각각 맵핑되어 컴퓨터를 제어 및 동작하는 과정을 수행하게 된다. 본 연구에서는 손 영역의 검출과 추적, 인식과정 등을 자세히 서술하였으며, 다양한 메타포도 함께 소개가 된다. 그리고 본 연구에서 사용된 기술을 더욱 발전시키면 사회 전반적으로 다양한 부분에서 적극 활용될 것으로 기대된다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.27 no.2
• /
• pp.126-131
• /
• 2017

In this paper, we propose a method to extract meaningful motion among various kinds of hand gestures on giving commands to robots using hand gestures. On giving a command to the robot, the hand gestures of people can be divided into a preparation one, a main one, and a finishing one. The main motion is a meaningful one for transmitting a command to the robot in this process, and the other operation is a meaningless auxiliary operation to do the main motion. Therefore, it is necessary to extract only the main motion from the continuous hand gestures. In addition, people can move their hands unconsciously. These actions must also be judged by the robot with meaningless ones. In this study, we extract human skeleton data from a depth image obtained by using a Kinect v2 sensor and extract location data of hands data from them. By using the Kalman filter, we track the location of the hand and distinguish whether hand motion is meaningful or meaningless to recognize the hand gesture by using the hidden markov model.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.47 no.3
• /
• pp.1-10
• /
• 2010

As various interfacing devices for computational machines are being developed, a new HCI method using hand motion input is introduced. This interface method is a vision-based approach using a single camera for detecting and tracking hand movements. In the previous researches, only a skin color is used for detecting and tracking hand location. However, in our design, skin color and shape information are collectively considered. Consequently, detection ability of a hand increased. we proposed primary orientation edge descriptor for getting an edge information. This method uses only one hand model. Therefore, we do not need training processing time. This system consists of a detecting part and a tracking part for efficient processing. In tracking part, the system is quite robust on the orientation of the hand. The system is applied to recognize a hand written number in script style using DNAC algorithm. Performance of the proposed algorithm reaches 82% recognition ratio in detecting hand region and 90% in recognizing a written number in script style.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.526-528
• /
• 2004

본 논문은 센서 네트워크 환경에서 사용자 센싱을 통한 입력장치인 MGlove (Multiple-sensing Clove)의 구현에 대해 기술한다. 본 입력장치는 버튼 없이 2축 가속 센서, 2축 자기 센서, 포토 다이오드의 세 가지 종류의 센서를 사용하여 사용자의 손동작을 통해 입력을 감지하고 RF 모듈을 이용하여 무선으로 통신 가능하다. 구현한 MGlove는 유비 쿼터스 센서 네트워크 환경을 위한 입력 장치로 context-aware input device로의 발전 가능성이 있으며, 센서 추적 기법을 통해 사용자의 자세, 위치, 방향에 관계없이 입력 가능하고 RF모듈을 통해 먼 거리에서도 조작이 가능한 특징을 가진다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.148-153
• /
• 2006

인간-컴퓨터 상호작용(HCI) 기술은 과거 컴퓨터란 어렵고 소수의 숙련자만이 다루는 것이라는 인식을 바꾸어 놓았다. HCI 는 컴퓨터 사용자인 인간에게 거부감 없이 수용되기 위해 인간과 컴퓨터가 조화를 이루는데 많은 성과를 거두어왔다. 컴퓨터 비전에 기반을 두고 인간과 컴퓨터의 상호작용을 위하여 사용자 의도 및 행위 인식 연구들이 많이 행해져 왔다. 특히 손을 이용한 제스처는 인간과 인간, 인간과 컴퓨터 그리고 최근에 각광받고 있는 인간과 로봇의 상호작용에 중요한 역할을 해오고 있다. 본 논문에서 제안하는 손 추출 및 추적 알고리즘은 비전에 기반한 호출자 인식과 손 추적 알고리즘을 병행한 자연스러운 손 추출 및 추적 알고리즘이다. 인간과 인간 사이의 상호간의 주의집중 방식인 호출 제스처를 인식하여 기반하여 사용자가 인간과 의사소통 하는 것과 마찬가지로 컴퓨터/로봇의 주의집중을 끌도록 하였다. 또한 호출 제스처에 의해서 추출된 손동작을 추적하는 알고리즘을 개발하였다. 호출 제스처는 카메라 앞에 존재할 때 컴퓨터/로봇의 사용자가 자신에게 주의를 끌 수 있는 자연스러운 행동이다. 호출 제스처 인식을 통해 복수의 사람이 존재하는 상황 하에서 또한 원거리에서도 사용자는 자신의 의사를 전달하고자 함을 컴퓨터/로봇에게 알릴 수 있다. 호출 제스처를 이용한 손 추출 방식은 자연스러운 손 추출을 할 수 있도록 한다. 현재까지 알려진 손 추출 방식은 피부색을 이용하고 일정 범위 안에 손이 존재한다는 가정하에 이루어져왔다. 이는 사용자가 제스처를 하기 위해서는 특정 자세로 고정되어 있어야 함을 의미한다. 그러나 호출 제스처를 통해 손을 추출하게 될 경우 서거나 앉거나 심지어 누워있는 상태 등 자연스러운 자세에서 손을 추출할 수 있게 되어 사용자의 불편함을 해소 할 수 있다. 손 추적 알고리즘은 자연스러운 상황에서 획득된 손의 위치 정보를 추적하도록 고안되었다. 제안한 알고리즘은 색깔정보와 모션 정보를 융합하여 손의 위치를 검출한다. 손의 피부색 정보는 신경망으로 다양한 피부색 그룹과 피부색이 아닌 그룹을 학습시켜 얻었다. 손의 모션 정보는 연속 영상에서 프레임간에 일정 수준 이상의 차이를 보이는 영역을 추출하였다. 피부색정보와 모션정보로 융합된 영상에서 블랍 분석을 하고 이를 민쉬프트로 추적하여 손을 추적하였다. 제안된 손 추출 및 추적 방법은 컴퓨터/로봇의 사용자가 인간과 마주하듯 컴퓨터/로봇의 서비스를 받을 수 있도록 하는데 주목적을 두고 있다.