• Journal of Internet Computing and Services
• /
• v.17 no.2
• /
• pp.29-37
• /
• 2016

Humans develop and maintain relationship through communication. Communication is largely divided into verbal communication and non-verbal communication. Verbal communication involves the use of a language or characters, while non-verbal communication utilizes body language. We use gestures with language together in conversations of everyday life. Gestures belong to non-verbal communication, and can be offered using a variety of shapes and movements to deliver an opinion. For this reason, gestures are spotlighted as a means of implementing an NUI/NUX in the fields of HCI and HRI. In this paper, using Kinect and the geometric features of the hand, we propose a method for recognizing the number of fingers and detecting the hand area. A Kinect depth image can be used to detect the hand region, with the finger number identified by comparing the distance of outline and the central point of a hand. Average recognition rate for recognizing the number of fingers is 98.5%, from the proposed method, The proposed method would help enhancing the functionality of the human computer interaction by increasing the expression range of gestures.

• Journal of Broadcast Engineering
• /
• v.23 no.2
• /
• pp.246-252
• /
• 2018

Hand gestures are attracting attention as a NUI (Natural User Interface) of wearable devices such as smart glasses. Recently, to support efficient media consumption in IoT (Internet of Things) and wearable environments, the standardization of IoMT (Internet of Media Things) is in the progress in MPEG. In IoMT, it is assumed that hand gesture detection and recognition are performed on a separate device, and thus provides an interoperable interface between these modules. Meanwhile, deep learning based hand gesture recognition techniques have been recently actively studied to improve the recognition performance. In this paper, we propose a method of hand gesture recognition based on CNN (Convolutional Neural Network) for various applications such as media consumption in wearable devices which is one of the use cases of IoMT. The proposed method detects hand contour from stereo images acquisitioned by smart glasses using depth information and color information, constructs data sets to learn CNN, and then recognizes gestures from input hand contour images. Experimental results show that the proposed method achieves the average 95% hand gesture recognition rate.

• Journal of Advanced Navigation Technology
• /
• v.17 no.2
• /
• pp.247-254
• /
• 2013

The task of 3D gesture recognition for controlling equipments is highly challenging due to the propagation of 3D smart TV recently. In this paper, the AdaBoost algorithm is applied to 3D gesture recognition by using Kinect sensor. By tracking time interval trajectory of hand, wrist and arm by Kinect, AdaBoost algorithm is used to train and classify 3D gesture. Experimental results demonstrate that the proposed method can successfully extract trained gestures from continuous hand, wrist and arm motion in real time.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.423-428
• /
• 2007

본 연구는 기존의 프레젠터의 단순한 포인터 및 클릭 기능을 넘어선 다기능 제스처 인식 포인터의 구현이 주 목적이다. 주된 연구 내용으로는 적외선 발광 다이오드에서 나오는 빛을 인지하여 포인터의 궤적 인식을 하는 기술과 이를 응용한 어플리케이션의 개발에 있다. 본 하드웨어에는 기본적인 마우스 클릭 기능 외에도 적외선 발광 다이오드를 탑재하여 PC와 연결된 카메라가 이를 인지하도록 한다. 장점으로는 카메라가 항상 PC와 가까이 있을 필요가 없으므로 어느 장소이든 관계없이 적외선 투과 필터가 장착된 카메라 하나만 설치할 수 있는 곳이면 구현이 가능하며 적외선을 이용하므로 가시광선의 영향을 적게 받아 효율적으로 영상 처리를 할 수 있다는 데에 있다. 제스처 인식을 통하여 수많은 여러 가지 기능을 실행할 수 있으며, 보다 사용자와 인터랙티브한 작업이 가능해진다. 구현된 하드웨어와 소프트웨어 시스템은 프레젠테이션 및 게임 컨트롤에 사용되었다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.409-415
• /
• 2006

컴퓨터와 인간사이의 원활한 의사소통 및 인터랙션을 위해 기존의 키보드, 마우스를 대체할 수 있는 다양한 입력장치들이 개발되고 있다. 하지만 정보를 탐색, 접근하는 데에 있어서 기존의 장치들은 클릭과 같은 제한적인 동작만을 입력 값으로 받아들이므로 이러한 방식에 익숙하지 않은 사용자의 입장에서는 부자연스러움을 느끼는 요인이 된다. 사용자의 제스처를 인식할 수 있는 인터페이스를 통해 일상에서 사물을 사용할 때의 행동양식을 그대로 가져올 수 있다면, 디지털 콘텐츠에 접근하는데 있어 보다 직관적이고 편리하게 컴퓨터와 의사소통 될 수 있다. 제스처는 동작의 자율성이 높고 때로 그 의미를 파악하기 모호하기 때문에 동작들을 정확히 인식하여 구분할 필요가 있다. 본 논문에서는 이를 바탕으로 효과적인 제스처 인터페이스의 구현을 위해 필요한 점들을 살펴보고, 기술적 구현을 통해 디지털 콘텐츠와의 인터랙션을 보여주고자 한다. 정보 접근에 있어 가장 익숙하고 전통적이라 할 수 있는 책의 메타포를 통해 페이지를 넘기는 행동양식을 인식할 수 있는 인터페이스를 개발하고 이를 입력장치로 사용한다. 사용자의 동작을 인식, 파악하여 책을 앞뒤로 넘기거나 탐색하며 원하는 정보에 접근할 수 있도록 유도하고 손 동작을 통한 인터페이스를 수단으로 컴퓨터와의 유연한 의사소통이 가능하도록 구현한다.

• Proceedings of the Korea Contents Association Conference
• /
• 2012.05a
• /
• pp.59-60
• /
• 2012

본 논문에서는 윈도우 애플리케이션을 위한 사용자의 손동작 제스처 인식 시스템을 구현하였다. 실시간 제스처 인식 시스템은 사용자의 손 움직임을 웹캠으로 입력받아 제스처 명령으로 구현하였다. MFC Visual C++언어를 기반으로 개발된 인텔사의 OpenCV 라이브러리를 사용하였다. 인식시스템의 유효성을 검사하기 위하여 사용자의 입력을 받아 진행되는 사격게임을 개발 하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.133-136
• /
• 2016

NUI는 마우스, 키보드 등의 HID장치를 사용하지 않고 사용자의 신체를 사용하여 장치를 제어하는 모션 인터페이스이다. 본 논문에서는 소형 임베디드보드 라즈베리파이와 라즈베리파이에 연결된 파이카메라를 통해 영상인식과 컴퓨터 비전을 위하여 최적화된 알고리즘을 제공하는 OpenCV를 이용하여 손의 제스처를 인식하여 기존 HID장비와 비교하여 더욱 인간 친화적이며 직관적인 NUI장치 인터페이스를 구현하고자 한다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.20 no.6
• /
• pp.115-121
• /
• 2020

With the spread of IoT technology, various IoT applications using facial recognition are emerging. This paper describes the design and implementation of a remote control system using deep learning-based face recognition and hand gesture recognition. In general, an application system using face recognition consists of a part that takes an image in real time from a camera, a part that recognizes a face from the image, and a part that utilizes the recognized result. Raspberry PI, a single board computer that can be mounted anywhere, has been used to shoot images in real time, and face recognition software has been developed using tensorflow's FaceNet model for server computers and hand gesture recognition software using OpenCV. We classified users into three groups: Known users, Danger users, and Unknown users, and designed and implemented an application that opens automatic door locks only for Known users who have passed both face recognition and hand gestures.

• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.3
• /
• pp.109-122
• /
• 2020

In recent, projection mapping, which has attracted high attention in the field of realistic media, is regarded as a technology to increase the users' immersion. However, most existing methods perform projection mapping on static objects. In this paper, we developed a technology to track the movements of users and dynamically map the media contents to the users' bodies. The projected media content is built by predefined gestures just using the user's bare hands without the special devices. An interactive immersive media system has been implemented by integrating these dynamic projection mapping technologies and gesture-based drawing technologies. The proposed realistic media system recognizes the movements and open / closed states of the user 's hands, selects the functions necessary to draw a picture. The users can freely draw the picture by changing the color of the brush using the colors of any real objects. In addition, the user's drawing is dynamically projected on the user's body, allowing the user to design and wear his t-shirt in real-time.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.378-383
• /
• 2009

In these days, many systems are equipped with people to infer their intention and provide the corresponding service. People always carry their own mobile device with various sensors, and the accelerator takes a role in this environment. The accelerator collects motion information, which is useful for the development of gesture-based user interfaces. Generally, it needs to develop an effective method for the mobile environment that supports relatively less computational capability since huge computation is required to recognize time-series patterns such as gestures. In this paper, we propose a 2-stage motion recognizer composed of low-level and high-level motions based on the motion library. The low-level motion recognizer uses the dynamic time warping with 3D acceleration data, and the high-level motion is defined linguistically with the low-level motions.