• International Journal of Contents
• /
• 제7권1호
• /
• pp.29-36
• /
• 2011

Gestures have been employed for human computer interaction to build more natural interface in new computational environments. In this paper, we describe our approach to develop a gesture interface using spatial context information. The proposed gesture interface recognizes a system action (e.g. commands) by integrating gesture information with spatial context information within a probabilistic framework. Two ontologies of spatial contexts are introduced based on the spatial information of gestures: gesture volume and gesture target. Prototype applications are developed using a smart environment scenario that a user can interact with digital information embedded to physical objects using gestures.

• 대한산업공학회지
• /
• 제41권5호
• /
• pp.461-469
• /
• 2015

The aim of this study is to find out the user's needs of a 3D hand gesture interface in the smart home environment. To find out the users' needs, we investigated which object the users want to use with a 3D hand gesture interface and why they want to use a 3D hand gesture interface. 3D hand gesture interfaces are studied to be applied to various devices in the smart environment. 3D hand gesture interfaces enable the users to control the smart environment with natural and intuitive hand gestures. With these advantages, finding out the user's needs of a 3D hand gesture interface would improve the user experience of a product. This study was conducted using a diary method to find out the user's needs with 20 participants. They wrote the needs of a 3D hand gesture interface during one week filling in the forms of a diary. The form of the diary is comprised of who, when, where, what and how to use a 3D hand gesture interface with each consisting of a usefulness score. A total of 322 data (209 normal data and 113 error data) were collected from users. There were some common objects which the users wanted to control with a 3D hand gesture interface and reasons why they want to use a 3D hand gesture interface. Among them, the users wanted to use a 3D hand gesture interface mostly to control the light, and to use a 3D hand gesture interface mostly to overcome hand restrictions. The results of this study would help develop effective and efficient studies of a 3D hand gesture interface giving valuable insights for the researchers and designers. In addition, this could be used for creating guidelines for 3D hand gesture interfaces.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.577-583
• /
• 2012

Objective: This paper describes the process and results related to the development of gesture recognition-based natural user interface(NUI) for vehicle maintenance e-Training system. Background: E-Training refers to education training that acquires and improves the necessary capabilities to perform tasks by using information and communication technology(simulation, 3D virtual reality, and augmented reality), device(PC, tablet, smartphone, and HMD), and environment(wired/wireless internet and cloud computing). Method: Palm movement from depth camera is used as a pointing device, where finger movement is extracted by using OpenCV library as a selection protocol. Results: The proposed NUI allows trainees to control objects, such as cars and engines, on a large screen through gesture recognition. In addition, it includes the learning environment to understand the procedure of either assemble or disassemble certain parts. Conclusion: Future works are related to the implementation of gesture recognition technology for a multiple number of trainees. Application: The results of this interface can be applied not only in e-Training system, but also in other systems, such as digital signage, tangible game, controlling 3D contents, etc.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제7권6호
• /
• pp.839-849
• /
• 2017

최근 주방의 역할은 이전의 생존 영위를 위한 공간으로부터, 현재의 생활과 문화를 보여주는 공간으로 발전하였다. 이러한 변화와 더불어, IoT 기술의 사용이 확산되고 있다. 그 결과로, 주방에서의 새로운 스마트기기의 발전과 보급이 이루어지고 있다. 때문에 이러한 스마트기기를 사용하기 위한 사용자 경험 또한 중요해지고 있다. 이는 맥락적 사용자 기반의 데이터를 통해 사용자와 컴퓨터간의 보다 자연스러우며 효율적인 상호작용을 기대할 수 있기 때문이다. 본 논문은 주방에서 사용하는 스마트기기의 사용자 인터페이스(user interface, UI)를 바탕으로 기기와 접촉을 하지 않는 자연스러운 사용자 인터페이스(natural user interface, NUI)를 고찰하고자 한다. 그 방법으로, 기기에 부착되어 있는 카메라를 이용하여 사용자의 손 제스처를 인식한 뒤 인식된 손의 모양을 인터페이스에 적용하는 영상 처리 기술을 활용하였으며 사용자의 맥락과 상황에 맞는 제스처를 제안하고자 하였다. 본 실험에 사용된 제스처의 기본방향은 직관성과 학습 용이성에 중점을 두었으며 기본적인 5개의 제스처를 분류하여 이를 인터페이스에 활용하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권1호
• /
• pp.378-390
• /
• 2015

Image projectors can turn any surface into a display. Integrating a surface projection with a user interface transforms it into an interactive display with many possible applications. Hand gesture interfaces are often used with projector-camera systems. Hand detection through color image processing is affected by the surrounding environment. The lack of illumination and color details greatly influences the detection process and drops the recognition success rate. In addition, there can be interference from the projection system itself due to image projection. In order to overcome these problems, a gesture interface based on depth images is proposed for projected surfaces. In this paper, a depth camera is used for hand recognition and for effectively extracting the area of the hand from the scene. A hand detection and finger tracking method based on depth images is proposed. Based on the proposed method, a touch interface for the projected surface is implemented and evaluated.

• 한국게임학회 논문지
• /
• 제17권6호
• /
• pp.113-120
• /
• 2017

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만 지원되고 있는 실정이다. 본 논문은 가상환경에서 3D 객체와 보다 직관적인 방식의 손 제스처 인터페이스 방법을 제안한다. 손 제스처 인식을 위하여 먼저 전처리 과정을 거친 다양한 손 데이터를 이진 결정트리로 1차 분류를 한다. 분류된 데이터는 리샘플링을 한 다음 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 학습된 MCSVM을 통해 2차 분류를 수행하여 제스처를 인식한다. 본 방법의 검증을 위하여 3D 블록을 손 제스처를 통하여 조작하는 'Virtual Block'이라는 게임을 구현하여 실험한 결과 16개의 제스처에 대해 99.2%의 인식률을 보였으며 기존의 인터페이스보다 직관적이고 사용자 친화적임을 알 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제8권9호
• /
• pp.1177-1186
• /
• 2005

키보드나 조이스틱 대신 카메라를 통해 입력되는 사용자의 제스처를 이용하는 시각 기반 비디오 게임 인터페이스를 사용할 때 자연스러운 동작을 허용하기 위해서는, 연속 제스처를 인식할 수 있고 사용자의 의미없는 동작이 허용되어야 한다. 본 논문에서는 비디오 게임 인터페이스를 위한 인식과 분할을 결합한 제스처 인식 방법을 제안하며, 이는 주어진 연속 영상에서 의미있는 동작을 인식함과 동시에 의미없는 동작을 구별하는 방법이다. 제안된 방법을 사용자의 상체 제스처를 게임의 명령어로 사용하는 1인칭 액션 게임인 Quke II 게임에 적용한 결과, 연속 제스처에 대해 평균 $93.36\%$의 분할 결과로써 비디오 게임 인터페이스에서 유용한 성능을 낼 수 있음을 보였다.

• 한국멀티미디어학회논문지
• /
• 제6권3호
• /
• pp.469-480
• /
• 2003

정보화 사회라고 할 수 있는 현 사회에서 정확한 사용자 인증 기술은 가장 중요 이슈가 되고 있다. 대부분 인증 기술은 시스템에 접근하고자 하는 사용자의 특성을 이용하여 신분확인을 수행하는 기술로써 본 논문에서는 현재 전자상거래 시스템에서 대부분 지불수단으로 사용되고 있는 신용카드와 계좌이체를 기본으로 한 전자상거래 쇼핑몰을 구축하고, 전자화폐가 가지고 있는 위조와 도난의 위험을 보완할 수 있는 소유하는 것에 대한 인증으로 결제 단계에서 마우스 제스처(Mouse Gesture)를 이용한 사용자 인증 인터페이스를 제안하고 구현하였다. 마우스 제스처를 이용한 사용자 인증 인터페이스는 사용자가 입력한 패턴의 고유값이 학습알고리즘을 통해 저장된 결과 패턴의 값들과 비교를 하여 인지의 성공 여부를 화면에서 바로 알 수 있도록 하는 것으로서 쇼핑몰을 통하여 물품을 구입하고 대금 결제 시에 지불정보와 함께 사인정보를 함께 입력하면 전자화폐가 가지고 있던 도난이나 위조에 대한 위험성을 줄일 수 있다는 장점이 있다.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.533-540
• /
• 2012

Objective: This paper targets a framework of a hand gesture based interface design. Background: While a modeling of contact-based interfaces has focused on users' ergonomic interface designs and real-time technologies, an implementation of a contactless interface needs error-free classifications as an essential prior condition. These trends made many research studies concentrate on the designs of feature vectors, learning models and their tests. Even though there have been remarkable advances in this field, the ignorance of ergonomics and users' cognitions result in several problems including a user's uneasy behaviors. Method: In order to incorporate compatibilities considering users' comfortable behaviors and device's classification abilities simultaneously, classification-oriented gestures are extracted using the suggested human-hand model and closed-loop classification procedures. Out of the extracted gestures, the compatibility-oriented gestures are acquired though human's ergonomic and cognitive experiments. Then, the obtained hand gestures are converted into a series of hand behaviors - Handycon - which is mapped into several functions in a mobile device. Results: This Handycon model guarantees users' easy behavior and helps fast understandings as well as the high classification rate. Conclusion and Application: The suggested framework contributes to develop a hand gesture-based contactless interface model considering compatibilities between human and device. The suggested procedures can be applied effectively into other contactless interface designs.

• 대한산업공학회지
• /
• 제38권3호
• /
• pp.182-190
• /
• 2012

With the progress of both wire and wireless home networking technology, various projects on smart home have been carried out in the world (Harper, 2003), and at the same time, new approaches to interact with smart home systems efficiently and effectively have also been investigated. A gesture-based interface is one of these approaches. Especially with advance of gesture recognition technologies, a variety of research studies on gesture interactions with the functions of IT devices have been conducted. However, there are few research studies which suggested and investigated the use of gestures for controlling smart home appliances. In this research the gestures for selected smart home appliances are suggested based on a user centered approach. A total of thirty-eight functions were selected, and a total of thirty participants generated gestures for each function. Based on the Nielsen (2004), Lee et al. (2010) and Kuhnel et al. (2011), the gesture with the highest frequency for each function (Top gesture) has been suggested and investigated.