• IEIE Transactions on Smart Processing and Computing
• /
• 제5권4호
• /
• pp.267-273
• /
• 2016

Hand posture recognition is an important technique to enable a natural and familiar interface in the human-computer interaction (HCI) field. This paper introduces a hand posture recognition method using a depth camera. Moreover, the hand posture recognition method is incorporated with the Moving Picture Experts Group Rich Media User Interface (MPEG-U) Advanced User Interaction (AUI) Interface (MPEG-U part 2), which can provide a natural interface on a variety of devices. The proposed method initially detects positions and lengths of all fingers opened, and then recognizes the hand posture from the pose of one or two hands, as well as the number of fingers folded when a user presents a gesture representing a pattern in the AUI data format specified in MPEG-U part 2. The AUI interface represents a user's hand posture in the compliant MPEG-U schema structure. Experimental results demonstrate the performance of the hand posture recognition system and verified that the AUI interface is compatible with the MPEG-U standard.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.83-95
• /
• 2014

최근 손과 손가락을 인식하는 기술은 HCI(human computer interaction)에서 자연스럽고 친숙한 환경을 제공하기 위한 기술로 주목 받고 있다. 본 논문에서는 깊이 카메라를 이용하여 손과 손가락의 모양을 검출 및 인식하는 방법을 제안하고, 그 인식 결과를 활용하여 다양한 기기와 상호연동 할 수 있는 MPEG-U 기반 향상된 사용자 상호작용 인터페이스 시스템을 제안한다. 제안하는 시스템은 깊이 카메라를 이용하여 손을 검출한 후, 손목의 위치를 찾아 최소 손 영역을 검출한다. 이어서 검출된 최소 손 영역으로부터 손가락 끝점을 검출 한 후, 최소 손 영역의 중심점과 손가락 끝점간의 뼈대를 만든다. 이렇게 만든 뼈대의 길이와 인접 뼈대간의 각도차를 분석하여 손가락을 판별한다. 또한, 제안하는 시스템은 사용자가 MPEG-U에서 정의하는 다양한 심벌들을 손 자세로 취하였을 때 제안 방법을 이용하여 손 자세를 인식하고, 인식 결과를 상호연동 가능한 MPEG-U 스키마 구조로 표현한다. 실험에서는 다양한 환경에서 제안하는 손 자세 인식 방법의 성능을 보인다. 또한, 제안 시스템의 상호연동성을 보이기 위해 인식 결과를 MPEG-U part2 표준에 맞는 XML 문서로 표현하고, MPEG-U 참조 소프트웨어를 이용하여 그 표현 결과에 대한 표준 부합성을 검증한다.

• 대한산업공학회지
• /
• 제41권5호
• /
• pp.461-469
• /
• 2015

The aim of this study is to find out the user's needs of a 3D hand gesture interface in the smart home environment. To find out the users' needs, we investigated which object the users want to use with a 3D hand gesture interface and why they want to use a 3D hand gesture interface. 3D hand gesture interfaces are studied to be applied to various devices in the smart environment. 3D hand gesture interfaces enable the users to control the smart environment with natural and intuitive hand gestures. With these advantages, finding out the user's needs of a 3D hand gesture interface would improve the user experience of a product. This study was conducted using a diary method to find out the user's needs with 20 participants. They wrote the needs of a 3D hand gesture interface during one week filling in the forms of a diary. The form of the diary is comprised of who, when, where, what and how to use a 3D hand gesture interface with each consisting of a usefulness score. A total of 322 data (209 normal data and 113 error data) were collected from users. There were some common objects which the users wanted to control with a 3D hand gesture interface and reasons why they want to use a 3D hand gesture interface. Among them, the users wanted to use a 3D hand gesture interface mostly to control the light, and to use a 3D hand gesture interface mostly to overcome hand restrictions. The results of this study would help develop effective and efficient studies of a 3D hand gesture interface giving valuable insights for the researchers and designers. In addition, this could be used for creating guidelines for 3D hand gesture interfaces.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.664-667
• /
• 2009

There is strong demand to create wearable PC systems that can support the user outdoors. When we are outdoors, our movement makes it impossible to use traditional input devices such as keyboards and mice. We propose a hand gesture interface based on image processing to operate wearable PCs. The semi-transparent PC screen is displayed on the head mount display (HMD), and the user makes hand gestures to select icons on the screen. The user's hand is extracted from the images captured by a color camera mounted above the HMD. Since skin color can vary widely due to outdoor lighting effects, a key problem is accurately discrimination the hand from the background. The proposed method does not assume any fixed skin color space. First, the image is divided into blocks and blocks with similar average color are linked. Contiguous regions are then subjected to hand recognition. Blocks on the edges of the hand region are subdivided for more accurate finger discrimination. A change in hand shape is recognized as hand movement. Our current input interface associates a hand grasp with a mouse click. Tests on a prototype system confirm that the proposed method recognizes hand gestures accurately at high speed. We intend to develop a wider range of recognizable gestures.

• Transactions on Control, Automation and Systems Engineering
• /
• 제2권4호
• /
• pp.285-297
• /
• 2000

One of the research objectives in the area of multimedia human-computer interaction is the application of artificial intelligence and robotics technologies to the development of computer interfaces. This involves utilizing many forms of media, integrating speed input, natural language, graphics, hand pointing gestures, and other methods for interactive dialogues. Although current human-computer communication methods include computer keyboards, mice, and other traditional devices, the two basic ways by which people communicate with each other are voice and gesture. This paper reports on research focusing on the development of an intelligent multimedia interface system modeled based on the manner in which people communicate. This work explores the interaction between humans and computers based only on the processing of speech(Work uttered by the person) and processing of images(hand pointing gestures). The purpose of the interface is to control a pan/tilt camera to point it to a location specified by the user through utterance of words and pointing of the hand, The systems utilizes another stationary camera to capture images of the users hand and a microphone to capture the users words. Upon processing of the images and sounds, the systems responds by pointing the camera. Initially, the interface uses hand pointing to locate the general position which user is referring to and then the interface uses voice command provided by user to fine-the location, and change the zooming of the camera, if requested. The image of the location is captured by the pan/tilt camera and sent to a color TV monitor to be displayed. This type of system has applications in tele-conferencing and other rmote operations, where the system must respond to users command, in a manner similar to how the user would communicate with another person. The advantage of this approach is the elimination of the traditional input devices that the user must utilize in order to control a pan/tillt camera, replacing them with more "natural" means of interaction. A number of experiments were performed to evaluate the interface system with respect to its accuracy, efficiency, reliability, and limitation.

• 한국HCI학회논문지
• /
• 제11권1호
• /
• pp.5-10
• /
• 2016

본 논문은 립모션을 사용하여 사용자의 손동작을 인식함으로써 보다 현실감 있는 슈팅 게임 조작 방식을 제공한다. 슈팅 게임에서 필수적인 발사, 위치 이동, 시점 변화, 줌 인/아웃 등의 기능을 구현했으며, 사용자 평가를 통해 게임 인터페이스를 친숙하고 직관적인 손동작으로 대체함으로써, 기존 마우스/키보드 대비 조작의 용이성, 흥미, 확장성 등의 측면에서 우수함을 확인하였다. 구체적으로, 마우스/키보드를 이용한 인터페이스의 사용자 만족도(1~5)는 평균 3.02인 반면, 손동작을 이용한 인터페이스는 3.57이었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권1호
• /
• pp.378-390
• /
• 2015

Image projectors can turn any surface into a display. Integrating a surface projection with a user interface transforms it into an interactive display with many possible applications. Hand gesture interfaces are often used with projector-camera systems. Hand detection through color image processing is affected by the surrounding environment. The lack of illumination and color details greatly influences the detection process and drops the recognition success rate. In addition, there can be interference from the projection system itself due to image projection. In order to overcome these problems, a gesture interface based on depth images is proposed for projected surfaces. In this paper, a depth camera is used for hand recognition and for effectively extracting the area of the hand from the scene. A hand detection and finger tracking method based on depth images is proposed. Based on the proposed method, a touch interface for the projected surface is implemented and evaluated.

• 한국HCI학회논문지
• /
• 제6권1호
• /
• pp.1-8
• /
• 2011

최근 가상현실에 대한 관심이 높아짐에 따라 다양한 서비스와 어플리케이션이 개발되고 있으며, 이와 더불어 몰입형 상호작용을 위한 제스처 기반 사용자 인터페이스가 활발히 연구되고 있다. 본 논문에서는 가상현실 환경 내 사용자 움직임을 효과적으로 반영하고 몰입감을 높이기 위해 제스처 인식 기반 착용식 사용자 인터페이스를 제안한다. 제안하는 인터페이스는 적외선 LED가 부착되어 있는 헬멧과 적외선 수신기를 이용하여 사용자의 머리 움직임을 인식하며, 양 손에 착용한 데이터 글로브로부터 사용자의 손 제스처를 인식한다. 또한, 헤드 마운트 디스플레이 장치(HMD)를 이용하여 직접 사용자의 시점 변화와 가상환경의 시점 변화를 일치시킨다. 손 제스처의 경우 다수의 관절로 이루어져 있는 손의 특성상 다양한 동작이 가능하며 손 크기나 손동작이 사람마다 모두 다르기 때문에 다양한 사용자들을 대상으로 할 때, 일반적인 모델로는 정확한 인식이 어렵다. 본 논문에서는 다양한 사용자를 대상으로 정확히 손 제스처를 인식하기 위해 Mixture-of-Experts 기반 인식 방법을 적용하였다. 제안하는 인터페이스의 유용성을 평가하기 위해 가상 오케스트라 지휘 환경을 구현하여 인터페이스의 동작 성능을 분석하고 사용성 평가를 수행하였다. 그 결과, 사용자들이 쉽고 직관적으로 사용할 수 있으며 흥미를 유발함을 확인하였다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제7권6호
• /
• pp.839-849
• /
• 2017

최근 주방의 역할은 이전의 생존 영위를 위한 공간으로부터, 현재의 생활과 문화를 보여주는 공간으로 발전하였다. 이러한 변화와 더불어, IoT 기술의 사용이 확산되고 있다. 그 결과로, 주방에서의 새로운 스마트기기의 발전과 보급이 이루어지고 있다. 때문에 이러한 스마트기기를 사용하기 위한 사용자 경험 또한 중요해지고 있다. 이는 맥락적 사용자 기반의 데이터를 통해 사용자와 컴퓨터간의 보다 자연스러우며 효율적인 상호작용을 기대할 수 있기 때문이다. 본 논문은 주방에서 사용하는 스마트기기의 사용자 인터페이스(user interface, UI)를 바탕으로 기기와 접촉을 하지 않는 자연스러운 사용자 인터페이스(natural user interface, NUI)를 고찰하고자 한다. 그 방법으로, 기기에 부착되어 있는 카메라를 이용하여 사용자의 손 제스처를 인식한 뒤 인식된 손의 모양을 인터페이스에 적용하는 영상 처리 기술을 활용하였으며 사용자의 맥락과 상황에 맞는 제스처를 제안하고자 하였다. 본 실험에 사용된 제스처의 기본방향은 직관성과 학습 용이성에 중점을 두었으며 기본적인 5개의 제스처를 분류하여 이를 인터페이스에 활용하였다.

• 한국게임학회 논문지
• /
• 제17권6호
• /
• pp.113-120
• /
• 2017

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만 지원되고 있는 실정이다. 본 논문은 가상환경에서 3D 객체와 보다 직관적인 방식의 손 제스처 인터페이스 방법을 제안한다. 손 제스처 인식을 위하여 먼저 전처리 과정을 거친 다양한 손 데이터를 이진 결정트리로 1차 분류를 한다. 분류된 데이터는 리샘플링을 한 다음 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 학습된 MCSVM을 통해 2차 분류를 수행하여 제스처를 인식한다. 본 방법의 검증을 위하여 3D 블록을 손 제스처를 통하여 조작하는 'Virtual Block'이라는 게임을 구현하여 실험한 결과 16개의 제스처에 대해 99.2%의 인식률을 보였으며 기존의 인터페이스보다 직관적이고 사용자 친화적임을 알 수 있었다.