• Korean Journal of Cognitive Science
• /
• v.8 no.4
• /
• pp.35-53
• /
• 1997

본 논문은 컴퓨터 시각을 이용하여 제스처를 인식함으로써 사용자에게 보다 편리한 인터페이스를 제공하는 것을 목표로 한다. 제안하는 제스처 인식 방법은 손영역을 획득하는 손영역 획득 모듈？손영역을 인식하는 인식 모듈로 나누어 수행한다. 손영역 획득 모듈에서는 손색상 모델？손색상 결정함수를 정의하여 칼라영상의 영역 분리를 수행하였고, 칼만필터를 이용하여 손색상 모델을 갱신하고 탐색영역을 제한하여 영역 추적을 용이하게 하였다. 영역 추적은 전 시점의 손영역 정보를 이용하여 현 시점의 손영역을 획득한다. 인식 모듈에서는 정적인 제스처를 표현하는 객체 프레임？행동 프레임, 그리고 동적인 제스처를 표현하는 스키마를 정의한다. 그리고 획득된 손영역？정합을 수행함으로써 제스처를 인식한다. 실험 결갬灌？제안하는 제스처 기반 인터페이스를 적용한 삼목(Tic-Tac-Toe) 게임 프로그램을 구현하였다. 사용자는 제스처를 이용하여 컴퓨터와 게임을 진행한다. 제안하는 시스템은 다른 종류의 게임 프로그램이나 마우스의 역할을 수행하는 윈도우 시스템의 제어, 그리고 가상 현실 시스템에 적용될 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.715-717
• /
• 2004

본 논문에서는 HTPC를 제어하기 위한 제스처 기반의 인터페이스를 제안한다. 제안된 인터페이스를 이용하여 사용자는 HTPC와 떨어진 장소에서 쉽게 HTPC를 제어할 수 있다. 제스처를 인식하기 위해 인터페이스는 실시간 연속 영상으로부터 사용자의 손을 검출하고, 손의 움직임, 모양, 위치 정보를 추출한다. 사용자의 제스처를 인식하기 위해 추출된 정보와 HMMs 을 사용한다. 실험 결과는 제안한 인터페이스가 멀티미디어 응용프로그램뿐만 아니라 다른 종류의 컴퓨터 응용프로그램에서 사용자와 HTPC간에 상호작용하여 접근할 수 있음을 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.775-777
• /
• 2004

본 논문에서는 테트리스 게임을 위한 비젼 기반의 인터페이스를 제안하고 있다 제안된 인터페이스는 카메라로부터 실시간으로 입력되는 연속 영상에서 손의 제스처를 인식하고, 인식된 제스처를 게임의 명령으로 사용한다 테트리스 게임에 필요만 6개의 명령은 손의 자세로 정의되는 세 종류의 정적 제스처와 손의 자세와 움직임으로 정의되는 세 종류의 동적 제스처 정의된다. 손의 자세는 손 영역의 불변 모멘트로 표현하였고, 입력된 손 영역의 자세는 미리 학습된 불변 모멘트 값들과의 거리차이를 비교하여 분류한다. 실험 결과에서 제안된 시스템이 실시간 테트리스 게임의 인터페이스로 적용가능함을 보였다.

• Journal of Korea Multimedia Society
• /
• v.8 no.9
• /
• pp.1177-1186
• /
• 2005

In vision-based interfaces for video games, gestures are used as commands of the games instead of pressing down a keyboard or a mouse. In these Interfaces, unintentional movements and continuous gestures have to be permitted to give a user more natural interface. For this problem, this paper proposes a novel gesture spotting method that combines spotting with recognition. It recognizes the meaningful movements concurrently while separating unintentional movements from a given image sequence. We applied our method to the recognition of the upper-body gestures for interfacing between a video game (Quake II) and its user. Experimental results show that the proposed method is on average $93.36\%$ in spotting gestures from continuous gestures, confirming its potential for a gesture-based interface for computer games.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.631-633
• /
• 2003

본 논문에서는 사용자의 연속적인 제스처들을 실시간으로 제스처를 적출하고 인식하는 게임 인터페이스를 제안한다. 제안된 인터페이스는 동영상에서 사용자의 자세를 예측하는 포즈 추정 모듈과 연속된 포즈 심벌열로부터 제스처를 적출하고 인식하는 제스처 인식 모듈로 구성되어 있다. 사용자의 자세는 영상에 나타난 머리, 양손의 좌표를 취하여 대표되는 자세를 클러스터링을 통해 구하였다. 제스처를 적출하기 위해서 연속된 포즈 심벌열로부터 가제스처들을 생성한다. 생성된 가제스처의 인식엔진의 인식값을 기준으로하여 제스처를 판별한다. 제안된 논문에서 정의한 제스처를 인터페이스로 사용하여 실제 게임인 퀘이크II에 적용해 봄으로써, 컴퓨터 게임 안에서, 제안된 인터페이스가 타탕함을 증명하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.507-511
• /
• 2008

컴퓨터 비전을 기반으로 한 영상처리 및 제스처인식 기술을 이용하여 편리하게 응용프로그램을 제어 할 수 있는 인터페이스를 구성하였다. 카메라로 얻어진 영상을 HSV 색상계로 변환 후 색상 정보를 이용하여 손 영역을 추출한다. 추출된 손 영역의 무게중심과 크기 변화를 추적하여 제스처를 인식한다. 인식한 제스처는 응용프로그램의 동작을 제어하거나 마우스의 입력을 대체하는데 사용된다. 이는 별도의 입력장치 없이 컴퓨터 비전 기술만으로 제스처를 인식하여 응용프로그램을 실행할 수 있어 자연스러우며 사용자 친화적인 인터페이스 환경을 제공한다.

• Annual Conference of KIPS
• /
• 2007.11a
• /
• pp.97-100
• /
• 2007

이 논문에서는 비전 시스템 기반 동작 인식 인터페이스 시스템으로 스테레오 카메라와 동적 제스처를 이용한 방식을 제안한다. 스테레오 카메라로부터 얻은 영상으로 손의 3차원 위치를 검출하고 이를 바탕으로 손의 동작을 추적하고 이를 인식함으로써 동적 제스처에 기반 한 동작 인식 방법을 제시한다. 이러한 깊이에 따른 제스처 동작을 인식하는 방법으로 단순한 컨트롤러부터 IPTV 제어나 가상의 마우스 제작이 가능한 본질적으로 편하고 자연스러운 인터페이스 구현 방향을 제시한다.

• Design Convergence Study
• /
• v.16 no.5
• /
• pp.177-190
• /
• 2017

This research aims to suggest a multimodal non-touch gesture interface design to improve the usability of 3D sculpting task. The task and procedure of design sculpting of users were analyzed across multiple circumstances from the physical sculpting to computer software. The optimal body posture, design process, work environment, gesture-task relationship, the combination of natural hand gesture and arm movement of designers were defined. The preliminary non-touch 3D S/W were also observed and natural gesture interaction, visual metaphor of UI and affordance for behavior guide were also designed. The prototype of gesture based 3D sculpting system were developed for validation of intuitiveness and learnability in comparison to the current S/W. The suggested gestures were proved with higher performance as a result in terms of understandability, memorability and error rate. Result of the research showed that the gesture interface design for productivity system should reflect the natural experience of users in previous work domain and provide appropriate visual - behavioral metaphor.

• The Journal of the Korea Contents Association
• /
• v.13 no.1
• /
• pp.55-63
• /
• 2013

NUI(Natural User Interfaces) has been developed through CLI(Command Line Interfaces) and GUI(Graphical User Interfaces). NUI uses many different input modalities, including multi-touch, motion tracking, voice and stylus. In order to adopt NUI to legacy GUI applications, he/she must add device libraries, modify relevant source code and debug it. In this paper, we propose a gesture-based interface model that can be applied without modification of the existing event-based GUI applications and also present the XML schema for the specification of the model proposed. This paper shows a method of using the proposed model through a prototype.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.496-498
• /
• 2004

본 논문에서는 컴퓨터 액션 게임 중에 하나인, 퀘이크 II 게임을 위한 제스처 기반의 인터페이스를 제안한다. 제안된 인터페이스는 연속된 입력 영상열로부터 재스처를 검출하고 인식하기 위해 HMM 올 사용한다. 먼저 재스처를 검출하기 위해 입력 영상열로부터 포즈 심볼열을 추출하여 사용한다. 인식하기 위해 사용된 HMM은 추출된 포즈 심볼을 입력받아, 상태 확률값을 계산하여 계속적으로 갱신한다 이때 갱신되는 상태 확률값 중에 각 제스처에 속하는 특정상태의 확률값이, 미리 정의된 임계간과 비교하여 초과하면 검출되고 인식된다. 현재 제안된 시스템은 실제 퀘이크 II 게임에서 키보드버튼과 마우스를 통해 입력되는 명령어들 중에서 게임을 진행하기 위해 먼저 필요한 움지임과 시점 변환에 관계되는 명령어들을 13 개의 제스처로 표현하고 이 제스처 명령어를 검출하고 인식한다.