• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.496-498
• /
• 2004

본 논문에서는 컴퓨터 액션 게임 중에 하나인, 퀘이크 II 게임을 위한 제스처 기반의 인터페이스를 제안한다. 제안된 인터페이스는 연속된 입력 영상열로부터 재스처를 검출하고 인식하기 위해 HMM 올 사용한다. 먼저 재스처를 검출하기 위해 입력 영상열로부터 포즈 심볼열을 추출하여 사용한다. 인식하기 위해 사용된 HMM은 추출된 포즈 심볼을 입력받아, 상태 확률값을 계산하여 계속적으로 갱신한다 이때 갱신되는 상태 확률값 중에 각 제스처에 속하는 특정상태의 확률값이, 미리 정의된 임계간과 비교하여 초과하면 검출되고 인식된다. 현재 제안된 시스템은 실제 퀘이크 II 게임에서 키보드버튼과 마우스를 통해 입력되는 명령어들 중에서 게임을 진행하기 위해 먼저 필요한 움지임과 시점 변환에 관계되는 명령어들을 13 개의 제스처로 표현하고 이 제스처 명령어를 검출하고 인식한다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.130-135
• /
• 2006

본 논문에서는 상황 인지(Context Aware)를 이용한 제스처 인식 방법에 대하여 기술한다. 기존의 인식 방법들은 대부분 제스처의 개별적인 의미를 중심으로 제스처를 분류하는 방법을 사용한다. 그러나 이러한 방법들은 인식 알고리즘을 일반화하는데 있어서 다음과 같은 문제점들을 가지고 있다. 첫째, 인간의 모든 제스처를 제한된 특징으로 모호하지 않게 구별하기 어렵다. 둘째, 같은 제스처라 할지라도 상황에 따라 다른 의미를 내포할 수 있다. 이러한 문제점들을 해결하고자 본 논문에서는 확률 기반의 상황 인지 모델을 이용한 제스처 인식 방법을 제안한다. 이 방법은 제스처의 개별적인 의미를 인식하기 전에 대상의 상황을 추상적으로 분류함으로써 행위자의 의도를 정확히 파악할 수 있다. 본 방법은 시스템의 상태를 [NULL], [OBJECT], [POSTURE], [GLOBAL], [LOCAL]의 5 가지 상태로 정의한 뒤, 각 상태의 천이를 바탕으로 대상의 상황을 판단한다. 이러한 상황 정보에 따라 각 상태에 최적화된 인식 알고리즘을 적용함으로써 지능적인 제스처 인식을 수행할 수 있으며, 기존 방법들이 갖는 제스처 인식의 제약을 완화 시키는 효과가 있다. 따라서, 제안하는 제스처 인터페이스는 자연스러운 상호 작용이 필요한 지능형 정보 가전 혹은 지능형 로봇의 HCI 로 활용될 수 있을 것이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06b
• /
• pp.188-191
• /
• 2010

최근 다양한 2D 기반 스케치 기법이 제시되고 이를 활용한 다양한 어플리케이션이 제작되고 있다. 이러한 스케치 기법들은 사용자의 인터페이스에 많은 영향을 주고 있다. 그 중에 제스처 기법은 사용자의 글자 인식과 메뉴의 빠른 접근을 위해서 널리 사용되고 있다. 본 논문에서는 페이퍼 커팅 기법이라고 불리는 예술 분야의 기술을 구현하기 위해서 제스처를 활용한 인터페이스를 제시하고 향후에 이를 응용한 모바일 분야에서의 응용에 대하여 고찰해 보았다. 본 논문에서는 구현을 위하여 제스처 인식 방법을 위한 스케치 인식과 애니메이션을 위한 시간 조정 방법을 제시 하였다.

• Journal of the Korea Computer Graphics Society
• /
• v.24 no.5
• /
• pp.41-48
• /
• 2018

The most natural way to increase immersion and provide free interaction in a virtual environment is to provide a gesture interface using the user's hand. However, most studies about hand gesture recognition require specialized sensors or equipment, or show low recognition rates. This paper proposes a three-dimensional DenseNet Convolutional Neural Network that enables recognition of hand gestures with no sensors or equipment other than an RGB camera for hand gesture input and introduces a virtual reality game based on it. Experimental results on 4 static hand gestures and 6 dynamic hand gestures showed that they could be used as real-time user interfaces for virtual reality games with an average recognition rate of 94.2% at 50ms. Results of this research can be used as a hand gesture interface not only for games but also for education, medicine, and shopping.

• Journal of Korea Game Society
• /
• v.17 no.6
• /
• pp.113-120
• /
• 2017

With the development of virtual reality technology, in recent years, user-friendly hand gesture interface has been more studied for natural interaction with a virtual 3D object. Most earlier studies on the hand-gesture interface are using relatively simple hand gestures. In this paper, we suggest an intuitive hand gesture interface for interaction with 3D object in the virtual reality applications. For hand gesture recognition, first of all, we preprocess various hand data and classify the data through the binary decision tree. The classified data is re-sampled and converted to the chain-code, and then constructed to the hand feature data with the histograms of the chain code. Finally, the input gesture is recognized by MCSVM-based machine learning from the feature data. To test our proposed hand gesture interface we implemented a 'Virtual Block' game. Our experiments showed about 99.2% recognition ratio of 16 kinds of command gestures and more intuitive and user friendly than conventional mouse interface.

• Annual Conference of KIPS
• /
• 2017.11a
• /
• pp.1088-1091
• /
• 2017

최근 그래픽스 기반의 가상현실 기술의 발전과 관심이 증가하면서 3D 객체와의 자연스러운 상호작용을 위한 방법들 중 손 제스처 인식에 대한 연구가 활발히 진행되고 있다. 본 논문은 가상현실 3D 오브젝트와의 상호작용을 위한 MCSVM 기반의 손 제스처 인식을 제안한다. 먼저 다양한 손 제스처들을 립모션을 통해 입력 받아 전처리를 수행한 손 데이터를 전달한다. 그 후 이진 결정 트리로 1차 분류를 한 손 데이터를 리샘플링 한 뒤 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 MCSVM 학습을 통해 2차 분류를 수행하여 제스처를 인식한다. 실험 결과 3D 오브젝트와 상호작용을 위한 16개의 명령 제스처에 대해 평균 99.2%의 인식률을 보였고 마우스 인터페이스와 비교한 정서적 평가 결과에서는 마우스 입력에 비하여 직관적이고 사용자 친화적인 상호작용이 가능하다는 점에서 게임, 학습 시뮬레이션, 설계, 의료분야 등 많은 가상현실 응용 분야에서의 입력 인터페이스로 활용 될 수 있고 가상현실에서 몰입도를 높이는데 도움이 됨을 알 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1011-1018
• /
• 2006

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.12
• /
• pp.1028-1033
• /
• 2009

This paper presents a real-time hand gesture recognition approach for controlling a computer. We define hand gestures as continuous hand postures and their movements for easy expression of various gestures and propose a Two-layered Bayesian Network (TBN) to recognize those gestures. The proposed method can compensate an incorrectly recognized hand posture and its location via the preceding and following information. In order to vertify the usefulness of the proposed method, we implemented a Virtual Mouse interface, the gesture-based interface of a physical mouse device. In experiments, the proposed method showed a recognition rate of 94.8% and 88.1% for a simple and cluttered background, respectively. This outperforms the previous HMM-based method, which had results of 92.4% and 83.3%, respectively, under the same conditions.

• The Journal of the Korea Contents Association
• /
• v.11 no.12
• /
• pp.629-638
• /
• 2011

Mobile game have an advantage of mobility, portability, and simple interface. These advantages are useful for gesture recognition based game which should not have much content quantity and complex interface. This paper suggests gesture recognition based mobile game content with user movement could be applied directly to the mobile game wherever recognition system is equipped. Gesture is recognized by obtaining user area in image from the depth image of TOF camera and going through SVM(Support Vectorn Machine) using EOH(Edge Of Histogram) features of user area. And we confirmed that gesture recognition can be utilized to user input of mobile game content. Proposed technique can be applied to a variety of content, but this paper shows a simple way of game contents which is consisted of moving and jumping newly.

• The Journal of the Korea Contents Association
• /
• v.17 no.3
• /
• pp.74-87
• /
• 2017

This paper aims to elicit user-defined hand gestures for the small cylindrical displays with flexible displays which has not emerged as a product yet. For this, we first defined the size and functions of a small cylindrical display, and elicited the tasks for operating its functions. Henceforward we implemented the experiment environment which is similar to real cylindrical display usage environment by developing both of a virtual cylindrical display interface and a physical object for operating the virtual cylindrical display. And we showed the results of each task in the virtual cylindrical display to the participants so they could define the hand gestures which are suitable for each task in their opinion. We selected the representative gestures for each task by choosing the gestures of the largest group in each task, and we also calculated agreement scores for each task. Finally we observed mental model of the participants which was applied for eliciting the gestures, based on analyzing the gestures and interview results from the participants.