A Hierarchical Bayesian Network for Real-Time Continuous Hand Gesture Recognition

연속적인 손 제스처의 실시간 인식을 위한 계층적 베이지안 네트워크

  • 허승주 (고려대학교 컴퓨터.통신공학부) ;
  • 이성환 (고려대학교 컴퓨터.통신공학부)
  • Published : 2009.12.15

Abstract

This paper presents a real-time hand gesture recognition approach for controlling a computer. We define hand gestures as continuous hand postures and their movements for easy expression of various gestures and propose a Two-layered Bayesian Network (TBN) to recognize those gestures. The proposed method can compensate an incorrectly recognized hand posture and its location via the preceding and following information. In order to vertify the usefulness of the proposed method, we implemented a Virtual Mouse interface, the gesture-based interface of a physical mouse device. In experiments, the proposed method showed a recognition rate of 94.8% and 88.1% for a simple and cluttered background, respectively. This outperforms the previous HMM-based method, which had results of 92.4% and 83.3%, respectively, under the same conditions.

본 논문은 컴퓨터 마우스를 제어하기 위한 실시간 손 제스처 인식 방법을 제안한다. 다양한 제스처를 표현하기 위해, 손 제스처를 연속적인 손 모양의 시퀀스로 정의하고, 이러한 손 제스처를 인식하기 위한 계층적 베이지안 네트워크를 디자인한다. 제안하는 방법은 손 포스처와 제스처 인식을 위한 계층적 구조를 가지며, 이는 특징 추출과정에서 발생하는 잡음에 강인하다는 장점을 가진다. 제안하는 방법의 유용성을 증명하기 위해, 제스처 기반 가상 마우스 인터페이스를 개발하였다. 실험에서 제안한 방법은 단순한 배경에서는 94.8%, 복잡한 배경에서는 88.1%의 인식률을 보였으며, HMM 기반의 기존 방법보다 우수한 성능을 보였다.

Keywords

References

  1. S. Mitra and T. Acharya, 'Gesture Recognition: A Survey,' IEEE Trans. on Systems, Man, and Cybernetics, Part C: Applications and Reviews, vol.37, no.3, pp.311-324, 2007
  2. T. Starner and A. Pentland, 'Real-time American Sign Language Recognition from Video using Hidden Markov Models,' MIT Media Lab., MIT, Cambridge, MA, Tech. Rep. TR-375, 1995
  3. S. Marcel, O. Bernier, J. Viallet, and D. Collobert, 'Hand Gesture Recognition using Input-Output Hidden Markov Models,' Proc. IEEE International Conference on Automatic Face and Gesture Recognition, Grenoble, France, pp.456-461, May 2000
  4. A. El-Sawah, N. Georganas, and E. Petriu, 'A Prototype for 3-D Hand Tracking and Posture Estimation,' IEEE Trans. on Instrumentation and Measurement, vol.57, no.8, pp.1627-1636, 2008 https://doi.org/10.1109/TIM.2008.925725
  5. K. Murphy, Dynamic Bayesian Networks: Representation, Inference and Learning, Ph. D dissertation, University of California, Berkeley, 2002
  6. M. Yeasin and S. Chaudhuri, 'Visual Understanding of Dynamic Hand Gestures,' Pattern Recognition, vol.33, no.11, pp.1805-1817, 2000 https://doi.org/10.1016/S0031-3203(99)00175-2
  7. A. Ramamoorthy, N. Vaswani, S. Chaudhury, and S. Banerjee, 'Recognition of Dynamic Hand Gestures,' Pattern Recognition, vol.36, no.9, pp.2069-2081, 2003 https://doi.org/10.1016/S0031-3203(03)00042-6