Visual Touchless User Interface for Window Manipulation

윈도우 제어를 위한 시각적 비접촉 사용자 인터페이스

  • 김진우 (한양대학교 전자컴퓨터통신공학과) ;
  • 정경부 (한양대학교 전자컴퓨터통신공학과) ;
  • 정승도 (한양대학교 전기정보통신기술연구소) ;
  • 최병욱 (한양대학교 컴퓨터공학부)
  • Published : 2009.06.15

Abstract

Recently, researches for user interface are remarkably processed due to the explosive growth of 3-dimensional contents and applications, and the spread class of computer user. This paper proposes a novel method to manipulate windows efficiently using only the intuitive motion of hand. Previous methods have some drawbacks such as burden of expensive device, high complexity of gesture recognition, assistance of additional information using marker, and so on. To improve the defects, we propose a novel visual touchless interface. First, we detect hand region using hue channel in HSV color space to control window using hand. The distance transform method is applied to detect centroid of hand and curvature of hand contour is used to determine position of fingertips. Finally, by using the hand motion information, we recognize hand gesture as one of predefined seven motions. Recognized hand gesture is to be a command to control window. In the proposed method, user can manipulate windows with sense of depth in the real environment because the method adopts stereo camera. Intuitive manipulation is also available because the proposed method supports visual touch for the virtual object, which user want to manipulate, only using simple motions of hand. Finally, the efficiency of the proposed method is verified via an application based on our proposed interface.

최근 다양한 3차원 콘텐츠 및 응용 프로그램의 개발되고, 컴퓨터 사용자 계층이 다양화됨으로 인하여 인터페이스에 대한 연구가 활발히 진행되고 있다. 본 연구는 사용자가 손을 이용하여 윈도우를 효율적으로 제어할 수 있도록 하는 것을 목적으로 한다. 기존 인터페이스에 관한 연구들은 고가의 장비를 사용하거나 복잡한 제스처 인식, 또는 부가적인 도구인 마커 등을 사용하는 문제가 있다. 이러한 단점을 개선하기 위하여 새로운 시각적 비접촉 인터페이스를 제안한다. 손을 사용하여 윈도우를 제어하기 위하여 HSV 색상공간을 이용하여 손 영역을 검출한다. 그리고 거리변환 행렬과 손 외곽선의 곡률을 이용하여 손의 중심과 손가락의 위치를 파악한다. 손의 중심과 손가락 위치를 이용하여 본 논문에서 제안하는 7가지의 제어 동작 중 사용자가 의도하는 동작을 파악하여 인터페이스로써 활용한다. 제안하는 인터페이스는 스테레오 카메라를 사용함으로써 사유자가 3차원 공간에서 거리감을 가지고 제어할 수 있도록 하였다. 그리고 간단한 손동작으로 제어하고자 하는 객체를 시각적으로 접촉할 수 있도록 함으로써 직관적인 제어가 가능하도록 하였다. 마지막으로 제안하는 인터페이스를 활용한 응용을 통해서 효율성을 확인한다.

Keywords

References

  1. 승억, 정종우, 서영완, '테이블탑 기기와 인터랙티브 벽면 디스플레이의 기술 동향과 응용', 정보과학회지, 26권 제3호 통권 제226호, pp. 5-14, 2008
  2. Q. Chen, N.D Georganas, and E.M. Petriu, 'Realtime Vision-based Hand Gesture Recognition Using Haar-like Features,' Instrumentation and Measurement Technology Conference Proceedings, IEEE, pp. 1-6, 2007
  3. R. Almeida and P. Cubaud, 'Supporting 3D Window Manipulation with a Yawing Mouse,' Proceedings of the 4th Nordic conference on Humancomputer, Oslo, Norway, pp. 477-480, 2006 https://doi.org/10.1145/1182475.1182541
  4. A.A. Argyros and M. I. A. Lourakis, 'Real-time tracking of multiple skin-colored objects with a possibly moving camera,' European Conference on Computer Vision, Vol.3, pp. 368-379, 2004
  5. R. Sharma, T. Darrell, M. P. Harper, G. Lazzari, and M. Turk, 'Visual touchpad: a two-handed gestural input device,' Proceedings of the 6th International Conference on Multimodal Interfaces, pp. 13-15, 2004
  6. A. Licsara and T. Szirányia, 'User-adaptive hand gesture recognition system with interactive training,' Image and Vision Computing, Vol.23, Issue 12, pp. 1102-1114, 2005 https://doi.org/10.1016/j.imavis.2005.07.016
  7. F. Dadgostar and A. Sarrafzadeh, 'An adaptivereal- time skin detector based on Hue thresholding: A comparison on two motion tracking methods,' Pattern Recognition Letters, Vol.27, Issue 12, pp. 1342-1352, 2006 https://doi.org/10.1016/j.patrec.2006.01.007
  8. G. Borgefors, Distance transformations in digital images, Computer Vision, Graphics and Image Processing, Academic Press Professional, Inc, 1986
  9. A.A. Argyros and M. I. A. Lourakis, 'Visionbased interpretation of hand gestures for remote control of a computer mouse,' Computer Vision in Human-Computer Interaction, pp. 40-51, 2006
  10. T. Lee and T. Hollerer, 'Handy AR : Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking,' 11th IEEE International Symposium on Wearable Computers, pp. 11-13, 2007 https://doi.org/10.1109/ISWC.2007.4373785