한국정보과학회논문지:소프트웨어및응용 (Journal of KIISE:Software and Applications)

한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지

휴먼마우스 구현을 위한 효율적인 손끝좌표 추적 및 마우스 포인트 제어기법

Efficient Fingertip Tracking and Mouse Pointer Control for Implementation of a Human Mouse

  • 박지영 (성균관대학교 정보통신학부) ;
  • 이준호 (성균관대학교 정보통신학부)
  • 발행 : 2002.12.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 연구는 마우스의 입력을 사람의 손동작으로 대체하는 휴먼마우스 시스템을 위한 새로운 손끝 좌표 추적기법과 마우스 포인터 움직임 결정법을 제안한다. 손끝좌표 추적에는 얼굴영역 추적을 위해 제안되었던 CAMSHIFT 알고리즘을 개선하여 적용하였다. 정확한 손 영역 검출을 위하여 각 사용자의 환경에 최적화된 피부영역 컬러 정보를 얻을 수 있는 실시간 피부영역 학습과 손의 자유로운 움직임으로 인하여 발생하는 손 영역의 크기 및 방향변화를 고려한 영역제한 기법을 적용하였다. 또한 손의 주축을 이용한 손끝좌표 계산법을 통해 빠르고 정확하게 손끝의 위치를 찾을 수 있다. 실시간 손끝좌표 검출에는 처리속도의 한계가 있어 얻어지는 좌표의 연속성이 결여되어 마우스 포인터의 움직임이 연결되지 않는 문제점이 있다. 연속적인 마우스 포인터의 움직임 표현을 위해 손끝좌표의 이동거리를 통해 마우스 포인터의 속도와 가속도를 계산하여 마우스 포인터의 운동방정식을 정의하고 이를 이용하여 마우스 포인터의 위치를 결정한다. 제안한 알고리즘을 적용하여 실험한 결과 빠르고 정확한 손끝좌표 추적과 마우스 포인터의 자연스러운 움직임이 가능함을 보였다.

This paper discusses the design of a working system that visually recognizes hand gestures for the control of a window based user interface. We present a method for tracking the fingertip of the index finger using a single camera. Our method is based on CAMSHIFT algorithm and performs better than the CAMSHIFT algorithm in that it tracks well particular hand poses used in the system in complex backgrounds. We describe how the location of the fingertip is mapped to a location on the monitor, and how it Is both necessary and possible to smooth the path of the fingertip location using a physical model of a mouse pointer. Our method is able to track in real time, yet not absorb a major share of computational resources. The performance of our system shows a great promise that we will be able to use this methodology to control computers in near future.

키워드

참고문헌

  1. C. Jennings, 'Robust finger tracking with multiple cameras' International Workshop on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time Systems, pp. 152-160, 1999 https://doi.org/10.1109/RATFG.1999.799238
  2. J. Rehg and T. Kanade, 'Visual Analysis of High DOF Articulated Object with Application to Hand Tracking,' CMU Tech. Report CMU-CS-95-138, Carnegie Mellon University, April, 1993
  3. Gary R. Bradski, 'Computer Vision Face Tracking For Use in a Perceptual User Interface,' Intel Technology Journal Q2, 1998
  4. R. Kjeldsen and J. Render, 'Towards the use of Gesture in Traditional User Interfaces,' International Conference on Automatic Face and Gesture Recognition, pp.151-156, 1996 https://doi.org/10.1109/AFGR.1996.557257
  5. R. Kjeldsen and J. Kender 'Interaction with On-Screen Objects using Visual Gesture Recognition' IEEE Conference on Computer Vision and Pattern Recognition, pp. 788-793, 1997 https://doi.org/10.1109/CVPR.1997.609416
  6. W. T. Freeman, K. Tanaka, J. Ohta and K. Kyuma, 'Computer vision for computer games' Proceedings of the Second International Conference on Automatic Face and Gesture Recognition, pp. 100-105, 1996
  7. B. K. P. Horn, 'Robot vision,' MIT Press, 1986
  8. Andrew Wu, Mubarak Shah and N. da Vitoria Lobo, 'A Virtual 3D Blackboard: 3D Finger Tracking using a Single Camera' Proceedings of the Fourth International Conference on Atomatic Face and Gesture Reconition, pp. 536-543, 2000 https://doi.org/10.1109/AFGR.2000.840686
  9. 김유호, 김종선, 박지영, '휴먼 마우스 구현을 위한 효율적인 검지 좌표 검출 및 추적', HCI 학술대회, 한국정보과학회 10권 1호, pp800-805, 2001
  10. R. Kjeldsen, 'Visual Interpretation of Hand Gestures as a Practial Interface Modality' PhD Thesis, Department of Computer Science, Columbia University, October 1996
  11. Harvey Gould and Jan Tobochnik 'An Introduction to Computer Simulation Methods' Addison Wesley Publishing Company, 1996