Real Time Gaze Discrimination for Human Computer Interaction

휴먼 컴퓨터 인터페이스를 위한 실시간 시선 식별

  • 박호식 (관동대학교 전자통신공학과 영상처리연구실) ;
  • 배철수 (관동대학교 전자통신공학과 영상처리연구실)
  • Published : 2005.03.01

Abstract

This paper describes a computer vision system based on active IR illumination for real-time gaze discrimination system. Unlike most of the existing gaze discrimination techniques, which often require assuming a static head to work well and require a cumbersome calibration process for each person, our gaze discrimination system can perform robust and accurate gaze estimation without calibration and under rather significant head movement. This is made possible by a new gaze calibration procedure that identifies the mapping from pupil parameters to screen coordinates using generalized regression neural networks (GRNNs). With GRNNs, the mapping does not have to be an analytical function and head movement is explicitly accounted for by the gaze mapping function. Futhermore, the mapping function can generalize to other individuals not used in the training. To further improve the gaze estimation accuracy, we employ a reclassification scheme that deals with the classes that tend to be misclassified. This leads to a 10% improvement in classification error. The angular gaze accuracy is about 5°horizontally and 8°vertically. The effectiveness of our gaze tracker is demonstrated by experiments that involve gaze-contingent interactive graphic display.

본 논문에서는 실시간 시선 식별을 위한 능동적 적외선 조명을 기반으로 한 컴퓨터 비전 시스템을 제안하고자 한다. 현존하는 대다수의 시선 식별 방법은 고정된 얼굴에서만 원활하게 동작하고 개개인에 대한 교정 절차를 필요로 한다. 그러므로 본 논문에서는 교정 작업 없이 얼굴 움직임이 있는 경우에도 견실하고 정확하게 동작하는 시선 식별 시스템을 제안하고 있다. 제안된 시스템은 추출된 변수로부터 시선을 스크린 좌표로 매핑하기 위해 GRNN을 이용하였다. 동공을 추적하여 GRNN을 사용함으로서, 시선 매핑에 분석적 기능이나 얼굴 움직임에 대한 계산이 필요 없을 뿐 아니라 다른 개개인에 대하여 학습과정에서 매핑 기능을 일반화 할 수 있었다. 시선 예측 정확도를 개선하고자 계층적 식별을 제안함으로써 오분류를 줄일 수 있었고, 공간 시선 해상도는 스크린에서 1m 정도 떨어진 거리에서 수평으로 10cm, 수직으로 약 13cm, 즉 수평으로 8도 수직으로 5도 이었다. 실험 결과, 재식별 하였을 경우 1차 시선 식별시 84%보다 약 9% 정도 정확성이 향상되어 93%를 나타냄으로써 제안된 시스템의 유효성을 증명하였다.

Keywords

References

  1. 박영태, '생체 인식 및 휴먼 인터페이스 기술', 전자공학회지, Vol.26, No.11, 1999
  2. T. E. Hutchinson, K. White, J. R. Worthy, N. Martin, C. Kelly, R. Lisa and A. Frey. 'Human-computer interaction using eye-gaze input' , IEEE Transaction on systems, man, and cybernetics, Vol.19, pp.1527-1533, 1989 https://doi.org/10.1109/21.44068
  3. Y. Ebisawa, 'Unconstrained pupil detection technique using two light sources and the image difference method', Visualization and Intelligent Design in Engineering, pp.79-89, 1989
  4. Y. Ebisawa, 'Improved video-based eye-gaze detection method', IEEE Transactions on Instrumentation and Measurement, 47(2) pp.948-955, 1998 https://doi.org/10.1109/19.744648
  5. T. E. Hutchinson, 'Eye movement detection with improved calibration and speed', United States Patent, (4,950,069), 1988
  6. D. Koons and M. Flickner. Ibm blue eyes project. http://www.almaden.ibm.com/cs/blueeyes
  7. T. Ohno, N. Mukawa, and A. Yoshikawa, 'Freegaze: A gaze tracking system for everyday gaze interaction', Eye Tracking Research and Applications Symposium, March, USA, 2002
  8. Cortes, C., and Vapnik, V. 'Support-vector networks', Machine Learning 20, pp.273-297. 1995
  9. Hangan, M.T, Demuth, H.B, Beale, M, 'Neural Network Design 1st ed' chap 12, PWS Pub, 1996
  10. Huang, J., II, D., Shao, X., and Wechsler, H. 'Pose discrimination and eye detection using support vector machines (svms).' In Proceeding of NATO-ASI on Face Recognition: From Theory to Applications, pp.528-536. 1998
  11. JI, Q., AND YANG, X. 'Real time visual cues extraction for monitoring driver vigilance.' In Proc. of International Workshop on Computer Vision Systems. 2001
  12. 박호식, 박동희, 남기환, 한준희, 나상동, 배철수 '실시간 눈과 시선 위치 추적', 한국통신학회 추계 종합학술발표회, 2003
  13. 박호식, 박동희, 설증보, 손동주, 나상동, 배철수 '실시간 계층적 시선 식별', 한국통신학회 추계 종합학술발표회, 2004