The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

A Study on Controlling IPTV Interface Based on Tracking of Face and Eye Positions

얼굴 및 눈 위치 추적을 통한 IPTV 화면 인터페이스 제어에 관한 연구

  • Received : 2009.12.30
  • Accepted : 2010.05.10
  • Published : 2010.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, many researches for making more comfortable input device based on gaze detection have been vigorously performed in human computer interaction. However, these previous researches are difficult to be used in IPTV environment because these methods need additional wearing devices or do not work at a distance. To overcome these problems, we propose a new way of controlling IPTV interface by using a detected face and eye positions in single static camera. And although face or eyes are not detected successfully by using Adaboost algorithm, we can control IPTV interface by using motion vectors calculated by pyramidal KLT (Kanade-Lucas-Tomasi) feature tracker. These are two novelties of our research compared to previous works. This research has following advantages. Different from previous research, the proposed method can be used at a distance about 2m. Since the proposed method does not require a user to wear additional equipments, there is no limitation of face movement and it has high convenience. Experimental results showed that the proposed method could be operated at real-time speed of 15 frames per second. Wd confirmed that the previous input device could be sufficiently replaced by the proposed method.

최근 HCI 분야에서 사용자의 시선 추적을 통해 보다 편리한 입력 장치를 개발하려는 연구가 활발히 진행되고 있다. 하지만 기존의 시선 추적 방법들은 부가적인 사용자 착용형 장비를 필요로 하거나 원거리에서 작동되지 않는 문제 등으로 인해 IPTV 환경에서 적용하기 어려운 실정이다. 이에 본 연구에서는 사용자 착용없이 고정된 하나의 카메라를 이용하여 얼굴을 취득하고, 취득된 얼굴 영역 내에서 눈의 위치를 검출하여 IPTV의 화면 인터페이스를 제어할 수 있는 새로운 방법을 제안한다. 또한, Adaboost 방법으로 얼굴이나 눈이 성공적으로 검출되지 못했을 경우에도, 계층적 KLT (Kanade-Lucas-Tomasi)특징 추적 방법을 통해 구해진 모션 벡터를 이용하여 화면 인터페이스를 제어할 수 있는 방법을 제안한다. 이처럼, 본 논문의 방법은 기존의 방법과는 달리 실제 IPTV의 시청거리인 2m 정도의 원거리에서도 사용가능하며, 카메라 이외에 별도의 장치를 착용할 필요가 없으므로 편의성이 높고 얼굴 움직임의 제약이 없다는 장점이 있다. 실험결과, 입력되는 얼굴 영상을 초당 15프레임의 속도로 실시간 처리함을 확인할 수 있었으며, 기존 입력 장치의 역할을 충분히 대신할 수 있음을 알 수 있었다.

Keywords

References

  1. You Jin Ko and Kang Ryoung Park "Gaze Detection Based on Facial Features and Linear Interpolation on Mobile Devices," Journal of Korea Multimedia Society Vol. 12, No.8, August 2009
  2. Jacob, R. and J. K, "Eye Movement-Based Human-Computer Interaction Techniques : Toward Non-Command Interfaces," Advances in Human- Computer Interaction, H. R. Hartson and D. Hix, Editors., Ablex Publishing Co., pp.151-190, 1993.
  3. L. E. Sibert, and R. J. K. Jacob, "Evaluation of Eye Gaze Interaction," Proceedings of the SIGCHI Conference, pp.281-288, 2000.
  4. Ohno, T. "Quick Menu Selection Task with Eye Mark," Transactions of Information Processing Society of Japan, Vol.40, No.2, pp.602-612, 1999.
  5. Yamato, M., Monden, A., Matsumoto, K., Inoue, K. and Torii, K, "Quick Button Selection with Eye Gazing for General GUI Environments," International Conference on Software: Theory and Practice, August 2000.
  6. Andrew T. Duchowski, Vinay Shiva shankariah, Tim Rawls, Anand K.Gramopadhye, Brian J. Melloy, and Barbara Kanki, "Binocular Eye Tracking in Virtual Reality for Inspection Training," Proceedings of the 2000 Symposium on Eye Tracking Research & Applications, pp.89-96, 2000.
  7. Jeong Jun Lee, Kang Ryoung Park, and Jaihie Kim, "Gaze Detection System under HMD Environment for User Interface," Joint Conference of ICANN/ICONIP, June 2003.
  8. 이의철, 박강령, "HMD (Head Mounted Display)에서 시선 추적을 통한 3차원 게임 조작 방법 연구," 대한전자공학회 논문지, 제45권 2호 sp편, pp.49-64, 2008년 3월.
  9. P. Viola, M. J. Jones, "Robust Real-Time Face Detection," International Journal of Computer Vision, Vol.57, No.2, pp.137-154, 2004.
  10. Eui Chul Lee, You Jin Ko and Kang Ryoung Park, "Gaze Tracking Based on AAM and Multiple SVR on Mobile Device," Optical Engineering, Vol. 48, No. 7, pp.077002-1 - 077002-11, 2009. https://doi.org/10.1117/1.3158992
  11. Yoav Freund, Robert E. Schapire "A Short Introduction to Boosting", Journal of Japanese Society for Artificial Intelligence, pp.771-780, September 1999.
  12. 이우주, 김진철, 이배호 "AdaBoost 알고리즘을 이용한 실시간 얼굴 검출 및 추적", 한국멀티미디어학회지, 9권, 10호, pp.1266-1275, 2006년 10월.
  13. Rainer Lienhart and Jochen Maydt, "An Extended Set of Haar-like Features for Rapid Object Detection," ICIP, 2002.
  14. Alexander Kuranov, Rainer Lienhart, and Vadim Pisarevsky, "An Empirical Analysis of Boosting Algorithms for Rapid Objects With an Extended Set of Haar-like Features," Intel Technical Report MRL-TRJuly02- 01, 2002.
  15. 박성효, 조달호, 박강령, "Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구", 대한전자공학회 논문지, 제45권 CI편 제 4호, pp.1-11, 2008년 7월
  16. Byung Jun Kang, Kang Ryoung Park, "A Robust Eyelash Detection Based on Iris Focus Assessment", Pattern Recognition Letters, Vol. 28, Issue 13, 1 October 2007, pp.1630-1639 https://doi.org/10.1016/j.patrec.2007.04.004
  17. Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," IEEE CVPR, 2001.
  18. Rafael C.Gonzalez, Richard E. Woods, "Digital Image Processing Second Edition", 2002 by Prentice-Hall, Inc.
  19. 조재수, 강현수, 김흥수, 김성득 저 "멀티미디어 신호처리", 사이텍 미디어 p.41
  20. Dal-ho Cho, Kang Ryoung Park, Dae Woong Rhee, Yanggon Kim, and Jonghoon Yang, "Pupil and Iris Localization for Iris Recognition in Mobile Phones," Proceedings of SNPD, Las Vegas Nevada, USA, June 19-20, 2006.
  21. C. Tomasi and T. Kanade, "Detection and tracking of point features," Technical Report CMU-CS-91-132, Carnegie Mellon University, April 1991.
  22. J. Y. Bouguet, "Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm," Intel Corporation, 2003.
  23. 이의철, 박강령, "눈동자 시선 추적에 의한 3차원 1인칭 슈팅 게임", 한국정보처리학회 논문지, 제12-B권 제4호, pp.465-472, 2005년 8월
  24. 이의철, 박강령, "사용자 시선 추적을 통한 3차원 FPS 게임 화면 조정", 2006년 한국 차세대컴퓨팅학회 논문 발표회, 일산 KINTEX, 2006.11.16-17
  25. Eui Chul Lee, Kang Ryoung Park, Min Cheol Whang, Junseok Park, "Robust Gaze Tracking Method for Stereoscopic Virtual Reality System", Lecture Notes in Computer Science (HCI International 2007), Vol. 4552, pp.700-709, Beijing, China, July 22- 27, 2007
  26. Eui Chul Lee, Kang Ryoung Park, Min Cheol Whang, Joa Sang Lim, "Vision-based Gaze Estimation Method For Stereoscopic Display Systems", 10th International Federation of Automatic Control (IFAC), Ritz- Carlton Hotel, Seoul, Korea, 4-6 Sep., 2007