Journal of the Institute of Electronics and Information Engineers (전자공학회논문지)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지
DOI QR코드

DOI QR Code

Far Distance Face Detection from The Interest Areas Expansion based on User Eye-tracking Information

시선 응시 점 기반의 관심영역 확장을 통한 원 거리 얼굴 검출

  • Received : 2011.12.14
  • Published : 2012.09.25
Download PDF
⟨ Previous Next ⟩

Abstract

Face detection methods using image processing have been proposed in many different ways. Generally, the most widely used method for face detection is an Adaboost that is proposed by Viola and Jones. This method uses Haar-like feature for image learning, and the detection performance depends on the learned images. It is well performed to detect face images within a certain distance range, but if the image is far away from the camera, face images become so small that may not detect them with the pre-learned Haar-like feature of the face image. In this paper, we propose the far distance face detection method that combine the Aadaboost of Viola-Jones with a saliency map and user's attention information. Saliency Map is used to select the candidate face images in the input image, face images are finally detected among the candidated regions using the Adaboost with Haar-like feature learned in advance. And the user's eye-tracking information is used to select the interest regions. When a subject is so far away from the camera that it is difficult to detect the face image, we expand the small eye gaze spot region using linear interpolation method and reuse that as input image and can increase the face image detection performance. We confirmed the proposed model has better results than the conventional Adaboost in terms of face image detection performance and computational time.

영상처리 기법을 이용한 얼굴검출에 관한 많은 다양한 방법들이 제시되어 왔다. 일반적으로 가장 많이 쓰이는 얼굴 검출 방식은 Viola와 Jones이 제안한 Adaboost 방식이다. 이 방식은 Haar-like feature을 이용하여 얼굴영상을 선행 학습하고, 검출 성능은 학습된 DB에 의존한다. 이는 일정 거리 범위 안의 학습된 얼굴 크기에서는 얼굴 검출을 잘 수행하지만, 카메라에서 객체(얼굴)의 거리가 멀어지면 얼굴 크기가 작아져 기존에 학습한 Haar-like feature로 얼굴 검출을 하지 못하는 경우가 발생한다. 이에 본 논문에서는 생물학 기반의 선택적 주의집중 기반의 Haar-like feature 정보를 이용한 Adaboost 모델과 사용자의 시선 응시 점 정보를 이용하여, 사용자의 관심영역 확장을 통한 원거리 얼굴 검출 모델을 제안한다. 생물학적 기반의 선택적 주의 집중 모델인 돌출맵(Saliency map) 정보를 이용하여 입력 영상에 대하여 얼굴 후보 영역을 검출하고, 검출된 얼굴 후보 영역 중에서 선행 학습된 Haar-like feature 정보로 Adaboost 알고리즘을 이용하여 최종 얼굴 영상을 검출한다. 그리고 사용자의 시선 응시 점 정보는 관심영역을 선택 하는데 이용된다. 피 실험자가, 카메라로부터 멀리 거리 떨어져 얼굴의 크기가 얼굴검출이 힘들더라도 사용자 시선 응시 점 영역을 선형 보간법으로 확대하여 입력영상으로 재사용함으로써 얼굴 검출 성능을 높일 수 있다. 제안된 방법이 기존의 Adaboost 방법보다 얼굴 검출 성능과 수행시간 면에서 우수함을 실험을 통해 확인하였다.

Keywords

References

  1. 정재찬, 신호철, 황대환, 조재일, "피부색 필터를 이용한 실시간 얼굴 검출기", 대한전자공학회 하계학술대회 제 33권 1호, 253-254쪽, 2010년
  2. 백영현, "피부색 모델 기반의 효과적인 얼굴 검출 연구", 대한전자공학회 논문지-SP, 45SP-6-5, 38-43쪽, 2008년
  3. 황용원, 오상록, 유범재, 이지용, 박민용, 정문호, "컬러 정보를 이용한 신경 진동망 기반 얼굴 추적 방법", 대한전자공학회 논문지-SC, 48SC-2-7, 100-106쪽, 2011년
  4. P. Viola, M. J. Jones, "Robust Real-Time Face Detection", International Journal of Computer Vision 57(2) Kluwer Academic Publishers. Manufactured in The Netherlands, pp. 137-154, 2004. https://doi.org/10.1023/B:VISI.0000013087.49260.fb
  5. L. Itti, C. Koch, and E. Niebur, "A model of saliency-based visual attention for rapid scene analysis", IEEE Transaction on Pattern Analysis and Machine Intelligence, 20(11), pp. 1254-1259, 1998. https://doi.org/10.1109/34.730558
  6. J. Duncan, "Selective attention and the organization of visual information", Journal of Experimental Psychology: General, 113, pp. 501-517, 1984. https://doi.org/10.1037/0096-3445.113.4.501
  7. S. Jeong, S.-W. Ban, and M. Lee, "Stereo Saliency Map Considering Affective Factors and Selective Motion Analysis in a Dynamic Environment", Neural Networks, 21, pp. 1420-1430, 2008. https://doi.org/10.1016/j.neunet.2008.10.002
  8. E. B. Goldstein, "Sensation & Perception, 4th edition," An international Thomson publishing company, USA, 1995.
  9. B. Hwang, C,-S. Kim, H,-M. Park, Y,-J. Lee, M,-Y. Kim, and M, Lee, "Development of Visualizing Earphone and Hearing Glasses for Human Augmented Cognition", LNCS 7063, Springer, pp. 342-349, 2011.
  10. A. M. Treisman, and G. Gelde, "A feature-integration theory of attention," Cognitive Psychology, vol. 12, no. 1, pp. 97-136, 1980. https://doi.org/10.1016/0010-0285(80)90005-5
  11. O. Ramstrm, and H. I. Christensen, "Visual Attention Using Game Theory," BMCV 2002, LNCS 2525, pp. 462-471, 2002.
  12. Z. Li, "A saliency map in primary visual cortex," Trends in Cognitive Sciences, vol 6, no. 1, pp. 9-16, 2002. https://doi.org/10.1016/S1364-6613(00)01817-9
  13. B. Scassellati, "Investigating models of social development using a humanoid robot," in Proc. IJCNN2003, pp. 2704-2709, 2003.
  14. C. Breazeal, A. Edsinger, P. Fitzpatrick, and B. Scasselati, "Active vision for social robots," IEEE Trans. System, Man, and Cybernetics- Part A: Systems And Humans, vol. 31, no. 5, 2001.
  15. F. Orabona. G. Metta, and G. Sandini, "Object-based Visual Attentions: a Model for a Behaving Robot," 3rd International Workshop on Attention and Performance in Computational Vision, 2005.
  16. S.-W. Ban and M. Lee, "Biologically Motivated Visual Selective Attention for Face Localization", LNCS 3368 pp. 196-205, 2005.
  17. W.-J. Won, Y.-M. Jang, S.-W. Ban, and M. Lee, "Biologically Motivated Face Selective Attention Model", LNCS 4984, pp. 953-962, 2008.
  18. Kovac, J., Peer, P., Solina, F.: "Human skin colour clustering for face detection", EUROCON 2, pp. 144-48, 2003.
  19. Rafael C. Gonzalez, Richard E. Woods, Digital Image Processing, 2ed edition, Prentice Hall, USA, 2002.
  20. P. Viola and M.J. Jones, "Robust real-time object detection", Technical Report Series, Compaq Cambridge research Laboratory, 01, Feb. 2001.
  21. 김석호, 김재민, 조성원, 이기성, 정선태, "Haar-like Feature 변형을 이용한 기울어진 얼굴 검출", 대한전자공학회 하계종합 학술대회 31권 제 1호, 987-988쪽, 2008년
  22. 배정민, 이영현, 송태엽, 구본화, 전승선, 고한석, "Edge와 Intensity 기반의 특징을 이용한 얼굴 검출", 대한전자공학회 하계종합 학술대회, 967- 968 쪽, 2009년
  23. Yoav Freund and Robert E. Schapire., "A decisiontheoretic generalization of on-line learning and an application to boosting." Journal of Computer and System Sciences, 55(1): pp. 119 -139, 1997. https://doi.org/10.1006/jcss.1997.1504
  24. Robert E. Schapire and Yoram Singer. "Improved boosting algorithms using confi dence-rated predictions", In Proceedings of the Eleventh Annual Conference on Computational Learning Theory, pp. 80-91, 1998.
  25. Robert E. Schapire, Yoav Freund, Peter Bartlett, and Wee Sun Lee. "Boosting the margin: A new explanation for the effectiveness of voting methods", In Machine Learning: Proceedings of the Fourteenth International Conference, 1997.
  26. R. Brunelli, "Template Matching Techniques in Computer Vision: Theory and Practice", Wiley, ISBN 978-0-470-51706-2, 2009.
  27. Z. Ramdane Cherif, A. Nait-Ali, J. Motsch, M. Krebs, "An adaptive calibration of an infrared light device used for gaze tracking", in Proc. of the IEEE Instrumentation and Measurement Technology Conference, Anchorage, AK, pp. 1029-1033, 2002.
  28. Georgia Tech face database, http://www.anefian.com/research/face_reco.htm
  29. UCD Valid Database, http://ee.ucd.ie/validdb/datasets.html
  30. Tobii glasses eye-tracker, http://www.tobii.com/