Robot vision system for face tracking using color information from video images

로봇의 시각시스템을 위한 동영상에서 칼라정보를 이용한 얼굴 추적

  • 정행섭 (청주대학교 전자공학과) ;
  • 이주신 (청주대학교 전자정보공학부)
  • Received : 2010.07.08
  • Accepted : 2010.08.30
  • Published : 2010.08.31

Abstract

This paper proposed the face tracking method which can be effectively applied to the robot's vision system. The proposed algorithm tracks the facial areas after detecting the area of video motion. Movement detection of video images is done by using median filter and erosion and dilation operation as a method for removing noise, after getting the different images using two continual frames. To extract the skin color from the moving area, the color information of sample images is used. The skin color region and the background area are separated by evaluating the similarity by generating membership functions by using MIN-MAX values as fuzzy data. For the face candidate region, the eyes are detected from C channel of color space CMY, and the mouth from Q channel of color space YIQ. The face region is tracked seeking the features of the eyes and the mouth detected from knowledge-base. Experiment includes 1,500 frames of the video images from 10 subjects, 150 frames per subject. The result shows 95.7% of detection rate (the motion areas of 1,435 frames are detected) and 97.6% of good face tracking result (1,401 faces are tracked).

본 논문에서는 로봇의 시각시스템에 효과적으로 적용할 수 있는 얼굴 추적 방법을 제안하였다. 제안한 알고리즘은 동영상의 움직임 영역을 검출한 후 얼굴 영역을 추적한다. 동영상의 움직임 검출은 연속되는 2개의 프레임을 사용하여 차영상을 구한 후, 잡음을 제거하기 위한 방법으로 메디안 필터와 침식 및 팽창연산을 사용하여 움직임 영역을 검출한다. 움직임 영역에서 피부색을 추출하기 위하여 표본영상의 칼라 정보를 이용하였다. 칼라정보의 MIN-MAX값을 퍼지화 데이터로 멤버십 함수를 생성한 후, 유사도를 평가하여 피부색 영역과 배경영역을 분리하였다. 얼굴 후보영역에 대하여 CMY 칼라 공간 C 채널에서 눈을 검출하고, YIQ 칼라 공간 Q 채널에서 입을 검출하였다. 지식기반으로 검출된 눈과 입의 특징을 찾아가며 얼굴영역을 추적하였다. 실험영상으로는 10명 각각에 대하여 150프레임의 동영상 총 1,500프레임을 입력받아 실험한 결과, 1,435프레임의 영상에 대하여 움직임 영역이 검출되어 95.7%의 프레임 검출율을 보였으며, 1,401개에 대한 얼굴을 추적 97.6%의 우수한 얼굴 추적결과를 나타내었다.

Keywords

References

  1. B. Z. Shaick, and L. Yaoslavsky, "Accelerating face detection by mears of image segmentation" Video/Image Processing and Multimedia Communications, Vol. 1, pp. 411-416, 2003.
  2. R. Xiao, M. J. Li, and H. J. Zhang, "Robust multipose face detection in image" IEEE Trans. Clrcuits and Systems for Video Technology, Vol. 14, pp. 31-41, 2004. https://doi.org/10.1109/TCSVT.2003.818351
  3. Fok Hing Chi Tivivie and Abdesselam Bouzerdoum, "Efficient Training Algorithm for a Class of Shunting Inhibitory Convolutional Neural Networks" IEEE Trans. Neural Networks, Vol. 16, No. 3, 2005.
  4. Mohamed A. Berbar, Hamdy M. Kelash, "Face and facial features detection in color image", Proceeding of GMAI 2006.
  5. Y. X., Lv, Z. Q. Liu, and X.H. Zhu, "Real-time face detection based on skin-color model and morphology filters", International Conf. on Machine Learnign and Cybernetics, vol 5, pp. 3202-3207, 2003.
  6. Rein-Lien Hsu, Mohamed Abdel-Mottalen, Anil K. Jan, "Face detection in color images", IEEE Trans. Pattern analysis and machine intelligence, Vol. 24, No.5 May 2002.
  7. Z. Liu, Y. Wang, "Face detection and tracking in video using dynamic programming", International Conference on Image Processing, vol. 1, pp. 53-56, 2000.
  8. G. Yang and T. S. Huang, "Human face detection on a complex background", Pattern Recognition, vol. 27, no. 1, pp. 53-63, 1994. https://doi.org/10.1016/0031-3203(94)90017-5
  9. I. Craw, D. Tock, and A. Bennett, "Finding face features", In proc. ECCV, pp. 92-96. 1992.
  10. H. Rowley, S. Baluja, and T. Kanade, "Neural network-based face detection", IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 20, No. 1, pp. 23-38, 1998. https://doi.org/10.1109/34.655647
  11. B. Moghaddam and A. Pentland, "Probabilistic visual learning for object representation", IEEE trans. Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, pp. 696-710, 1997. https://doi.org/10.1109/34.598227
  12. 정행섭, 이주신, "퍼지추론을 이용한 얼굴영역 검출 알고리즘", 한국항행학회 논문지 제3권 제5호, 2009.