Detection and Recovery of Occluded Face Images Based on Correlation

상관관계에 기반한 가려진 얼굴 영상 검출 및 복원

  • Lee, Ji-Eun (Division of Electrical and Computer Engineering, Ajou University) ;
  • Kwak, No-Jun (Division of Electrical and Computer Engineering, Ajou University)
  • 이지은 (아주대학교 전자공학과) ;
  • 곽노준 (아주대학교 전자공학과)
  • Received : 2010.12.17
  • Accepted : 2011.06.07
  • Published : 2011.09.25

Abstract

In this paper, we propose a method to detect and recover the occluded parts of face images using the correlation between pairs of pixels. In a training stage, correlation coefficients between every pairs of pixels are calculated using the occlusion-free face images. Once a new occluded face image is shown, the occluded area is detected and recovered using the correlation coefficients obtained in the training stage. We compare the performance of the proposed method with the conventional method based on PCA. The results show that the proposed method detects and recovers occluded area with much smaller noises than the conventional PCA based method. Moreover, recovered images by the proposed method were more smooth with reduced blurring effect.

본 논문에서는 화소들 간의 상관관계를 이용하여 가려진 얼굴 영상을 검출하고 복원하는 방법을 제안한다. 본 논문의 학습 단계에서는 기존에 이용된 주성분 분석법( PCA )의 변환 행렬 대신 상관계수를 계산하고, 테스트 단계에서는 학습 단계에서 구한 상관계수를 이용하여 가려진 얼굴 영역 검출 과정과 복원 과정을 수행한다. 검출된 영상과 복원된 영상은 실험을 통해 기존 방법과 비교한다. 실험 결과, 상관관계 방법에 의해 검출된 영상은 기존 주성분 분석법을 이용한 방법보다 가려진 얼굴 영역 및 주변 영역의 잡음이 적음을 확인하였다. 또한 복원된 얼굴 영상에서는 영상의 뭉개지는 현상이 줄어들었으며, 복원된 얼굴 영상의 가려진 부분과 가려지지 않은 부분과의 경계가 보다 매끄럽게 연결되는 것을 확인하였다.

Keywords

References

  1. 오유화, 안상철, 김형곤, 김익재, 이성환, "반복적인 PCA 재구성을 이용한 얼굴 영상에서의 안경 제거," 대한전자공학회논문지, 제41권 제3호, 35-49쪽, 2004년 5월
  2. C. Wu, C. Liu, H. Y. Shum, Y. Q. Xy and Z. Zhang, "Automatic eyeglasses romoval from face images," Asian conference on Computer Vision, IEEE Trans. Pattern Analysis and Machine Intelligence., Vol. 26, no. 3, pp. 322-336, March 2004.
  3. 박현, 문영식, "2차원 칼라 얼굴 영상에서 반복적인 PCA 재구성을 이용한 자동적인 잡음 제거," 대한전자공학회논문지, 제43권 제2호, 62-71쪽, 2006년 3월
  4. Z. M. Wang and J. H. Tao, "Reconstruction of partially occluded face by fast recursive PCA," International Conference on Computational Intelligence and Security Workshops, pp. 304-307, Dec 2007.
  5. S. xiaoFeng, T. Min, C. deren and T. RuoFeng, "A two step method to recover occluded part of face," International Conference on Information Sciences and Interaction Sciences, pp. 169-173, June 2010.
  6. B. W. Hwang and S. W. Lee, "Reconstruction of partially damaged face images based on a morphable face model." IEEE Trans. Pattern analysis and Machine Intelligence, Vol. 25. no. 3. pp. 365-372, March 2003. https://doi.org/10.1109/TPAMI.2003.1182099
  7. D. Lin and X. Tang, "Quality-driven face occlusion detection and recovery," IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-7, June 2007.
  8. BioID face database http://www.bioid.com/support/downloads/software/bioid-face-database.html