Facial Feature Detection and Facial Contour Extraction using Snakes

얼굴 요소의 영역 추출 및 Snakes를 이용한 윤곽선 추출

  • 이경희 (연세대학교 컴퓨터과학과) ;
  • 변혜란 (연세대학교 컴퓨터과학과)
  • Published : 2000.07.15

Abstract

This paper proposes a method to detect a facial region and extract facial features which is crucial for visual recognition of human faces. In this paper, we extract the MER(Minimum Enclosing Rectangle) of a face and facial components using projection analysis on both edge image and binary image. We use an active contour model(snakes) for extraction of the contours of eye, mouth, eyebrow, and face in order to reflect the individual differences of facial shapes and converge quickly. The determination of initial contour is very important for the performance of snakes. Particularly, we detect Minimum Enclosing Rectangle(MER) of facial components and then determine initial contours using general shape of facial components within the boundary of the obtained MER. We obtained experimental results to show that MER extraction of the eye, mouth, and face was performed successfully. But in the case of images with bright eyebrow, MER extraction of eyebrow was performed poorly. We obtained good contour extraction with the individual differences of facial shapes. Particularly, in the eye contour extraction, we combined edges by first order derivative operator and zero crossings by second order derivative operator in designing energy function of snakes, and we achieved good eye contours. For the face contour extraction, we used both edges and grey level intensity of pixels in designing of energy function. Good face contours were extracted as well.

본 논문은 얼굴 인식 또는 표정 인식 분야에 있어서 중요한 특징인 얼굴과 얼굴의 주요소인 눈과 입, 눈썹의 영역 추출 및 그의 윤곽선 추출에 관한 방법을 제시한다. 얼굴요소의 영역 추출은 엣지정보와 이진화 영상을 병합하여 이용한 프로젝션 분석을 통하여, 얼굴 및 각 얼굴요소를 포함하는 최소포함사각형(MER: Minimum Enclosing Rectangle)을 추출한다. 윤곽선 추출은 얼굴요소 모양의 개인차가 반영되고 빠른 수렴을 할 수 있는 스네이크 모델을 정의하여 수행한다. 스네이크는 초기 윤곽선의 설정이 윤곽선 추출 결과에 큰 영향을 미치므로, 초기 윤곽선의 설정 과정이 매우 중요하다. 본 논문에서는 얼굴 및 각 얼굴요소를 포함하는 각각의 최소포함사각형(MER)을 추출하고, 추출된 MER 내에서 얼굴 및 각 얼굴요소의 일반적인 모양을 초기 윤곽선으로 설정하는 방법을 사용한다. 실험결과 눈, 입, 얼굴의 MER 추출은 성능이 모두 우수하고, 눈썹이 흐린 사람들의 경우에만 눈썹의 MER 추출 결과가 좋지 않았다. 추출된 MER을 기반으로 하여 스네이크 모델을 적용한 결과, 눈, 입, 눈썹, 얼굴의 다양한 모양을 반영한 윤곽선 추출 결과를 보였다. 특히 눈의 경우는 1차 유도 엣지 연산자에 의한 엣지와 2차 유도 연산자를 이용한 영점 교차점(Zero Crossing)과 병합한 에너지 함수를 설정하여 보다 더 나은 윤곽선 추출 결과를 얻었다. 얼굴의 윤곽선의 경우도 엣지값과 밝기값을 병합한 에너지 함수에 의해 비교적 정확한 결과를 얻을수 있었다.

Keywords

References

  1. Guangzheng Yang and Thomas S. Huang, 'Human Face Detection in a Complex Background,' Pattern Recognition, Vol.27, No.1, pp.53-63, 1994 https://doi.org/10.1016/0031-3203(94)90017-5
  2. Ying Dai and Yasuaki Nakano, 'Extraction of Facial Images from Complex Background Using Color Information and SGLD Matrices,' International Workshop on AFGR, pp.238-242, 1995
  3. Xiaobo Li and Nicholas Roeder, 'Face Contour Extraction From Front-View Images,' Pattern Recognition, Vol. 28, No. 8, pp.1167-1179, 1995 https://doi.org/10.1016/0031-3203(94)00167-K
  4. Taro Yokoyama, Yasushi Yagi and Masahiko Yachida, 'Facial Contour Extraction Model,' IEEE Proceedings of ICAFGR, pp.254-259, 1998 https://doi.org/10.1109/AFGR.1998.670957
  5. J. Bala, K. DeJong, J. Huang, H. Vafaie, and H. Wechsler, 'Visual Routine for Eye Detection Using Hybrid Genetic Architectures,' IEEE Proceedings of ICPR'96, pp.606-610, 1996 https://doi.org/10.1109/ICPR.1996.547018
  6. Ru-Shang Wang and Yao Wang, 'Facial Feature Extraction and Tracking in Video Sequences,' IEEE First Workshop on Multimedia Signal Processing, 1997 https://doi.org/10.1109/MMSP.1997.602641
  7. Chung-Lin Huang and Ching-Wen Chen, 'Human Facial Feature Extraction For Face Interpretation and Recognition,' Pattern Recognition, Vol.25, No.12, pp.1435-1444, 1992 https://doi.org/10.1016/0031-3203(92)90118-3
  8. Kin-Man Lam and Hong Yan, 'Locating and Extracting the Eye in Human Face Images,' Pattern Recognition, Vol.29, No.5, pp.771-779, 1996 https://doi.org/10.1016/0031-3203(95)00119-0
  9. Alan L. Yuille, Peter W. Hallinan, and David S. Cohen, 'Feature Extraction from Faces Using Deformable Templates,' International Journal of Computer Vision, pp.99-111, 1992 https://doi.org/10.1007/BF00127169
  10. Gloria Chow and Xiaobo Li, 'Towards a System for Automatic Facial Feature Detection,' Pattern Recognition, Vol. 26, No. 12, pp.1739-1755, 1993 https://doi.org/10.1016/0031-3203(93)90173-T
  11. 윤호섭, 소정, 왕민, 민병우, '고립 영역 분석에 의한 얼굴요소 추출', 정보과학논문지, 23권, 7호, pp.752-765, 1996
  12. 유태웅, 오일석, '색채 분포 정보에 기반한 얼굴 영역 추출', 정보과학회 논문지, 제24권, 제2호, pp.180-192, 1997
  13. 김남호, 함상진, 안상철, 김형곤, '색상 움직임을 이용한 실시간 얼굴/손 추적 알고리듬', HCI'98 학술대회 발표 논문집, pp.9-14, 1998
  14. R. Brunelli and T. Poggio, 'Face Recognition: Features versus Templates,' IEEE Trans. PAMI. , Vol. 15, pp.1042-1052, 1993 https://doi.org/10.1109/34.254061
  15. Ching-Liang Su and Chidchanok Lursinsap, 'Face Recognition by Feature Orientation and Feature Geometry Matching,' IEEE Proceedings of ICPR'96, pp.401-405, 1996 https://doi.org/10.1109/ICPR.1996.546978
  16. Irfan A. Essa and Alex P. Pentland, 'Facial Expression Recognition using a Dynamic Model and Motion Energy,' IEEE ICCV'95, pp.360-367, 1995 https://doi.org/10.1109/ICCV.1995.466916
  17. Randy Crane, 'A Simplified Approach to Image Processing,' Prentice Hall PTR, pp.88-93, 1997
  18. M. Kass, A. Witkin and D. Terzopoulos 'Snakes, active contour models,' International Journal of Computer Vision, Vol.1, 1987, pp.321-331 https://doi.org/10.1007/BF00133570
  19. Donna J. Williams and Mubarak Shah, 'A Fast Algorithm for Active Contours and Curvature Estimation,' CVGIP: Image Understanding, Vol.55, No.1, January, pp.14-26, 1992 https://doi.org/10.1016/1049-9660(92)90003-L