KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Lip Contour Detection by Multi-Threshold

다중 문턱치를 이용한 입술 윤곽 검출 방법

  • Received : 2020.06.15
  • Accepted : 2020.09.09
  • Published : 2020.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, the method to extract lip contour by multiple threshold is proposed. Spyridonos et. el. proposed a method to extract lip contour. First step is get Q image from transform of RGB into YIQ. Second step is to find lip corner points by change point detection and split Q image into upper and lower part by corner points. The candidate lip contour can be obtained by apply threshold to Q image. From the candidate contour, feature variance is calculated and the contour with maximum variance is adopted as final contour. The feature variance 'D' is based on the absolute difference near the contour points. The conventional method has 3 problems. The first one is related to lip corner point. Calculation of variance depends on much skin pixels and therefore the accuracy decreases and have effect on the split for Q image. Second, there is no analysis for color systems except YIQ. YIQ is a good however, other color systems such as HVS, CIELUV, YCrCb would be considered. Final problem is related to selection of optimal contour. In selection process, they used maximum of average feature variance for the pixels near the contour points. The maximum of variance causes reduction of extracted contour compared to ground contours. To solve the first problem, the proposed method excludes some of skin pixels and got 30% performance increase. For the second problem, HSV, CIELUV, YCrCb coordinate systems are tested and found there is no relation between the conventional method and dependency to color systems. For the final problem, maximum of total sum for the feature variance is adopted rather than the maximum of average feature variance and got 46% performance increase. By combine all the solutions, the proposed method gives 2 times in accuracy and stability than conventional method.

본 논문에서는 입술 윤곽선을 검출하기 위한 다중 문턱치 기반의 검출방법을 제안하였다. 기존의 연구 중 Spyridonos 등이 제안한 방법은 입력영상을 RGB로부터 YIQ 좌표계로 변환하여 Q 성분만을 이용하여 Q 영상을 얻는다. Q 영상으로부터 변화 점 검출을 통하여 입술 모양의 좌우 끝점을 얻어낸다. 좌우 끝점에 대한 수직 좌표의 평균값을 이용하여 Q 영상을 상하로 분리하고, 상하 영역 각각에 대하여 별도로 Q값을 대상으로 문턱치를 적용하여 후보 윤곽선을 추출한다. 추출된 후보 윤곽선에 특징치 거리를 이용하여 최적의 문턱치를 찾고, 해당하는 윤곽선을 최종 입술 윤곽선으로 결정한다. 이 때 사용되는 특징치 거리 D는 후보 윤곽선 상의 점들을 기준으로 주변 영역에 대한 차이의 절대값을 이용하여 계산한다. 기존연구의 문제점은 세 가지인데, 첫째는 입술 끝점 추출 과정에서 피부영역의 과다한 참여로 입술 끝점의 추출의 정확도가 감소하고, 따라서 후속되는 상/하 영역 분리에도 영향을 미친다. 둘째는 YIQ 칼라 좌표계를 사용하였는데, 다양한 칼라 좌표계에 대한 분석이 미비하므로 추가적인 분석이 필요하다. 세 째, 최적 윤곽선의 선택 시 적용하는 거리 값 파라미터의 계산 과정에서, 문턱치를 적용하여 구한 해당 윤곽선 주변의 데이터들에 의한 변화분을 계산하여 변화가 가장 큰 윤곽선을 입술 후보로 채택하는데, 변화분의 최대치를 기준으로 하기 때문에 검출된 입술영역이 기준보다 축소되는 문제점이 있다. 첫 번째 문제점을 해결하기 위하여 피부영역의 계산과정 참여를 줄여서 성능을 30%정도 향상시켰다. 두 번째는 YIQ 외에 HSV, CIELUV, YCrCb 등의 칼라 좌표계에 대한 성능테스트를 거쳐 기존연구 방법이 칼라좌표계에 대한 의존성이 없음을 확인하였다. 세 번째는 윤곽선 주변의 변화분 검토 시, 윤곽선 포인트 당 변화분의 평균값 대신에 변화분의 총량을 적용하여 46% 성능개선 효과를 얻었다. 이상의 내용을 모두 적용하여 제안한 통합방법은 기존연구 대비 2배의 성능향상과 안정성을 확보할 수 있었다.

Keywords

References

  1. G. Potamianos, C. Neti, J. Luettin, and I. Matthews, "Audio-Visual Automatic Speech Recognition: An Overview," In: G. Bailly, E. Vatikiotis-Bateson and P. Perrier(Ed.), Issues in Audio-Visual Speech Processing, MIT Press, 2004.
  2. A. L. Yuille, P. W. Hallinan, and D. S. Cohen, "Feature extraction from faces using deformable templates," International Journal of Computer Vision, Vol.8, No.2, pp.99-111, 1992. https://doi.org/10.1007/BF00127169
  3. T. F. Cootes, C. J. Taylor, D. H. Cooper, and J. Grahan, "Active shape models - their training and application," Computer Vision and Image Understanding, Vol.61, No.2, pp.38-59, 1995. https://doi.org/10.1006/cviu.1995.1004
  4. C. Bregler and Y. Konig, "Eigenlips for Robust Speech Recognition," Proc. of IEEE International Conf. on Acoustics, Speech and Signal Processing, pp.669-672, 1994.
  5. G. I. Chiou and J. N. Hwang, "Lip Reading from Color Video," IEEE Transactions on Image Processing, Vol.6, No.8, pp.1192-1195, Aug. 1997. https://doi.org/10.1109/83.605417
  6. M. Wimmer and B. Radig, "Adaptive skin color classificator," In Proc. of the first ICGST International Conference on Graphics, Vision and Image Processing GVIP-05, Vol.1, pp.324-327, 2005.
  7. A. W. Liew, S. H. Leung, and W. H. Lau, "Segmentation of Color Lip images by Spatial Fuzzy Clustering," IEEE Trans. on Fuzzy Systems, Vol.11, No.4, pp.542-549, 2003. https://doi.org/10.1109/TFUZZ.2003.814843
  8. Y. Wu, R. Ma, W. Hu, T. Wang, Y. Zhang, J. Cheng, and H. Lu, "Robust Lip Localization on Multi-View Faces In Video," IEEE International Conf. on Image Processing, pp.481-484, San Antonio, Texas, USA. 2007.
  9. S. Sridharan, S. Lucey, and V. Chandran, "Adaptive Mouth Segmentation Using Chromatic Features," Pattern Recognition Letters, Vol.23, No.11, pp.1293-1302, 2002. https://doi.org/10.1016/S0167-8655(02)00078-8
  10. O. Erol, Y. Berkay, K. Harun, E. Hakan, and U. Mustafa, "Lip Segmentation Using Adaptive Color Space Training," Proc. of the International Conference on Auditory-Visual Speech Processing, Sept. 26-29, Tangalooma Wild Dolphin Resort, Moreton Island, Queensland, Australia, pp. 219-222, 2008.
  11. R. Rohani, F. Sobhanmanesh, S. Alizadeh, and R. Boostani, "Lip Processing and Modeling based on Spatial Fuzzy Clustering in Color Images," International Journal of Fuzzy Systems, Vol.13, No.2, pp.65-73, Jun. 2011.
  12. J. Kim, "Extraction of Lip Region using Chromaticity Transformation and Fuzzy Clustering," Journal of Korea Multimedia Society, Vol.17, No.7, pp.806-817, Jul. 2014. https://doi.org/10.9717/KMMS.2014.17.7.806
  13. P. Spyridonosa, A. F. Saintb, A. Likasb, G. Gaitanisc, and I. Bassukasc, "Multi-Threshold LIP Contour Detection," 2018 25th IEEE International Conference on Image Processing(ICIP), Athens, 2018, pp.1912-1916, 2018.
  14. C. Guan, S. Wang, and A. W. Liew, "Lip image segmentation based on a fuzzy convolutional neural network," IEEE Transactions on Fuzzy Systems, 2019.
  15. S. NadeemHashmi, H. Gupta, D. Mittal, K. Kumar, A. Nanda, and S. Gupta, "A Lip Reading Model Using CNN with Batch Normalization," 2018 Eleventh International Conference on Contemporary Computing (IC3), Noida, pp.1-6, 2018.
  16. D. P. Huttenlocher, G. A. Klanderman, and W. J. Rucklidge, "Comparing images using the Hausdorff distance," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.15, No.9, pp.850-863, 1993. https://doi.org/10.1109/34.232073
  17. R. Killick, P. Fearnhead, and I. A. Eckley, "Optimal Detection of Changepoints With a Linear Computational Cost," Journal of the American Statistical Association, Vol.107, No.500, pp.1590-1598, Dec. 2012. https://doi.org/10.1080/01621459.2012.737745
  18. V. Le, J. Brandt, Z. Lin, L. Bourdev, and T. S. Huang, "Interactive facial feature localization," European Conference on Computer Vision (ECCV), Berlin, pp.679-692, 2012.
  19. M. Nilsson, J. Nordberg, and I. Claesson, "Face detection using local SMQT features and split up snow classifier," Acoustics, Speech and Signal Processing, 2007. ICASSP 2007. IEEE International Conference, Vol.2. IEEE, 2007.