The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Real Time Lip Reading System Implementation in Embedded Environment

임베디드 환경에서의 실시간 립리딩 시스템 구현

  • Received : 2009.12.04
  • Accepted : 2010.03.11
  • Published : 2010.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes the real time lip reading method in the embedded environment. The embedded environment has the limited sources to use compared to existing PC environment, so it is hard to drive the lip reading system with existing PC environment in the embedded environment in real time. To solve the problem, this paper suggests detection methods of lip region, feature extraction of lips, and awareness methods of phonetic words suitable to the embedded environment. First, it detects the face region by using face color information to find out the accurate lip region and then detects the exact lip region by finding the position of both eyes from the detected face region and using the geometric relations. To detect strong features of lighting variables by the changing surroundings, histogram matching, lip folding, and RASTA filter were applied, and the properties extracted by using the principal component analysis(PCA) were used for recognition. The result of the test has shown the processing speed between 1.15 and 2.35 sec. according to vocalizations in the embedded environment of CPU 806Mhz, RAM 128MB specifications and obtained 77% of recognition as 139 among 180 words were recognized.

본 논문은 임베디드 환경에서의 실시간 립리딩 방법을 제안한다. 기존 PC 환경에 비하여 임베디드 환경은 사용할 수 있는 자원이 제한적이므로, 기존 PC 환경의 립리딩 시스템을 임베디드 환경에서 실시간으로 구동하기는 어렵다. 이러한 문제를 해결하기 위해 본 논문은 임베디드 환경에 적합한 입술영역 검출 방법과 입술 특징추출 방법, 그리고 발성 단어 인식 방법을 제안한다. 먼저 정확한 입술영역을 찾기 위해 얼굴 색상정보를 이용해 얼굴영역을 검출하고 검출된 얼굴 영역에서 양쪽 두 눈의 위치를 찾아 기하학적 관계를 이용해 정확한 입술영역을 검출한다. 검출된 입술영역에서 주위 환경 변화에 따른 조명 변화에 강인한 특징을 추출하기위해 히스토그램 매칭과 입술 폴딩, RASTA 필터를 적용하고 주성분 분석(PCA)을 이용한 특징계수를 추출해 인식에 사용하였다. 실험결과 CPU 806Mhz, RAM 128MB 사양의 임베디드 환경에서 발성 단어에 따라 1.15초에서 2.35초까지의 처리 속도를 보였으며, 180개의 단어 중 139개의 단어를 인식해 77%의 인식률을 얻을 수 있었다.

Keywords

References

  1. E. D. Petajan, "Automatic lipreading to enhance speech recognition," in Proc. of Global Telecommunications Conf., pp.265-272, Nov. 1984.
  2. C. C. Chibelushi, F. Deravi, and J. S. D. Mason, "A review of speech based bimodal recognition," IEEE Trans. Multimedia, Vol.4, No.1, pp.23-37, Mar. 2002. https://doi.org/10.1109/6046.985551
  3. G. Potamianos, C. Neti, G. Gravier, A. Garg, A.W. Senior, "Recent advances in the automatic recognition of audiovisual speech," Proceedings of the IEEE, Vol.91, No.9, pp.1306-1326, Sept. 2003. https://doi.org/10.1109/JPROC.2003.817150
  4. J. S. Lee and C. H. Park, "Robust Audio-Visual Speech Recognition Based on Late Integration," IEEE Trans. on Multimedia, Vol.10, No.5, pp.767-779, Aug. 2008. https://doi.org/10.1109/TMM.2008.922789
  5. T. Wark, S. Sridharan, V. Chandran, "An approach to statistical lip modelling for speaker identification via chromatic feature extraction," Proc. of Fourteenth International Conference on Pattern Recognition, pp.123-125, Aug. 1998. https://doi.org/10.1109/ICPR.1998.711095
  6. P. Delmas, N. Eveno, M. Lievin, "Towards robust lip tracking," Proc. of 16th International Conference on Pattern Recognition, pp.528-531, Aug. 2002. https://doi.org/10.1109/ICPR.2002.1048356
  7. S. Dupont and J. Luettin, "Audio-visual speech modeling for continuous speech recognition," IEEE Trans. on Multimedia, Vol.2, No.3, pp.141-151, Sep. 2000. https://doi.org/10.1109/6046.865479
  8. C. Bregler and Y. Konig, "Eigenlips for robust speech recognition," in Proc. IEEE ICASSP, Vol.2, pp.669-672, 1994 https://doi.org/10.1109/ICASSP.1994.389567
  9. P. Duchnowski, U. Meier, and A. Waibel, "See me, hear me: Integrating automatic speech recognition and lip-reading," in Proc. ICSLP, Vol.2, pp.547-550, 1994.
  10. G. Potamianos, A. Verma, C. Neti, G. Iyengar, and S. Basu, "A cascade image transform for speaker independent automatic speechreading," in Proc. 1st IEEE Int. Conf. Multimedia and Expo., Vol.2, pp.1097-1100, 2000. https://doi.org/10.1109/ICME.2000.871552
  11. S. Lucey, "An Evaluation of Visual Speech Features for the Tasks of Speech and Speaker Recognition," Proc. Int. Conf. Audio-Video-base Biometric Person Authentication, Guildford, UK, pp.260-267, 2003.
  12. Jinyoung Kim, Joohun Lee, Katsuhiko Shirai, "An Efficient Lip-Reading Method Robust to Illumination Variations," IEICE TRANSACTIONS on Fundamentals of Electronics, Communications and Computer Sciences, Vol.E85-A, No.9, pp.2164-2168, September 2002.
  13. Hynek Hermansky, Nelson Morgan, "RASTA processing of speech," IEEE Transactions on Speech and Audio Processing, Vol.2, No4, October 1994. https://doi.org/10.1109/89.326616
  14. 김영운, 강선경, 정성태, "모바일 장치에서의 립리딩을 위한 실 시간 입술 영역 검출," 한국컴퓨터정보학회, 제14권, 제4호, 2009년 4월
  15. 한은정, 강병준, 박강령, "AAM 기반 얼굴 표정 인식을 위한 입술 특징점 검출 성능 향상 연구," 한국정보처리학회논문지B, 제16권, 제4호, pp.299-308, 2009년 8월. https://doi.org/10.3745/KIPSTB.2009.16-B.4.299
  16. 이종석, 박철훈, "컬러 입술영상과 주성분분석을 이용한 자동 독순," 한국정보처리학회논문지B, 제15권, 제3호, pp.229-236, 2008년 6월. https://doi.org/10.3745/KIPSTB.2008.15-B.3.229
  17. 소인미, 김명훈, 김영운, 이지근, 정성태, "조명 변화에 견고한 얼굴 특징 추출," 한국정보처리학회 학술대회논문집, pp.697-700, 2005년 11월.