Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지
DOI QR코드

DOI QR Code

A Training Method for Emotionally Robust Speech Recognition using Frequency Warping

주파수 와핑을 이용한 감정에 강인한 음성 인식 학습 방법

  • 김원구 (군산대학교 전기공학과)
  • Received : 2009.12.21
  • Accepted : 2010.08.03
  • Published : 2010.08.25
Download PDF
⟨ Previous Next ⟩

Abstract

This paper studied the training methods less affected by the emotional variation for the development of the robust speech recognition system. For this purpose, the effect of emotional variation on the speech signal and the speech recognition system were studied using speech database containing various emotions. The performance of the speech recognition system trained by using the speech signal containing no emotion is deteriorated if the test speech signal contains the emotions because of the emotional difference between the test and training data. In this study, it is observed that vocal tract length of the speaker is affected by the emotional variation and this effect is one of the reasons that makes the performance of the speech recognition system worse. In this paper, a training method that cover the speech variations is proposed to develop the emotionally robust speech recognition system. Experimental results from the isolated word recognition using HMM showed that propose method reduced the error rate of the conventional recognition system by 28.4% when emotional test data was used.

본 논문에서는 인간의 감정 변화의 영향을 적게 받는 음성 인식 시스템의 학습 방법에 관한 연구를 수행하였다. 이를 위하여 우선 다양한 감정이 포함된 음성 데이터베이스를 사용하여 감정 변화가 음성 신호와 음성 인식 시스템의 성능에 미치는 영향에 관한 연구를 수행하였다. 감정이 포함되지 않은 평상의 음성으로 학습된 음성 인식 시스템에 감정이 포함된 인식 데이터가 입력되는 경우 감정에 따른 음성의 차이가 인식 시스템의 성능을 저하시킨다. 본 연구에서는 감정의 변화에 따라 화자의 성도 길이가 변화한다는 것과 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 관찰하였다. 본 연구에서는 이러한 음성의 변화를 포함하는 학습 방법을 제안하여 감정 변화에 강인한 음성 인식 시스템을 개발하였다. HMM을 사용한 단독음 인식 실험에서 제안된 학습 방법을 사용하면 감정 데이터의 오차가 기존 방법보다 28.4% 감소되었다.

Keywords

References

  1. J. C. Junqua, and J. P. Haton, Robustness in Automatic Speech Recognition - Fundamental and Applications, Kluwer Academic Publishers, 1996.
  2. A. Acero and R. M. Stern, "Environmental robustness in automatic speech recognition," in Proceedings of ICASSP, pp. 849-852, April 1990.
  3. H. Hermansky, N. Morgan, H. G. Hirsch, "Recognition of speech in additive and convolutional noise based RASTA spectral processing", in Proceedings of ICASSP, pp. 83-86, 1993.
  4. J. Koehler, N. Morgan, H. Hermansky, H. G. Hirsch, G. Tong, "Integrating RASTA-PLP into Speech Recognition", in Proceedings of ICASSP, pp. 421-424, 1994.
  5. M. G. Rahim, B. H. Juang, "Signal bias removal by maximum likelihood estimation for robust telephone speech recognition", IEEE Trans. Speech & Audio Processing, vol. 4, No. 1, pp. 19-30, 1996. https://doi.org/10.1109/TSA.1996.481449
  6. N. Amir, "Classifying emotions in speech: a comparison of methods", in Proceedings of Eurospeech '2001, Vol. 1, pp. 127-130, Aalborg, Denmark, 2001
  7. A. Nogueiras, etc, "Speech emotion recognition using Hidden Markov Models", in Proceedings of Eurospeech '2001, Vol. 4, pp. 2679-2682, Aalborg, Denmark, 2001
  8. R. W. Picard, Affective Computing, The MIT Press 1997.
  9. I. R. Murray and J. L. Arnott, "Toward the simulation of emotion in synthetic speech: a review of the literature on human vocal emotion", Journal of Acoustical Society of America, pp. 1097-1108, Feb. 1993.
  10. 조영임, 장성순, "응급상황에서의 음성인식을 위한 필터기 구현", 한국지능시스템학회 논문지, 20권 2호, pp. 208-213, 2010.4 https://doi.org/10.5391/JKIIS.2010.20.2.208
  11. M. Pitz, H. Ney, "Vocal tract normalization equals linear transformation in cepstral space", IEEE Trans. Speech & Audio Processing, vol. 13, No. 5, pp. 930-944, 2005. https://doi.org/10.1109/TSA.2005.848881
  12. S. Wegmann, D. McAllaster, J. Orlofl and B. Peskin, "Speaker Normalization on Conversational Telephone Speech, in Proceedings of ICASSP, Atlanta, GA, pp. 339-342, May 1996.
  13. L. Welling, R. Haeb-Umbach, X. Aubert and N. Haberland, "A study on speaker Normalization using vocal tract normalization and speaker adaptive training", in Proceedings of ICASSP, Seattle, WA, pp. 797-800, May 1998
  14. A. Acero and R. M. Stern, "Robust speech recognition by normalization of the acoustic space", in Proceedings of. ICASSP, Toronto, pp. 893-896, May 1991.
  15. E. Eide and H. Gish, "A parametric approach to vocal tract length normalization", in Proceedings of ICASSP, Atlanta, GA, pp.346-349, May 1996.
  16. Sirko Molau, Stephan Kanthak , Hermann Ney, "Efficient Vocal Tract Normalization in Automatic Speech Recognition", in Proceedings of the ESSV'00, Cottbus, Germany, pp. 209-216, 2000
  17. 강봉석, “음성 신호를 이용한 문장독립 감정 인식시스템”, 연세대학교 석사학위 논문, 2000.