DOI QR코드

DOI QR Code

Emotion Recognition and Expression System of User using Multi-Modal Sensor Fusion Algorithm

다중 센서 융합 알고리즘을 이용한 사용자의 감정 인식 및 표현 시스템

  • 염홍기 (중앙대학교 전자전기공학부) ;
  • 주종태 (중앙대학교 전자전기공학부) ;
  • 심귀보 (중앙대학교 전자전기공학부)
  • Published : 2008.02.25

Abstract

As they have more and more intelligence robots or computers these days, so the interaction between intelligence robot(computer) - human is getting more and more important also the emotion recognition and expression are indispensable for interaction between intelligence robot(computer) - human. In this paper, firstly we extract emotional features at speech signal and facial image. Secondly we apply both BL(Bayesian Learning) and PCA(Principal Component Analysis), lastly we classify five emotions patterns(normal, happy, anger, surprise and sad) also, we experiment with decision fusion and feature fusion to enhance emotion recognition rate. The decision fusion method experiment on emotion recognition that result values of each recognition system apply Fuzzy membership function and the feature fusion method selects superior features through SFS(Sequential Forward Selection) method and superior features are applied to Neural Networks based on MLP(Multi Layer Perceptron) for classifying five emotions patterns. and recognized result apply to 2D facial shape for express emotion.

지능형 로봇이나 컴퓨터가 일상생활 속에서 차지하는 비중이 점점 높아짐에 따라 인간과의 상호교류도 점점 중요시되고 있다. 이렇게 지능형 로봇(컴퓨터) - 인간의 상호 교류하는데 있어서 감정 인식 및 표현은 필수라 할 수 있겠다. 본 논문에서는 음성 신호와 얼굴 영상에서 감정적인 특징들을 추출한 후 이것을 Bayesian Learning과 Principal Component Analysis에 적용하여 5가지 감정(평활, 기쁨, 슬픔, 화남, 놀람)으로 패턴을 분류하였다. 그리고 각각 매개체의 단점을 보완하고 인식률을 높이기 위해서 결정 융합 방법과 특징 융합 방법을 적용하여 감정 인식 실험을 하였다. 결정 융합 방법은 각각 인식 시스템을 통해 얻어진 인식 결과 값을 퍼지 소속 함수에 적용하여 감정 인식 실험을 하였으며, 특징 융합 방법은 SFS(Sequential Forward Selection) 특징 선택 방법을 통해 우수한 특징들을 선택한 후 MLP(Multi Layer Perceptron) 기반 신경망(Neural Networks)에 적용하여 감정 인식 실험을 실행하였다. 그리고 인식된 결과 값을 2D 얼굴 형태에 적용하여 감정을 표현하였다.

Keywords

References

  1. Lee C.M., Narayanan S.S. and Pieraccini. R., "Classifying emotions in human - machine spoken dialogs", ICME'02, vol. 1, pp. 737-740, 2002
  2. New T.L., Wei F.S. and De Silva L.C., "Speech based emotion classification", TENCON 2001, vol. 1, pp. 297-301, 2001
  3. J. Nicholson and K. Takahashi, R. Nakatsu, "Emotion recognition in speech using neural networks" Proc. of ICONIP, Vol. 2, 1996
  4. Mase K., "Recognition of facial expression from optical flow", IEICE Trans., vol. 74, no. 10, pp 3474-3483, 1991
  5. H. Guncs and M. Piccardi, "Bi-modal emotion recognition from expressive face and body gesture", Journal of Network and Computer Application, pp. 1-12, 2006
  6. Yoshitomi Y, S. I. Kim, Kawano T and Kilazoe T, "Effect of sensor fusion for recognition of emotional states using voice, face image and thermal image of face", Robot and Human Interactive Communication 2000, pp. 178-184, 2000
  7. Mingli Song, Jiajun Bu, Chun Chen and Nan Li, "Audio-visual based emotion recognition", CVPR'04, vol. 2, pp. 1020-1025, 2004
  8. D. Silval and P. C. Nag, "Bimodal emotion recognition", Proc. of Fourth IEEE International Conference on Automatic Face and Gesture Recognition 2000, pp. 332-335, 2000
  9. Carlos Busso and Zhigang Deng et al, "Analysis of Emotion Recognition using Facial Expressions, Speech and Multimodal Information", ICMI 2004, pp. 205-211, 2004
  10. Fumio Hara, "Artificial Emotion of Face Robot through Learning in Communicative Interactions with Human", Proceeding of the 2004 IEEE International Workshop on Robot and Human Interactive Communication, pp. 7-15, 2004
  11. 양현승, 서용호, 정일웅, 한태우, 노동현, "서비스 로 봇을 위한 감성 인터페이스 기술," 로봇공학회 논문지, 제1권, 제1호, pp. 58-65, 2006
  12. C. H. Park and K. B. Sim, "Pattern Recognition Methods for Emotion Recognition with speech signal", International Journal of Fuzzy Logic and Intelligent Systems", vol. 6, no. 2, pp. 150-154, 2006 https://doi.org/10.5391/IJFIS.2006.6.2.150
  13. Ho-Duck Kim, Hyun-Chang Yang, Chang-Hyun Park, and Kwee-Bo Sim, "Emotion Recognition Method of Facial Image using PCA ", Journal of Korea Fuzzy Logic and Intelligent Systems Society(KFIS), vol.16, no.6, pp. 772-776, Dec. 2006 https://doi.org/10.5391/JKIIS.2006.16.6.772
  14. 심귀보, 변광섭, 박창현, "동적 감성 공간에 기반한 감정 표현 시스템," 한국퍼지 및 지능시스템학회 논문지, 제15권, 제1호, pp18-23, 2005 https://doi.org/10.5391/JKIIS.2005.15.1.018