Browse > Article
http://dx.doi.org/10.5302/J.ICROS.2007.13.8.754

Emotion Recognition and Expression Method using Bi-Modal Sensor Fusion Algorithm  

Joo, Jong-Tae (중앙대학교 전자전기공학부)
Jang, In-Hun (중앙대학교 전자전기공학부)
Yang, Hyun-Chang (중앙대학교 전자전기공학부)
Sim, Kwee-Bo (중앙대학교 전자전기공학부)
Publication Information
Journal of Institute of Control, Robotics and Systems / v.13, no.8, 2007 , pp. 754-759 More about this Journal
Abstract
In this paper, we proposed the Bi-Modal Sensor Fusion Algorithm which is the emotional recognition method that be able to classify 4 emotions (Happy, Sad, Angry, Surprise) by using facial image and speech signal together. We extract the feature vectors from speech signal using acoustic feature without language feature and classify emotional pattern using Neural-Network. We also make the feature selection of mouth, eyes and eyebrows from facial image. and extracted feature vectors that apply to Principal Component Analysis(PCA) remakes low dimension feature vector. So we proposed method to fused into result value of emotion recognition by using facial image and speech.
Keywords
bi-modal sensor fusion algorithm,; facial image; speech; emotion recognition; emotion expression; neural-network; principal component analysis;
Citations & Related Records
Times Cited By KSCI : 3  (Citation Analysis)
연도 인용수 순위
1 F. Hara, 'Artificial emotion of face robot through learning in communicative interactions with human,' Proceeding of the 2004 IEEE International Workshop on Robot and Human Interactive Communication, pp. 7-15, 2004
2 양현승, 서용호, 정일웅, 한태우, 노동현, '서비스 로봇을 위한 감성 인터페이스 기술,' 로봇공학회 논문지, 제 1 권, 제 1 호, pp. 58-65, 2006
3 심귀보, 박창현, '음성으로부터 감성인식 요소 분석,' 한국퍼지 및 지능시스템학회 논문지, 제 11 권, 제 6 호, pp. 510-515, 2001
4 이동훈, 심귀보 '2D 얼굴 영상을 이용한 로봇의 감정 인식 및 표현시스템,' 제어 . 자동화 . 시스템학회 논문지, 제 13 권, 제 4 호, pp. 371-376, 2007   과학기술학회마을   DOI
5 김호덕, 양현창, 박창현, 심귀보, 'PCA을 이용한 얼굴 표정의 감정인식 방법,' 한국퍼지 및 지능시스템학회 논문지, 제 16 권, 제 7 호, pp. 772-776, 2003
6 김병훈, 이지근, 소인미, '얼굴과 음성정보를 이용한 바이모달 사용자 인식시스템 설계 및 구현,' 한국컴퓨터정보학회 논문지, 제 10 권, 제 5 호, pp. 353-361, 2005
7 심귀보, 변광섭, 박창현, '동적 감성 공간에 기반한 감정 표현 시스템,' 한국퍼지 및 지능시스템학회 논문지, 제 15 권, 제 1 호, pp. 18-23, 2005   과학기술학회마을   DOI
8 박창현, 심귀보 '음성 신호를 이용한 감정인식에서의 패턴 인식 방법,' 한국퍼지 및 지능시스템학회 논문지, 제 12 권, 제 3 호, pp. 284-288, 2006
9 Mingli Song, Jiajun Bu, Chun Chen, and Nan Li, 'Audio-visual based emotion recognition,' Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'04), vol. 2, pp. 1020-1125, 2004
10 Y.-S. Shin 'The effect of facial expression recognition based on the dimensions of emotion using PCA representation and neural networks,' Lecture Notes in Computer Science(LNCS), vol. 3656, pp. 1133-1140, 2005
11 H. Guncs and M. Piccardi, 'Bi-modal emotion recognition from expressive face and boby gessture' Journal of Network and Computer Applications, pp. 1-12, 2006
12 D. Silval and P. C. Ng, 'Bimodal emotion recognition', Automatic Face and Gesture Recognition, 2000. Proceedings. Fourth IEEE International Conference on, pp. 332-335, 2000