• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2004년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.132-134
• /
• 2004

Emotion recognition between human and human is done compositely using various features that are face, voice, gesture and etc. Among them, it is a face that emotion expression is revealed the most definitely. Human expresses and recognizes a emotion using complex and various features of the face. This paper proposes hybrid feature extraction for emotions recognition from facial expression. Hybrid feature extraction imitates emotion recognition system of human by combination of geometrical feature based extraction and color distributed histogram. That is, it can robustly perform emotion recognition by extracting many features of facial expression.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2011년도 추계학술대회
• /
• pp.104-105
• /
• 2011

• 제어로봇시스템학회논문지
• /
• 제13권8호
• /
• pp.754-759
• /
• 2007

In this paper, we proposed the Bi-Modal Sensor Fusion Algorithm which is the emotional recognition method that be able to classify 4 emotions (Happy, Sad, Angry, Surprise) by using facial image and speech signal together. We extract the feature vectors from speech signal using acoustic feature without language feature and classify emotional pattern using Neural-Network. We also make the feature selection of mouth, eyes and eyebrows from facial image. and extracted feature vectors that apply to Principal Component Analysis(PCA) remakes low dimension feature vector. So we proposed method to fused into result value of emotion recognition by using facial image and speech.

• 한국정보통신학회논문지
• /
• 제12권3호
• /
• pp.438-444
• /
• 2008

본 논문에서는 애니메이션 캐릭터의 표정 연출의 효율성을 높이기 위해 정서 상태의 변화에 따라 다양하고 주어진 상황에 부합하는 표정을 쉽게 구현할 수 있는 표정생성 프로그램을 제안하고자 한다. 이를 위해 우선, Russell의 내적 정서 상태의 차원 모형을 근거로 쾌-불쾌, 각성-비각성의 내적 정서 상태 정보를 포함한 9가지 표정을 정의하였다. 그리고 각각의 표정에 대해 본 연구에서 제안한 표정생성 프로그램을 이용하여 두 차원의 중앙에 위치하는 무표정 자극을 8가지의 가능한 표정 변화 방향으로 이동시킴으로써 정서 차원에서의 미묘한 위치 변화에 따라서도 다양한 표정 생성이 구현될 수 있음을 확인하였다. 향후 이러한 프로그램은 복잡한 정서를 가진 표정을 쉽고 다양하게 구현할 수 있는 표정 자동생성 시스템 설계의 기초적 프로그램으로 활용될 수 있을 것이다.

• 한국HCI학회논문지
• /
• 제9권1호
• /
• pp.23-28
• /
• 2014

In this study we focus on the effect of the interaction between humans and reactive television when emotion recognition through facial expression mechanism is used. Most of today's user interfaces in electronic products are passive and are not properly fitted into users' needs. In terms of the user centered device, we propose that the emotion based reactive television is the most effective in interaction compared to other passive input products. We have developed and researched next generation cognitive TV models in user centered. In this paper we present a result of the experiment that had been taken with Fraunhofer IIS $SHORE^{TM}$ demo software version to measure emotion recognition. This new approach was based on the real time cognitive TV models and through this approach we studied the relationship between humans and cognitive TV. This study follows following steps: 1) Cognitive TV systems can be on automatic ON/OFF mode responding to motions of people 2) Cognitive TV can directly select channels as face changes (ex, Neutral Mode and Happy Mode, Sad Mode, Angry Mode) 3) Cognitive TV can detect emotion recognition from facial expression of people within the fixed time and then if Happy mode is detected the programs of TV would be shifted into funny or interesting shows and if Angry mode is detected it would be changed to moving or touching shows. In addition, we focus on improving the emotion recognition through facial expression. Furthermore, the improvement of cognition TV based on personal characteristics is needed for the different personality of users in human to computer interaction. In this manner, the study on how people feel and how cognitive TV responds accordingly, plus the effects of media as cognitive mechanism will be thoroughly discussed.

• 인터넷정보학회논문지
• /
• 제13권5호
• /
• pp.9-19
• /
• 2012

디지털 콘텐츠에서 HCI로 활용되는 가상 인간은 얼굴 표정과 신체자세와 같은 모달을 이용하여 다양한 감정을 표현하지만 비언어적 다중모달의 조합에 대한 연구는 많지 않다. 감정을 표현하는 가상 인간을 제작하려면 계산 엔진 모델은 얼굴 표정과 신체자세와 같은 비언어적 모달의 조합이 사용자에 의해 어떻게 인식되는지를 고려해야 하기 때문에 본 연구는 가상 인간의 감정 표현 디자인에 필요한 비언어적 다중모달의 영향을 분석하여 제시한다. 먼저 가상 인간에 대한 다중모달 별 감정 인식을 평가하여 다른 모달간의 상대적 영향성을 분석하였다. 그리고 일치하는 얼굴과 자세 모달을 통해 기본 감정 및 정서가와 활성화 인식에 대한 영향을 평가하며 감정이 불일치하는 다중모달을 통해 일상생활에서 빈번하게 드러나는 중첩된 감정의 인식 정도를 관측하였다. 실험 결과, 가상 인간의 얼굴과 신체자세의 표정이 일치하면 감정 인식이 용이하며, 얼굴 표정으로 감정 카테고리를 판별하지만 감정의 활성화 차원 판단에는 자세 모달리티가 선호됨을 확인하였다. 본 연구 결과는 감정을 드러내는 가상 인간의 행동 동기화 및 애니메이션 엔진 시스템 구현에 활용할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제20권8호
• /
• pp.1175-1186
• /
• 2017

Human emotion recognition is one of the promising applications in the era of artificial super intelligence. Thus far, facial expression traits are considered to be the most widely used information cues for realizing automated emotion recognition. This paper proposes a novel facial expression recognition (FER) method that works well for recognizing emotion from image sequences. To this end, we develop the so-called weighted soft voting classification (WSVC) algorithm. In the proposed WSVC, a number of classifiers are first constructed using different and multiple feature representations. In next, multiple classifiers are used for generating the recognition result (namely, soft voting) of each face image within a face sequence, yielding multiple soft voting outputs. Finally, these soft voting outputs are combined through using a weighted combination to decide the emotion class (e.g., anger) of a given face sequence. The weights for combination are effectively determined by measuring the quality of each face image, namely "peak expression intensity" and "frontal-pose degree". To test the proposed WSVC, CK+ FER database was used to perform extensive and comparative experimentations. The feasibility of our WSVC algorithm has been successfully demonstrated by comparing recently developed FER algorithms.

• 한국지능시스템학회논문지
• /
• 제21권3호
• /
• pp.395-400
• /
• 2011

본 논문에서는 얼굴 표정에서 나타나는 동적인 정서상태 변화를 고려한 얼굴 영상 기반 정서 인식 연구를 제안한다. 본 연구는 얼굴 영상 기반 정서적 특징 검출 및 분석 단계와 정서 상태 분류/인식 단계로 구분할 수 있다. 세부 연구의 구성 중 첫 번째는 Facial Action Units (FAUs)과 결합한 Active Shape Model (ASM)을 이용하여 정서 특징 영역 검출 및 분석기법의 제안이며, 두 번째는 시간에 따른 정서 상태의 동적 변화를 고려한 정확한 인식을 위하여 Hidden Markov Model(HMM) 형태의 Dynamic Bayesian Network를 사용한 정서 상태 분류 및 인식기법의 제안이다. 또한, 최적의 정서적 상태 분류를 위한 HMM의 파라미터 학습 시 Harmony Search (HS) 알고리즘을 이용한 휴리스틱 최적화 과정을 적용하였으며, 이를 통하여 동적 얼굴 영상 변화를 기반으로 하는 정서 상태 인식 시스템을 구성하고 그 성능의 향상을 도모하였다.

• 한국심리학회지ㆍ건강
• /
• 제15권3호
• /
• pp.483-498
• /
• 2010

본 연구는 혐오정서 유발자극에 대한 선행사건초점 조절전략과 반응초점 조절전략이 얼굴표정 및 정서경험에 미치는 영향을 알아보고자 하였다. 연구는 여자 대학생 50명을 대상으로 실시되었고, 참여자들이 혐오정서 유발동영상을 시청할 때 서로 다른 정서조절전략(정서 표현, 표현 억제, 인지적 재평가, 표현 불일치)을 사용하도록 하여 얼굴표정과 정서경험을 측정하였다. 분석결과, 정서 표현집단에서 혐오표현단위의 빈도가 가장 높았고 표현 불일치, 인지적 재평가, 표현 억제집단의 순으로 빈도가 높게 나타났다. 그리고 실제 경험한 정서를 반영하는 얼굴 윗부분에서 인지적 재평가집단의 혐오관련표현단위의 빈도가 정서 표현집단과 표현 불일치집단보다 낮게 나타났다. 자기보고식 정서 상태 측정결과, 표현 불일치집단에서 가장 많이 긍정정서가 감소한 반면, 인지적 재평가집단에서는 긍정정서가 증가하는 경향을 보였다. 본 연구는 정서조절전략이 얼굴표정 및 정서경험에 미친 영향을 통해 인지적 재평가전략이 가장 기능적인 정서조절전략임을 확인하였다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제5권1호
• /
• pp.1-6
• /
• 2005

In this paper, we propose an emotion recognition method using the facial images and speech signals. Six basic emotions including happiness, sadness, anger, surprise, fear and dislike are investigated. Facia] expression recognition is performed by using the multi-resolution analysis based on the discrete wavelet. Here, we obtain the feature vectors through the ICA(Independent Component Analysis). On the other hand, the emotion recognition from the speech signal method has a structure of performing the recognition algorithm independently for each wavelet subband and the final recognition is obtained from the multi-decision making scheme. After merging the facial and speech emotion recognition results, we obtained better performance than previous ones.