• Journal of KIISE:Software and Applications
• /
• v.31 no.6
• /
• pp.799-807
• /
• 2004

In this paper, we deal with an emotion recognition method using facial images and speech signal. Six basic human emotions including happiness, sadness, anger, surprise, fear and dislike are investigated. Emotion recognition using the facial expression is performed by using a multi-resolution analysis based on the discrete wavelet transform. And then, the feature vectors are extracted from the linear discriminant analysis method. On the other hand, the emotion recognition from speech signal method has a structure of performing the recognition algorithm independently for each wavelet subband and then the final recognition is obtained from a multi-decision making scheme.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.540-546
• /
• 2008

In the near future, robots should be able to understand human's emotional states and exhibit appropriate behaviors accordingly. In Human-Human Interaction, the 93% consist of the speaker's nonverbal communicative behavior. Bodily movements provide information of the quantity of emotion. Latest personal robots can interact with human using multi-modality such as facial expression, gesture, LED, sound, sensors and so on. However, a posture needs a position and an orientation only and in facial expression or gesture, movements are involved. Verbal, vocal, musical, color expressions need time information. Because synchronization among multi-modalities is a key problem, emotion expression needs a systematic approach. On the other hand, at low intensity of surprise, the face could be expressed but the gesture could not be expressed because a gesture is not linear. It is need to decide the emotional boundaries for effective robot behavior generation and synchronization with another expressible method. If it is so, how can we define emotional boundaries? And how can multi-modality be synchronized each other?

• Science of Emotion and Sensibility
• /
• v.22 no.2
• /
• pp.37-48
• /
• 2019

Current research explores the effect of language on the perception of facial emotion as suggested by the psychological construction theory of emotion by using a psychophysical method. In this study, we hypothesize that the perception of facial expression may be influenced if the observer is shown an affective word before he/she judges an expression. Moreover, we suggest that his/her understanding of a facial emotion will be in line with the conceptual context that the word denotes. During the two experiments conducted for this project, a control stimulus or words representing either angry or happy emotions were briefly presented to participants before they were shown a target face. These target faces were randomly selected from seven faces that were gradually morphed to show neutral to angry (in Experiment 1) and neutral to happy (in Experiment 2) expressions. The participants were asked to perform a two-alternative forced choice (2AFC) task to judge the emotion of the target face (i.e., decide whether it is angry or neutral, or happy or neutral). The results of Experiment 1 (when compared with the control condition) showed that words denoting anger decreased the point of subjective equality (PSE) for judging the emotion of the target as anger, whereas words denoting happiness increased the PSE. Experiment 2, in which participants had to judge expressions on a scale from happy to neutral, produced a contrasting pattern of results. The outcomes of this study support the claim of the psychological construction theory of emotion that the perception of facial emotion is an active construction process that may be influenced by information (such as affective words) that provide conceptual context.

• Journal of the Korea Computer Graphics Society
• /
• v.24 no.4
• /
• pp.1-9
• /
• 2018

We propose an emotional training framework that can determine the initial symptom of schizophrenia by using emotional analysis method through facial expression change. We use Emotion API in Microsoft to obtain facial expressions and emotion values at the present time. We analyzed these values and recognized subtle facial expressions that change with time. The emotion states were classified according to the peak analysis-based variance method in order to measure the emotions appearing in facial expressions according to time. The proposed method analyzes the lack of emotional recognition and expressive ability by using characteristics that are different from the emotional state changes classified according to the six basic emotions proposed by Ekman. As a result, the analyzed values are integrated into the image color transfer framework so that users can easily recognize and train their own emotional changes.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.295-297
• /
• 2011

본 논문에서는 동적얼굴영상으로부터 감정인식을 위해 벡터 표현 보다는 직접적인 텐서 표현으로 특징들을 추출하는 텐서 기반 다선형 주성분분석(MPCA: Multilinear Principal Component Analysis) 기법을 사용한다. 사람 6가지의 얼굴 표정을 사용하는데 한 사람의 각 표정마다 5프레임으로 묶어서 텐서 형태로 취하여 특징을 추출하고 인식한다. 시스템의 성능 평가는 CNU 얼굴 감정인식 데이터베이스를 이용하여 특징점 개수와 성능척도에 따른 실험을 수행하여 제시된 방법의 유용성에 관해 살펴본다.

• The Journal of the Korea Contents Association
• /
• v.5 no.2
• /
• pp.147-155
• /
• 2005

In this paper, we present a FAES(a Facial Animation with Emotion and Speech) system for speech-driven face animation with emotions. We animate face cartoons not only from input speech, but also based on emotions derived from speech signal. And also our system can ensure smooth transitions and exact representation in animation. To do this, after collecting the training data, we have made the database using SVM(Support Vector Machine) to recognize four different categories of emotions: neutral, dislike, fear and surprise. So that, we can make the system for speech-driven animation with emotions. Also, we trained on Korean young person and focused on only Korean emotional face expressions. Experimental results of our system demonstrate that more emotional areas expanded and the accuracies of the emotional recognition and the continuous speech recognition are respectively increased 7% and 5% more compared with the previous method.

• Proceedings of the KIEE Conference
• /
• 2009.07a
• /
• pp.1819_1820
• /
• 2009

본 논문에서는 로봇의 감정과 의사표현을 위해서 3D모델 기반의 시뮬레이션이 가능한 에디팅 툴킷을 이용하였고, 사람과 로봇의 감정 상호 작용과 로봇이 제공하는 서비스의 구현을 위해서 다양한 멀티모달 표현을 생성하였다. 로봇은 얼굴표정, 그리고 목과 팔의 움직임으로 멀티모달 표현을 하였으며, 멀티모달 감정/의사 표현을 구성하는 각 모달리티별 표현들은 에디팅 툴킷을 통하여 동기화되었다. 이렇게 생성된 로봇의 멀티모달 감정/의사 표현은 DB형태로 저장되고, 이를 재조합하고 수정하여 새로운 표현을 생성할 수 있도록 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.79-82
• /
• 2020

얼굴 영상으로부터 사람의 감정을 예측하는 연구는 최근 딥러닝의 발전과 함께 주목받고 있다. 본 연구에서 우리는 연속적인 변수를 사용하여 감정을 표현하는 dimensional model에 기반하여 얼굴 영상으로부터 감정 상태를 나타내는 지표인 valance/arousal(V/A)을 예측하는 딥러닝 네트워크를 제안한다. 그러나 V/A 예측 모델의 학습에 사용되는 기존의 데이터셋들은 데이터 불균형(data imbalance) 문제를 가진다. 이를 해소하기 위해, 우리는 오토인코더 구조를 가지는 얼굴 영상 생성 네트워크를 학습하고, 이로부터 얻어지는 균일한 분포의 데이터로부터 V/A 예측 네트워크를 학습한다. 실험을 통해 우리는 제안하는 얼굴 생성 오토인코더가 in-the-wild 환경의 데이터셋으로부터 임의의 valence, arousal에 대응하는 얼굴 영상을 성공적으로 생생함을 보인다. 그리고, 이를 통해 학습된 V/A 예측 네트워크가 기존의 under-sampling, over-sampling 방영들과 비교하여 더 높은 인식 성능을 달성함을 보인다. 마지막으로 기존의 방법들과 제안하는 V/A 예측 네트워크의 성능을 정량적으로 비교한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.11a
• /
• pp.82-85
• /
• 2007

현재 가정을 비롯한 여러 분야에서 서비스 로봇(청소 로봇, 애완용 로봇, 멀티미디어 로봇 둥)의 사용이 증가하고 있는 시장상황을 보이고 있다. 개인용 서비스 로봇은 인간 친화적 특성을 가져야 그 선호도가 높아질 수 있는데 이를 위해서 사용자의 감정 인식 및 표현 기술은 필수적인 요소이다. 사람들의 감정 인식을 위해 많은 연구자들은 음성, 사람의 얼굴 표정, 생체신호, 제스쳐를 통해서 사람들의 감정 인식을 하고 있다. 특히, 음성을 인식하고 적용하는 것에 관한 연구가 활발히 진행되고 있다. 본 논문은 감정 인식 시스템을 두 가지 방법으로 제안하였다. 현재 많이 개발 되어지고 있는 음성인식 모듈을 사용하여 단어별 감정을 분류하여 감정 표현 시스템에 적용하는 것과 마이크로폰을 통해 습득된 음성신호로부터 특정들을 검출하여 Bayesian Learning(BL)을 적용시켜 normal, happy, sad, surprise, anger 등 5가지의 감정 상태로 패턴 분류를 한 후 이것을 동적 감정 표현 알고리즘의 입력값으로 하여 dynamic emotion space에 사람의 감정을 표현할 수 있는 ARM 플랫폼 기반의 음성 인식 및 감정 표현 시스템 제안한 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.715-718
• /
• 2000

다중 사용자 분산 가상환경 시스템에서는 참여자들 사이의 의사 교환을 위해 텍스트 중심의 채팅과 TTS 등을 지원하고 언어 외적인 의사교환을 지원하기 위해 참여자의 대리자인 아바타에 몸짓이나 얼굴 표정 및 감정등을 표현할 수 있도록 애니메이션 기능을 추가하여 사용한다. 하지만 아바타 애니메이션으로 참여자의 의사 및 감정 표현을 표현하는 데는 한계가 있기 때문에 자유로운 만남 및 대화를 지원할 수 있는 환경이 필요하다. 따라서 이러한 문제를 해결하기 위해서는 참여자의 얼굴과 음성을 가상 공간상에 포함시킴으로써 보다 분명하고 사실적인 의사교환과 감정표현이 가능할 것이다. 이 논문에서는 컴퓨터 네트워크를 통해 형성되는 다중 사용자 가상 환경에서 참여자들의 의사 교환 및 감정 표현을 극대화하고 자유로운 만남과 대화를 제공하는 실시간 화상 대화가 가능한 분산 가상 환경 시스템을 설계하였다. 설계한 시스템은 참여자들의 거리와 주시 방향에 따라 이벤트의 양을 동적으로 제어함으로써 시스템의 부하를 최적화할 수 있는 구조를 갖고 있다.