• 대한가정학회지
• /
• 제45권2호
• /
• pp.133-145
• /
• 2007

The purpose of this research was to identify the importance of emotional development in early childhood, in children ages three to five, by examining the relationship between the variables in the children such as gender, age, and temperament, as well as their mothers' emotionality, in relation to emotional development. The participants included a total of 72 children between three and five years of age. The major findings are as follow: First, there were significant differences in emotional expression and emotional recognition between the boys and the girls. Additionally, the emotional recognition of the children increased as age increased, and more positive strategies for emotional regulation were used with the increasing age of the children. Temperament characteristics did not have any relationship with emotional expression or emotional recognition, while the strategies for emotional regulation were related to the temperament characteristics. Second, the emotional expressivity of the mother was related to the emotional expression and recognition of the child, but wes not associated with strategies for emotional regulation. The emotional reactivity of the mother was related to a child's strategies for emotional regulation, but not to emotional expression or recognition. Third, emotional development of the children wes influenced by the individual child variables and emotionality of the mother.

• 대한인간공학회지
• /
• 제31권3호
• /
• pp.427-435
• /
• 2012

The aim of this study is to investigate facial temperature changes induced by facial expression and emotional state in order to recognize a persons emotion using facial thermal images. Background: Facial thermal images have two advantages compared to visual images. Firstly, facial temperature measured by thermal camera does not depend on skin color, darkness, and lighting condition. Secondly, facial thermal images are changed not only by facial expression but also emotional state. To our knowledge, there is no study to concurrently investigate these two sources of facial temperature changes. Method: 231 students participated in the experiment. Four kinds of stimuli inducing anger, fear, boredom, and neutral were presented to participants and the facial temperatures were measured by an infrared camera. Each stimulus consisted of baseline and emotion period. Baseline period lasted during 1min and emotion period 1~3min. In the data analysis, the temperature differences between the baseline and emotion state were analyzed. Eyes, mouth, and glabella were selected for facial expression features, and forehead, nose, cheeks were selected for emotional state features. Results: The temperatures of eyes, mouth, glanella, forehead, and nose area were significantly decreased during the emotional experience and the changes were significantly different by the kind of emotion. The result of linear discriminant analysis for emotion recognition showed that the correct classification percentage in four emotions was 62.7% when using both facial expression features and emotional state features. The accuracy was slightly but significantly decreased at 56.7% when using only facial expression features, and the accuracy was 40.2% when using only emotional state features. Conclusion: Facial expression features are essential in emotion recognition, but emotion state features are also important to classify the emotion. Application: The results of this study can be applied to human-computer interaction system in the work places or the automobiles.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.754-771
• /
• 2021

In the task of continuous dimension emotion recognition, the parts that highlight the emotional expression are not the same in each mode, and the influences of different modes on the emotional state is also different. Therefore, this paper studies the fusion of the two most important modes in emotional recognition (voice and visual expression), and proposes a two-mode dual-modal emotion recognition method combined with the attention mechanism of the improved AlexNet network. After a simple preprocessing of the audio signal and the video signal, respectively, the first step is to use the prior knowledge to realize the extraction of audio characteristics. Then, facial expression features are extracted by the improved AlexNet network. Finally, the multimodal attention mechanism is used to fuse facial expression features and audio features, and the improved loss function is used to optimize the modal missing problem, so as to improve the robustness of the model and the performance of emotion recognition. The experimental results show that the concordance coefficient of the proposed model in the two dimensions of arousal and valence (concordance correlation coefficient) were 0.729 and 0.718, respectively, which are superior to several comparative algorithms.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.613-617
• /
• 2021

서비스 산업의 성장과 함께 감정노동자의 스트레스가 사회적 문제로 인식되어 2018년 감정노동자 보호법이 시행되었다. 그러나 실질적인 감정노동자 보호 시스템의 부족으로 스트레스 관리를 위한 디지털 시스템이 필요한 시점이다. 본 논문에서는 대표적인 감정노동자인 고객 상담사를 위한 딥러닝 기반 스트레스 감지 시스템을 제안한다. 시스템은 실시간 얼굴검출 모듈, 한국인 감정 이미지 중심의 이미지 빅데이터를 딥러닝한 감정분류 FER 모듈, 마지막으로 스트레스 수치만을 시각화하는 모니터링 모듈로 구성된다. 이 시스템을 통하여 감정노동자의 스트레스 모니터링과 정신질환 예방을 목표로 설계하였다.

• 인터넷정보학회논문지
• /
• 제10권4호
• /
• pp.55-70
• /
• 2009

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 그러한 측면에서 얼굴표정인식에 의한 인간의 심리적 상태를 추론하는 기술은 중요한 이슈이다. 본 연구에서는 감성인식 HMM 모델과 광류에 기반한 얼굴 움직임 추적 방법을 이용하여 동영상으로부터 얼굴표정을 인식하는 새로운 방법을 제시하였다. 특히, 기존의 감성상태 변환을 설명하는 HMM 모델은 특정 표정상태 간의 전환 시 항상 중립 상태를 거치도록 설계되어 있다. 그러나 본 연구에서는 기존의 표정상태 전환 모델에 중간상태를 거치는 과정 없이 특정 표정 상태간의 변환이 가능한 확장된 HMM 모델을 제시한다. 동영상으로부터 얼굴의 특성정보를 추출하기 위하여 탬플릿 매칭과 광류방법을 적용하였다. 광류에 의해 추적된 얼굴의 표정특성 정보는 얼굴표정인식을 위한 HMM의 매개변수 정보로 사용된다. 실험을 통하여 제안된 얼굴표정인식 방법이 실시간 얼굴 표정인식에 효과적임을 입증하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권4호
• /
• pp.1-9
• /
• 2018

본 논문은 얼굴의 표정 변화를 통해 감정을 분석하는 방법으로 조현병의 초기 증상을 스스로 인지할 수 있는 감정 트레이닝 프레임워크를 제안한다. 먼저, Microsoft의 Emotion API를 이용하여 캡처된 얼굴 표정의 사진으로부터 감정값을 얻고, 피크 분석 기반 표준편차로 시간에 따라 변화하는 얼굴 표정의 미묘한 차이를 인식해 감정 상태를 각각 분류한다. 그리하여 Ekman이 제안한 여섯 가지 기본 감정 상태에 반하는 감정들의 정서 및 표현능력이 결핍된 부분에 대해 분석하고, 그 값을 이미지 색상 변환 프레임워크에 통합시켜 사용자 스스로 감정의 변화를 쉽게 인지하고 트레이닝 할 수 있도록 하는 것이 최종목적이다.

• The Journal of the Acoustical Society of Korea
• /
• 제21권2E호
• /
• pp.98-104
• /
• 2002

The present study describes a combination method to recognize the human affective states such as anger, happiness, sadness, or surprise. For this, we extracted emotional features from voice signals and facial expressions, and then trained them to recognize emotional states using hidden Markov model (HMM) and neural network (NN). For voices, we used prosodic parameters such as pitch signals, energy, and their derivatives, which were then trained by HMM for recognition. For facial expressions, on the other hands, we used feature parameters extracted from thermal and visible images, and these feature parameters were then trained by NN for recognition. The recognition rates for the combined parameters obtained from voice and facial expressions showed better performance than any of two isolated sets of parameters. The simulation results were also compared with human questionnaire results.

• 제어로봇시스템학회논문지
• /
• 제19권6호
• /
• pp.513-519
• /
• 2013

The current vision-based approaches for emotion recognition, such as facial expression analysis, have many technical limitations in real circumstances, and are not suitable for applications that use them solely in practical environments. In this paper, we propose an approach for emotion recognition by combining extrinsic representations and intrinsic activities among the natural responses of humans which are given specific imuli for inducing emotional states. The intrinsic activities can be used to compensate the uncertainty of extrinsic representations of emotional states. This combination is done by using PRMs (Probabilistic Relational Models) which are extent version of bayesian networks and are learned by greedy-search algorithms and expectation-maximization algorithms. Previous research of facial expression-related extrinsic emotion features and physiological signal-based intrinsic emotion features are combined into the attributes of the PRMs in the emotion recognition domain. The maximum likelihood estimation with the given dependency structure and estimated parameter set is used to classify the label of the target emotional states.

• 한국콘텐츠학회논문지
• /
• 제14권9호
• /
• pp.476-483
• /
• 2014

본 논문은 국내 표정 연구에 적합한 얼굴 표정 이미지를 제작하는 것에 목적을 두었다. 이를 위해서 1980년대 태생의 한국인의 표준 형상에 FACS-Action Unit을 결합하여, KSFI(Korean Standard Facial Image) AU set를 제작하였다. KSFI의 객관성을 확보하기 위해 6가지 기본 감성(슬픔, 행복, 혐오, 공포, 화남, 놀람) 이미지를 제작하여, 감성 별 인식 정확률과 얼굴 요소의 감성인식 기여도를 평가하였다. 실험 결과, 정확률이 높은 행복, 놀람, 슬픔, 분노의 이미지의 경우 주로 눈과 입의 얼굴 요소를 통해 감성을 판단하였다. 이러한 연구 결과를 통해 본 연구에서는 표정 이미지의 AU 변경할 수 있는 KSFI 콘텐츠를 제안하였다. 향후 KSFI가 감성 인식률 향상에 기여할 수 있는 학습 콘텐츠로서의 역할을 할 수 있을 것으로 사료된다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제20권4호
• /
• pp.347-364
• /
• 2014

본 연구는 얼굴자극의 검사단계 표정변화와 검사 지연시간, 그리고 배경변화가 얼굴재인에 미치는 효과를 검증하기 위해 수행되었다. 실험 1에서는 학습단계에서 부정 표정 얼굴을 학습하고 검사단계에서 동일한 얼굴의 부정 표정과 중성 표정얼굴에 대한 재인 검사가 실시되었다. 실험 2에서는 학습단계에서 부정 표정 얼굴을 학습하고 검사단계에서 부정 표정과 긍정 표정얼굴에 대한 재인 검사가 실시되었다. 실험 3에서는 학습단계에서 중성 표정 얼굴을 학습하고, 검사단계에서 부정 표정과 중성 표정 얼굴에 대한 재인 검사가 실시되었다. 세 실험 모두 참가자들은 즉시 검사와 지연 검사 조건에 할당되었고, 재인검사에서 목표 얼굴자극들은 배경이 일치 조건으로 또한 불일치 조건으로 제시되었다. 실험 1과 실험2 모두에서 부적 표정에 대한 재인율이 높았다. 실험 3에서 중성 표정에 대한 재인율이 높았다. 즉, 세 개실험 모두에서 표정 일치 효과가 나타났다. 학습단계에서 제시된 얼굴 표정의 정서와는 상관없이 검사단계에서 표정이 학습단계와 일치할 때 얼굴 재인율은 증가하였다. 또한 표정 변화에 따른 효과는 배경 변화에 따라 상이하게 나타났다. 본 연구 결과로 얼굴은 표정이 달라지면 기억하기 힘들며, 배경의 변화와 시간 지연에 따라 영향을 받는 다는 점을 확인하였다.