• 대한인간공학회지
• /
• 제31권3호
• /
• pp.427-435
• /
• 2012

The aim of this study is to investigate facial temperature changes induced by facial expression and emotional state in order to recognize a persons emotion using facial thermal images. Background: Facial thermal images have two advantages compared to visual images. Firstly, facial temperature measured by thermal camera does not depend on skin color, darkness, and lighting condition. Secondly, facial thermal images are changed not only by facial expression but also emotional state. To our knowledge, there is no study to concurrently investigate these two sources of facial temperature changes. Method: 231 students participated in the experiment. Four kinds of stimuli inducing anger, fear, boredom, and neutral were presented to participants and the facial temperatures were measured by an infrared camera. Each stimulus consisted of baseline and emotion period. Baseline period lasted during 1min and emotion period 1~3min. In the data analysis, the temperature differences between the baseline and emotion state were analyzed. Eyes, mouth, and glabella were selected for facial expression features, and forehead, nose, cheeks were selected for emotional state features. Results: The temperatures of eyes, mouth, glanella, forehead, and nose area were significantly decreased during the emotional experience and the changes were significantly different by the kind of emotion. The result of linear discriminant analysis for emotion recognition showed that the correct classification percentage in four emotions was 62.7% when using both facial expression features and emotional state features. The accuracy was slightly but significantly decreased at 56.7% when using only facial expression features, and the accuracy was 40.2% when using only emotional state features. Conclusion: Facial expression features are essential in emotion recognition, but emotion state features are also important to classify the emotion. Application: The results of this study can be applied to human-computer interaction system in the work places or the automobiles.

• 한국멀티미디어학회논문지
• /
• 제17권9호
• /
• pp.1076-1083
• /
• 2014

We propose an emotional facial avatar that portrays the user's facial expressions with an emotional emphasis, while achieving visual and behavioral realism. This is achieved by unifying automatic analysis of facial expressions and animation of realistic 3D faces with details such as facial hair and hairstyles. To augment facial appearance according to the user's emotions, we use emotional templates representing typical emotions in an artistic way, which can be easily combined with the skin texture of the 3D face at runtime. Hence, our interface gives the user vision-based control over facial animation of the emotional avatar, easily changing its moods.

• 한국콘텐츠학회논문지
• /
• 제16권5호
• /
• pp.21-34
• /
• 2016

디지털 콘텐츠에서 구현되는 가상 캐릭터를 효과적으로 개발하기 위해서는 감성 상태(기쁨, 슬픔, 공포, 화남)가 제대로 전달되도록 하는 것이 중요하다. 이 연구에서는 가상 캐릭터의 얼굴표정과 몸짓이 표현하는 감성 상태의 일치여부에 따라서 사용자가 가상 캐릭터의 감성 상태를 어떻게 지각하며, 가상 캐릭터의 몸짓을 어떻게 평가하는가를 검증하였다. 이를 위하여 몸짓과 얼굴표정의 감성표현을 동일하게 구성한 일치조건, 정반대의 감성표현으로 구성된 불일치조건, 그리고 무표정한 얼굴표정으로 구현된 통제집단을 구성했다. 연구결과에 따르면 슬픔 조건에서 의도된 감성 상태가 제대로 전달되지 않았을 뿐만 아니라 오히려 화난 것으로 지각되었다. 그러나 나머지 감성 상태에서는 몸짓과 얼굴표정의 일치여부는 의도된 감성 전달에 영향을 미치지 않았다. 감성 상태의 표현에 대한 가상 캐릭터의 전체적인 몸짓에 대한 평가에서는 기쁨을 표현한 몸짓이 불일치 조건의 얼굴표정을 갖게 될 때, 평가 점수가 낮았다. 가상 캐릭터의 감성을 표현할 때는 얼굴 표정도 중요하지만 몸짓 자체의 감성표현이 전반적으로 결정적인 역할을 수행하고 있음을 확인할 수 있었다. 가상 캐릭터의 성별이나 연령과 같은 사회적 단서에 대한 연구의 필요성을 설명했다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 추계종합학술대회 논문집
• /
• pp.536-539
• /
• 1999

In this paper we propose a 3D emotional expression method using a comic model for effective sign-language communications. Until now we have investigated to produce more realistic facial and emotional expression. When representing only emotional expression, however, a comic expression could be better than the real picture of a face. The comic face is a comic-style expression model in which almost components except the necessary parts like eyebrows, eyes, nose and mouth are discarded. We represent emotional expression using Action Units(AU) of Facial Action Coding System(FACS). Experimental results show a possibility that the proposed method could be used efficiently for sign-language image communications.

• 인터넷정보학회논문지
• /
• 제10권4호
• /
• pp.55-70
• /
• 2009

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 그러한 측면에서 얼굴표정인식에 의한 인간의 심리적 상태를 추론하는 기술은 중요한 이슈이다. 본 연구에서는 감성인식 HMM 모델과 광류에 기반한 얼굴 움직임 추적 방법을 이용하여 동영상으로부터 얼굴표정을 인식하는 새로운 방법을 제시하였다. 특히, 기존의 감성상태 변환을 설명하는 HMM 모델은 특정 표정상태 간의 전환 시 항상 중립 상태를 거치도록 설계되어 있다. 그러나 본 연구에서는 기존의 표정상태 전환 모델에 중간상태를 거치는 과정 없이 특정 표정 상태간의 변환이 가능한 확장된 HMM 모델을 제시한다. 동영상으로부터 얼굴의 특성정보를 추출하기 위하여 탬플릿 매칭과 광류방법을 적용하였다. 광류에 의해 추적된 얼굴의 표정특성 정보는 얼굴표정인식을 위한 HMM의 매개변수 정보로 사용된다. 실험을 통하여 제안된 얼굴표정인식 방법이 실시간 얼굴 표정인식에 효과적임을 입증하였다.

• 로봇학회논문지
• /
• 제4권4호
• /
• pp.281-288
• /
• 2009

Nowadays, many robots have evolved to imitate human social skills such that sociable interaction with humans is possible. Socially interactive robots require abilities different from that of conventional robots. For instance, human-robot interactions are accompanied by emotion similar to human-human interactions. Robot emotional expression is thus very important for humans. This is particularly true for facial expressions, which play an important role in communication amongst other non-verbal forms. In this paper, we introduce a method of creating lifelike facial expressions in robots using variation of affect values which consist of the robot's emotions based on emotional boundaries. The proposed method was examined by experiments of two facial robot simulators.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권4호
• /
• pp.1-9
• /
• 2018

본 논문은 얼굴의 표정 변화를 통해 감정을 분석하는 방법으로 조현병의 초기 증상을 스스로 인지할 수 있는 감정 트레이닝 프레임워크를 제안한다. 먼저, Microsoft의 Emotion API를 이용하여 캡처된 얼굴 표정의 사진으로부터 감정값을 얻고, 피크 분석 기반 표준편차로 시간에 따라 변화하는 얼굴 표정의 미묘한 차이를 인식해 감정 상태를 각각 분류한다. 그리하여 Ekman이 제안한 여섯 가지 기본 감정 상태에 반하는 감정들의 정서 및 표현능력이 결핍된 부분에 대해 분석하고, 그 값을 이미지 색상 변환 프레임워크에 통합시켜 사용자 스스로 감정의 변화를 쉽게 인지하고 트레이닝 할 수 있도록 하는 것이 최종목적이다.

• 감성과학
• /
• 제10권1호
• /
• pp.127-133
• /
• 2007

본 연구에서는 얼굴표정을 통하여 다른 사람의 정서 상태를 판단하는 능력이 연령(3세, 5세, 대학생), 성별(남, 여), 얼굴제시영역(얼굴전체, 눈), 정서의 종류(기본정서, 복합정서)에 따라 어떻게 다른지 알아보고자 하였다. 본 연구에서는 얼굴표정과 정서어휘 간의 연결이 비교적 분명하게 나타나는 32개의 정서 상태를 자극으로 사용하였으며, 표정사진은 32개의 정서 상태에 해당하는 얼굴표정을 배우에게 연기하도록 하여 사용하였다. 과제는 각 실험참가자에게 정서유발 상황에 대한 이야기를 들려주고 이야기 속의 주인공이 어떤 얼굴표정을 할 것인지를 판단하게 한 후 네 개의 얼굴표정 중에 적절한 것을 선택하도록 한 것이었다. 그 결과 연령이 증가함에 따라 얼굴표정을 판단하는 능력이 증가하였으며, 눈만 제시한 경우보다는 얼굴전체를 제시하였을 때, 복합정서보다는 기본정서에서 더 좋은 수행을 보였다. 또한 여자는 제시영역에 따른 수행의 차이가 없는 것에 반해, 남자는 눈 조건에 비해 얼굴조건의 경우에 더 좋은 수행을 보였다. 본 연구의 결과는 연령, 얼굴제시영역, 정서의 종류가 얼굴표정을 통해 타인의 정서를 판단하는데 영향을 줌을 시사한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.651-654
• /
• 1999

In this paper we propose an emotional expression method using a comic model and special marks for effective sign-language communications. Until now we have investigated to produce more realistic facial and emotional expression. When representing only emotional expression, however, a comic expression could be better than the real picture of a face. The comic face is a comic-style expression model in which almost components except the necessary parts like eyebrows, eyes, nose and mouth are discarded. In the comic model, we can use some special marks for the purpose of emphasizing various emotions. We represent emotional expression using Action Units(AU) of Facial Action Coding System(FACS) and define Special Unit(SU) for emphasizing the emotions. Experimental results show a possibility that the proposed method could be used efficiently for sign-language image communications.

• 한국콘텐츠학회논문지
• /
• 제14권9호
• /
• pp.476-483
• /
• 2014

본 논문은 국내 표정 연구에 적합한 얼굴 표정 이미지를 제작하는 것에 목적을 두었다. 이를 위해서 1980년대 태생의 한국인의 표준 형상에 FACS-Action Unit을 결합하여, KSFI(Korean Standard Facial Image) AU set를 제작하였다. KSFI의 객관성을 확보하기 위해 6가지 기본 감성(슬픔, 행복, 혐오, 공포, 화남, 놀람) 이미지를 제작하여, 감성 별 인식 정확률과 얼굴 요소의 감성인식 기여도를 평가하였다. 실험 결과, 정확률이 높은 행복, 놀람, 슬픔, 분노의 이미지의 경우 주로 눈과 입의 얼굴 요소를 통해 감성을 판단하였다. 이러한 연구 결과를 통해 본 연구에서는 표정 이미지의 AU 변경할 수 있는 KSFI 콘텐츠를 제안하였다. 향후 KSFI가 감성 인식률 향상에 기여할 수 있는 학습 콘텐츠로서의 역할을 할 수 있을 것으로 사료된다.