• 감성과학
• /
• 제17권4호
• /
• pp.61-70
• /
• 2014

로봇과 인간의 상호작용에서 언어에 의한 정보 전달은 상호작용의 한계가 있으므로, 더욱 원활하고 효율적인 의사소통과 나아가 로봇의 감정 표현까지 구현하기 위해서는 비언어적 커뮤니케이션이 필요하다. 본 연구에서는 쇼핑을 지원하는 로봇을 전제로 하여 쇼핑 행태에 따른 7가지 비언어적 정보를 도출하였다. 도출된 비언어적 정보의 요소로서 표정을 선정하고, 2D 분석을 통하여 얼굴 구성요소를 코드화 하였다. 얼굴 구성요소의 코드를 조합한 3D 애니메이션을 이용하여 비언어적 정보의 표현에 대한 유의성을 분석하였다. 분석 결과, 제안된 비언어적 정보의 표현 방법은 높은 수준의 유의성을 보여 비언어적 정보 연구의 기초자료로서 활용 가능성이 확인되었다. 다만, '당황'의 경우 코드화된 얼굴 구성 요소의 모양 적용에 한계가 있으며 보다 체계적 연구가 요구된다.

• 인지과학
• /
• 제16권4호
• /
• pp.323-331
• /
• 2005

본 논문은 조명 변화에 강인하며 중립 표정과 같은 표정 측정의 기준이 되는 단서 없이 다양한 내적상태 안에서 얼굴표정을 인식할 수 있는 개선된 시스템을 제안한다. 표정정보를 추출하기 위한 전처리 작업으로, 백색화(whitening) 단계가 적용되었다. 백색화 단계는 영상데이터들의 평균값이 0이며 단위분산 값으로 균일한 분포를 갖도록 하여 조명 변화에 대한 민감도를 줄인다. 백색화 단계 수행 후 제 1 주성분이 제외된 나머지 주성분들로 이루어진 PCA표상을 표정정보로 사용함으로써 중립 표정에 대한 단서 없이 얼굴표정의 특징추출을 가능하게 한다. 본 실험 결과는 또한 83개의 내적상태와 일치되는 다양한 얼굴표정들에서 임의로 선택된 표정영상들을 내적상태의 차원모델에 기반한 얼굴표정 인식을 수행함으로써 다양하고 자연스런 얼굴 표정 인식을 가능하게 하였다.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.754-771
• /
• 2021

In the task of continuous dimension emotion recognition, the parts that highlight the emotional expression are not the same in each mode, and the influences of different modes on the emotional state is also different. Therefore, this paper studies the fusion of the two most important modes in emotional recognition (voice and visual expression), and proposes a two-mode dual-modal emotion recognition method combined with the attention mechanism of the improved AlexNet network. After a simple preprocessing of the audio signal and the video signal, respectively, the first step is to use the prior knowledge to realize the extraction of audio characteristics. Then, facial expression features are extracted by the improved AlexNet network. Finally, the multimodal attention mechanism is used to fuse facial expression features and audio features, and the improved loss function is used to optimize the modal missing problem, so as to improve the robustness of the model and the performance of emotion recognition. The experimental results show that the concordance coefficient of the proposed model in the two dimensions of arousal and valence (concordance correlation coefficient) were 0.729 and 0.718, respectively, which are superior to several comparative algorithms.

• 한국컴퓨터정보학회논문지
• /
• 제23권8호
• /
• pp.37-43
• /
• 2018

In this paper, we propose a framework that automatically suggests emotion using emotion analysis method based on facial expression change. We use Microsoft's Emotion API to calculate and analyze emotion values in facial expressions to recognize emotions that change over time. In this step, we use standard deviations based on peak analysis to measure and classify emotional changes. The difference between the classified emotion and the normal emotion is calculated, and the difference is used to recognize the emotion abnormality. We match user's emotions to relatively relaxed emotions using histograms and emotional meshes. As a result, we provide relaxed emotions to users through images. The proposed framework helps users to recognize emotional changes easily and to train their emotions through emotional relaxation.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권8호
• /
• pp.3473-3487
• /
• 2020

In this paper, we present a new approach to creating speech animation with emotional expressions using a small set of example models. To generate realistic facial animation, two example models called key visemes and expressions are used for lip-synchronization and facial expressions, respectively. The key visemes represent lip shapes of phonemes such as vowels and consonants while the key expressions represent basic emotions of a face. Our approach utilizes a text-to-speech (TTS) system to create a phonetic transcript for the speech animation. Based on a phonetic transcript, a sequence of speech animation is synthesized by interpolating the corresponding sequence of key visemes. Using an input parameter vector, the key expressions are blended by a method of scattered data interpolation. During the synthesizing process, an importance-based scheme is introduced to combine both lip-synchronization and facial expressions into one animation sequence in real time (over 120Hz). The proposed approach can be applied to diverse types of digital content and applications that use facial animation with high accuracy (over 90%) in speech recognition.

• International Journal of Computer Science & Network Security
• /
• 제24권4호
• /
• pp.26-34
• /
• 2024

Most human emotions are conveyed through facial expressions, which represent the predominant source of emotional data. This research investigates the impact of crowds on human emotions by analysing facial expressions. It examines how crowd behaviour, face recognition technology, and deep learning algorithms contribute to understanding the emotional change according to different level of crowd. The study identifies common emotions expressed during congestion, differences between crowded and less crowded areas, changes in facial expressions over time. The findings can inform urban planning and crowd event management by providing insights for developing coping mechanisms for affected individuals. However, limitations and challenges in using reliable facial expression analysis are also discussed, including age and context-related differences.

• 한국콘텐츠학회논문지
• /
• 제19권3호
• /
• pp.61-71
• /
• 2019

광고 속에서 비언어커뮤니케이션의 종류 중 얼굴 표정의 사용은 시간 제약의 문제를 상쇄시키며 소비자들에게 표현적이고 감동적인 매력의 수단으로 사용된다. 본 연구 목적은 TV 광고들 속에서 어떻게 얼굴 표정이 묘사되고 얼굴 표정을 통한 감정 전달이 이루어지는 지를 탐구하는 것이다. 연구 대상은 소비자들이 가장 감동적인 TV 광고로 뽑은 <박카스 음료>와 <동원 참치> 광고이다. 숨겨진 감정들에 대한 이론적 측면들을 기초로 두고 특정한 얼굴 근육의 움직임을 측정하도록 설계된 심리학과 해부학 기반인 얼굴 동작 코딩 시스템(Facial Action Coding System)을 연구 도구로 사용하여 TV광고 속의 얼굴 표정들이 내포한 의미들을 분석하였다. 분석된 의미의 결과를 통해서 얼굴 클로즈업을 통해 주인공의 감정 상태의 충돌과 극적인 갈등의 해소가 이루어진 광고가 소비자들의 마음을 더 움직인다는 유의미한 결과를 도출하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2004년도 추계학술대회 학술발표 논문집 제14권 제2호
• /
• pp.105-129
• /
• 2004

• 한국지능시스템학회논문지
• /
• 제19권4호
• /
• pp.562-567
• /
• 2009

얼굴 표정은 사람의 감정을 전달하는 핵심 메커니즘으로 이를 적절하게 활용할 경우 Robotics의 HRI(Human Robot Interface)와 같은 Human Computer Interaction에서 큰 역할을 수행할 수 있다. 이는 HCI(Human Computing Interface)에서 사용자의 감정 상태에 대응되는 다양한 반응을 유도할 수 있으며, 이를 통해 사람의 감정을 통해 로봇과 같은 서비스 에이전트가 사용자에게 제공할 적절한 서비스를 추론할 수 있도록 하는 핵심요소가 된다. 본 논문에서는 얼굴표정에서의 감정표현을 인식하기 위한 방법으로 FACS(Facial Action Coding System)와 AAM(Active Appearance Model)을 이용한 특징 추출과 Bayesian Network 기반 표정 추론 기법이 융합된 얼굴표정 인식 시스템의 개발에 대한 내용을 제시한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권1호
• /
• pp.196-212
• /
• 2014

Facial expression recognition is an important part in emotional interaction between human and machine. This paper proposes a facial expression recognition approach based on multi-classifier fusion with stacking algorithm. The kappa-error diagram is employed in base-level classifiers selection, which gains insights about which individual classifier has the better recognition performance and how diverse among them to help improve the recognition accuracy rate by fusing the complementary functions. In order to avoid the influence of the chance factor caused by guessing in algorithm evaluation and get more reliable awareness of algorithm performance, kappa and informedness besides accuracy are utilized as measure criteria in the comparison experiments. To verify the effectiveness of our approach, two public databases are used in the experiments. The experiment results show that compared with individual classifier and two other typical ensemble methods, our proposed stacked ensemble system does recognize facial expression more accurately with less standard deviation. It overcomes the individual classifier's bias and achieves more reliable recognition results.