• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2005년도 ICCAS
• /
• pp.2373-2378
• /
• 2005

An emotion detection algorithm using frontal facial image is presented in this paper. The algorithm is composed of three main stages: image processing stage and facial feature extraction stage, and emotion detection stage. In image processing stage, the face region and facial component is extracted by using fuzzy color filter, virtual face model, and histogram analysis method. The features for emotion detection are extracted from facial component in facial feature extraction stage. In emotion detection stage, the fuzzy classifier is adopted to recognize emotion from extracted features. It is shown by experiment results that the proposed algorithm can detect emotion well.

• 인지과학
• /
• 제29권1호
• /
• pp.39-59
• /
• 2018

작업기억 부담이 부적 얼굴정서 처리에 미치는 영향을 밝히기 위해, N-back 과제 수행 도중 제시된 부적 얼굴표정에 의해 유발된 ERP성분들을 조사하였다. 한 개씩 순차적으로 제시되는 시각적 사물그림들에 대한 기억을 유지하고 갱신하도록 요구하면서(N-back 과제) 이 사물그림들이 제시되는 사이에 공포표정 또는 중립표정의 얼굴자극을 하나씩 제시하였는데, 작업기억 부담을 0-back 조건(저부담)과 2-back 조건(고부담)으로 조작하였다. N-back과제 수행반응을 분석한 결과, 고부담조건에 비해 저부담조건에서 더 빠르고 정확한 반응이 관찰되었다. 얼굴자극에 의해 유발된 ERP 평균진폭을 분석한 결과, 후두영역에서 측정한 P1 진폭에서는 정서가효과는 유의미하지 않았고 작업기억 부담효과만 유의미하였다(고부담 > 저부담). 후측 후두-측두 영역에서 측정한 N170 진폭에서 얼굴 정서가효과는 전반적으로는 유의미하였지만(부정 > 중립) 세부적으로는 작업기억부담과 반구에 따라 다르게 나타났는데, 정서가효과가 좌반구에서는 저부담조건의 경우에만, 우반구에서는 두 부담조건 모두에서 관찰되었다. 결국, 얼굴표정의 부적 정서가가 N170에 미치는 영향이 좌반구에서는 작업기억 부담에 의해 조절되었지만 우반구에서는 그렇지 않았다. 이러한 결과는, 부적 얼굴 표정의 초기 정서처리가 작업기억의 유지 및 조작 부담이 큰 경우 좌반구에서는 약화되거나 일어나지 않을 수 있는 반면, 우반구에서는 작업기억 부담의 크기에 관계없이 일어남을 보여주는 것으로써, 부적 얼굴정서 처리의 우반구 편재를 시사한다.

• Asia pacific journal of information systems
• /
• 제27권1호
• /
• pp.38-53
• /
• 2017

As sensor technologies and image processing technologies make collecting information on users' behavior easy, many researchers have examined automatic emotion recognition based on facial expressions, body expressions, and tone of voice, among others. Specifically, many studies have used normal cameras in the multimodal case using facial and body expressions. Thus, previous studies used a limited number of information because normal cameras generally produce only two-dimensional images. In the present research, we propose an artificial neural network-based model using a high-definition webcam and Kinect to recognize users' emotions from facial and bodily expressions when watching a movie trailer. We validate the proposed model in a naturally occurring field environment rather than in an artificially controlled laboratory environment. The result of this research will be helpful in the wide use of emotion recognition models in advertisements, exhibitions, and interactive shows.

• Journal of the Korean Academy of Child and Adolescent Psychiatry
• /
• 제24권2호
• /
• pp.83-89
• /
• 2013

Objectives : It is known that children with attention-deficit hyperactivity disorder (ADHD) experience significant difficulty in recognizing facial emotion, which involves processing of emotional facial expressions rather than speech, compared to children without ADHD. This objective of this study is to investigate the differences in facial emotion recognition between children with ADHD and normal children used as control. Methods : The children for our study were recruited from the Suwon Project, a cohort comprising a non-random convenience sample of 117 nine-year-old ethnic Koreans. The parents of the study participants completed study questionnaires such as the Korean version of Child Behavior Checklist, ADHD Rating Scale, Kiddie-Schedule for Affective Disorders and Schizophrenia-Present and Lifetime Version. Facial Expression Recognition Test of the Emotion Recognition Test was used for the evaluation of facial emotion recognition and ADHD Rating Scale was used for the assessment of ADHD. Results : ADHD children (N=10) were found to have impaired recognition when it comes to Emotional Differentiation and Contextual Understanding compared with normal controls (N=24). We found no statistically significant difference in the recognition of positive facial emotions (happy and surprise) and negative facial emotions (anger, sadness, disgust and fear) between the children with ADHD and normal children. Conclusion : The results of our study suggested that facial emotion recognition may be closely associated with ADHD, after controlling for covariates, although more research is needed.

• 한국심리학회지:법
• /
• 제12권2호
• /
• pp.99-120
• /
• 2021

본 연구는 정신병질 특성을 가지고 있는 집단이 정서적 얼굴을 처리하는 데 있어서 어떤 차이가 있는지 알아보았다. 정신병질적 성격 검사 개정판에 따라 15명의 정신병질 특성집단과 15명의 통제집단을 선별하였다. 실험 참여자들은 화남, 공포, 슬픔으로 구성된 부정적 얼굴과 무표정인 중성적 얼굴이 자극으로 사용된 과제를 수행하였다. 피험자가 자극의 성별을 판단하는 암묵적 과제와 정서를 판단하는 외현적 과제를 수행하는 동안 사건관련전위가 측정되었다. 정서처리과정에서 나타나는 정신병질 특성집단과 통제집단의 차이를 조사하기 위해 LPP(late positive potentials) 진폭을 분석하였다. 암묵적 과제에서는 두 집단 간 유의미한 차이가 나타나지 않았다. 그러나 외현적 과제에서는 집단과 정서 간 유의미한 상호작용이 전두중심영역에서 나타났다. 부정적 얼굴과 중성적 얼굴에서 비슷한 LPP 진폭을 보인 통제집단과 다르게 정신병질 특성집단은 부정적 얼굴에 비해 중성적 얼굴에서 더 큰 진폭을 보였다. 이러한 결과는 정신병질 특성집단이 가지는 정서 처리의 비정상성을 반영한다고 볼 수 있다.

• 한국콘텐츠학회논문지
• /
• 제15권10호
• /
• pp.1-9
• /
• 2015

본 논문에서는 Kinect 카메라를 통해 촬영된 영상 처리를 통해 상반된 감성 자극 관점에서 안면 움직임의 차이를 분석하는 연구를 진행하였다. Russell의 2차원 감성 모델에서 원점 대칭 위치에 존재하는 두 상반된 감성인 "Sad - Excitement", "Contentment - Angry" 감성을 유발하기 위해 피험자에게 시각자극과 청각자극을 동시에 제공하였다. Kinect Face Tracking SDK에서 제공되는 121개 특징점으로 구성된 안면 active appearance model에서 안면 움직임을 잘 표현하는 31개의 주요 특징점 주변의 화소 변화를 측정하였다. 안면 근육의 비선형적 움직임 문제를 해결하기 위해 지역 이동 기반 최소거리 결정 방법(local minimum shift matching)을 사용하였다. 분석 결과, sad 감성에서는 우측 안면 움직임이 많이 나타났고, excitement 감성에서는 좌측 안면 움직임이 많이 나타남으로써 두 상반된 감성 자극에 대한 안면 움직임의 위치 또한 상반된 결과를 보였다. 또한 "Contentment" 감성에서는 좌측 안면 움직임이 많이 나타났고, "Angry" 감성에서는 안면의 좌우 구분 없이 움직임이 나타남으로써, 두 상반된 감성 자극에 대해서는 우측 안면에서 차이를 확인할 수 있었다.

• 한국전자통신학회논문지
• /
• 제17권6호
• /
• pp.1137-1144
• /
• 2022

본 연구에서는 감정을 표현하기 위한 표정 연습을 보조하는 인공지능을 개발하였다. 개발한 인공지능은 서술형 문장과 표정 이미지로 구성된 멀티모달 입력을 심층신경망에 사용하고 서술형 문장에서 예측되는 감정과 표정 이미지에서 예측되는 감정 사이의 유사도를 계산하여 출력하였다. 사용자는 서술형 문장으로 주어진 상황에 맞게 표정을 연습하고 인공지능은 서술형 문장과 사용자의 표정 사이의 유사도를 수치로 출력하여 피드백한다. 표정 이미지에서 감정을 예측하기 위해 ResNet34 구조를 사용하였으며 FER2013 공공데이터를 이용해 훈련하였다. 자연어인 서술형 문장에서 감정을 예측하기 위해 KoBERT 모델을 전이학습 하였으며 AIHub의 감정 분류를 위한 대화 음성 데이터 세트를 사용해 훈련하였다. 표정 이미지에서 감정을 예측하는 심층신경망은 65% 정확도를 달성하여 사람 수준의 감정 분류 능력을 보여주었다. 서술형 문장에서 감정을 예측하는 심층신경망은 90% 정확도를 달성하였다. 감정표현에 문제가 없는 일반인이 개발한 인공지능을 이용해 표정 연습 실험을 수행하여 개발한 인공지능의 성능을 검증하였다.

• 정보처리학회논문지B
• /
• 제13B권7호
• /
• pp.653-662
• /
• 2006

사용자의 상황에 따라 적절한 서비스를 제공하는 컴퓨팅 환경을 구현하려는 유비쿼터스 컴퓨팅에서 사람과 기계간의 효과적인 상호작용과 사용자의 상황 인식을 위해 사용자의 얼굴 표정 기반의 감정 인식이 HCI의 중요한 수단으로 이용되고 있다. 본 연구는 새로운 베이지안 분류기를 이용하여 상황에 민감한 얼굴 표정에서 기본 감정을 강건하게 인식하는 문제를 다룬다. 표정에 기반한 감정 인식은 두 단계로 나뉘는데 본 연구에서는 얼굴 특징 추출 단계는 색상 히스토그램 방법을 기반으로 하고 표정을 이용한 감정 분류 단계에서는 학습과 테스트를 효과적으로 실행하는 새로운 베이지안 학습 알고리즘인 EADF(Extended Assumed-Density Filtering)을 이용한다. 상황에 민감한 베이지안 학습 알고리즘은 사용자 상황이 달라지면 복잡도가 다른 분류기를 적용할 수 있어 더 정확한 감정 인식이 가능하도록 제안되었다. 실험 결과는 표정 분류 정확도가 91% 이상이며 상황이 드러나지 않게 얼굴 표정 데이터를 모델링한 결과 10.8%의 실험 오류율을 보였다.

• 감성과학
• /
• 제11권1호
• /
• pp.11-21
• /
• 2008

본 연구에서는 얼굴 표정 정서를 인식하는데 있어서 우울 집단과 통제 집단간에 차이가 있는지를 알아보고자 하였다. 연구 대상은 305명의 대학생에게 BDI-II를 실시하여 14점(상위 20%) 이상을 얻은 학생을 우울 집단으로, 5점 이하(하위 20%)를 얻은 학생을 통제 집단으로 선정하였다. 최종적으로 우울 집단 20명, 통제 집단 20명이 분석에 포함되었으며, 이들에게 기쁨, 슬픔, 화남, 두려움의 각 얼굴 표정이 중립에서부터 시작되어 점점 정서 강도가 커지면서 가장 강한 강도의 표정 사진에 이르도록 변하는 자극을 제시하였다. 그 결과, 집단과 정서(특히 기쁨-슬픔 조건)간의 유의한 상호작용 효과가 관찰되었고, 이러한 결과는 우울감이 얼굴 표정과 같은 정서적 정보처리에 영향을 미친다는 것을 의미한다. 우울한 개인의 이러한 정서 일치적 정보 처리 경향이 가지는 함의에 대하여 논의하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.493-495
• /
• 2023

Deep learning methods and attention mechanisms have been incorporated to improve facial emotion recognition, which has recently attracted much attention. The fusion approaches have improved accuracy by combining various types of information. This research proposes a fusion network with self-attention and local attention mechanisms. It uses a multi-layer perceptron network. The network extracts distinguishing characteristics from facial images using pre-trained models on RAF-DB dataset. We outperform the other fusion methods on RAD-DB dataset with impressive results.