• 지능정보연구
• /
• 제20권1호
• /
• pp.1-14
• /
• 2014

최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.821-823
• /
• 2016

본 논문은 다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템을 제안한다. 사용자의 얼굴 영상, 목소리 및 뇌파를 기반으로 각각 추출된 특징을 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 다차원 정서모델(Arousal, Valence, Dominance)에 대한 명시적 감응 정도 데이터로 대응하여 스코어링(Scoring)을 수행한다. 이후, 스코어링을 통해 나온 결과 값을 이용하여 다차원으로 구성되는 3차원 감정 모델에 매핑하여 인간의 감정(단일감정, 복합감정)뿐만 아니라 감정의 세기까지 인식한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권3호
• /
• pp.1076-1094
• /
• 2022

Technology for emotion recognition is an essential part of human personality analysis. To define human personality characteristics, the existing method used the survey method. However, there are many cases where communication cannot make without considering emotions. Hence, emotional recognition technology is an essential element for communication but has also been adopted in many other fields. A person's emotions are revealed in various ways, typically including facial, speech, and biometric responses. Therefore, various methods can recognize emotions, e.g., images, voice signals, and physiological signals. Physiological signals are measured with biological sensors and analyzed to identify emotions. This study employed two sensor types. First, the existing method, the binary arousal-valence method, was subdivided into four levels to classify emotions in more detail. Then, based on the current techniques classified as High/Low, the model was further subdivided into multi-levels. Finally, signal characteristics were extracted using a 1-D Convolution Neural Network (CNN) and classified sixteen feelings. Although CNN was used to learn images in 2D, sensor data in 1D was used as the input in this paper. Finally, the proposed emotional recognition system was evaluated by measuring actual sensors.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 춘계학술발표대회
• /
• pp.51-53
• /
• 2008

최근 오디오 압축 기술의 발전에 힘입은 디지털 음원과 웹 스트리밍의 보급으로, 사용자가 음악 정보에 손쉽게 접할 수 있게 되었다. 이에 따라 음악을 보다 쉽고 효율적인 방법으로 검색하는 방법뿐 아니라 사용자의 환경에 따라 적절한 음악을 검색할 수 있는 기능의 필요성이 증가하게 되었다. 본 논문에서는 음악의 특징에 따라 분류된 데이터베이스를 사용하고, 사용자의 감정을 분석하여 적절한 음악을 검색하는 시스템을 제안한다. 본 시스템은 사용자의 감정 입력을 효율적으로 처리하기 위한 방법으로 Thayer의 2D emotional space를 적용하여 Valence-Arousal model의 두 가지의 입력을 처리한다. 가장 적합한 음악의 정보를 얻기 위해 사용된 Fuzzy Inference System의 IF-THEN 규칙을 정의하기 위하여 언어적으로 정의된 기존의 음악 감정 연구 결과를 적용하였고, 도출된 결과와 가장 유사도가 깊은 음악을 우선적으로 검색하도록 설계하였다. 이와 같이 구현된 시스템의 타당성을 검증하기 위해 사용자 설문조사를 수행하였다.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.754-771
• /
• 2021

In the task of continuous dimension emotion recognition, the parts that highlight the emotional expression are not the same in each mode, and the influences of different modes on the emotional state is also different. Therefore, this paper studies the fusion of the two most important modes in emotional recognition (voice and visual expression), and proposes a two-mode dual-modal emotion recognition method combined with the attention mechanism of the improved AlexNet network. After a simple preprocessing of the audio signal and the video signal, respectively, the first step is to use the prior knowledge to realize the extraction of audio characteristics. Then, facial expression features are extracted by the improved AlexNet network. Finally, the multimodal attention mechanism is used to fuse facial expression features and audio features, and the improved loss function is used to optimize the modal missing problem, so as to improve the robustness of the model and the performance of emotion recognition. The experimental results show that the concordance coefficient of the proposed model in the two dimensions of arousal and valence (concordance correlation coefficient) were 0.729 and 0.718, respectively, which are superior to several comparative algorithms.

• 지능정보연구
• /
• 제18권3호
• /
• pp.185-202
• /
• 2012

오늘날 정보사회에서는 정보에 대한 가치를 인식하고, 이를 위한 정보의 활용과 수집이 중요해지고 있다. 얼굴 표정은 그림 하나가 수천개의 단어를 표현할 수 있듯이 수천 개의 정보를 지니고 있다. 이에 주목하여 최근 얼굴 표정을 통해 사람의 감정을 판단하여 지능형 서비스를 제공하기 위한 시도가 MIT Media Lab을 필두로 활발하게 이루어지고 있다. 전통적으로 기존 연구에서는 인공신경망, 중회귀분석 등의 기법을 통해 사람의 감정을 판단하는 연구가 이루어져 왔다. 하지만 중회귀모형은 예측 정확도가 떨어지고, 인공신경망은 성능은 뛰어나지만 기법 자체가 지닌 과적합화 문제로 인해 한계를 지닌다. 본 연구는 사람들의 자극에 대한 반응으로서 나타나는 얼굴 표정을 통해 감정을 추론해내는 지능형 모형을 개발하는 것을 목표로 한다. 기존 얼굴 표정을 통한 지능형 감정판단모형을 개선하기 위하여, Support Vector Regression(이하 SVR) 기법을 적용하는 새로운 모형을 제시한다. SVR은 기존 Support Vector Machine이 가진 뛰어난 예측 능력을 바탕으로, 회귀문제 영역을 해결하기 위해 확장된 것이다. 본 연구의 제안 모형의 목적은 사람의 얼굴 표정으로부터 쾌/불쾌 수준 그리고 몰입도를 판단할 수 있도록 설계되는 것이다. 모형 구축을 위해 사람들에게 적절한 자극영상을 제공했을 때 나타나는 얼굴 반응들을 수집했고, 이를 기반으로 얼굴 특징점을 도출 및 보정하였다. 이후 전처리 과정을 통해 통계적 유의변수를 추출 후 학습용과 검증용 데이터로 구분하여 SVR 모형을 통해 학습시키고, 평가되도록 하였다. 다수의 일반인들을 대상으로 수집된 실제 데이터셋을 기반으로 제안모형을 적용해 본 결과, 매우 우수한 예측 정확도를 보임을 확인할 수 있었다. 아울러, 중회귀분석이나 인공신경망 기법과 비교했을 때에도 본 연구에서 제안한 SVR 모형이 쾌/불쾌 수준 및 몰입도 모두에서 더 우수한 예측성과를 보임을 확인할 수 있었다. 이는 얼굴 표정에 기반한 감정판단모형으로서 SVR이 상당히 효과적인 수단이 될 수 있다는 점을 알 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.656-659
• /
• 2023

정서적 지원 대화를 위한 챗봇 개발 시, 사용자의 챗봇에 대한 사용성 및 대화 적절성을 높이기 위해서는 사용자 감정에 적합한 지원 콘텐츠를 제공하는 것이 중요하다. 이를 위해, 본 논문은 사용자 입력 텍스트의 감정 강도 예측 모델을 제안하고, 사용자 발화 맞춤형 정서적 지원 대화에 적용하고자 한다. 먼저 입력된 한국어 문장에서 키워드를 추출한 뒤, 이를 각성도 (arousal)과 긍정부 정도(valence) 공간에 투영하여 키워드가 내포하는 각성도-긍정부정도에 가장 근접한 감정을 예측하였다. 뿐만 아니라, 입력된 전체 문장에 대한 감정 강도를 추가로 예측하여, 핵심 감정 강도 - 문맥상 감정강도를 모두 추출하였다. 이러한 통섭적 감정 강도 지수들은 사용자 감정에 따른 최적 지원 전략 선택 및 최적 대화 콘텐츠 생성에 공헌할 것으로 기대한다.

• 감성과학
• /
• 제26권1호
• /
• pp.33-42
• /
• 2023

기존의 연령별 얼굴정서 인식 비교 연구에서는 정서별로 연령 간에 어떤 차이가 있는지 밝혔다. 이에 Kim(2021) 연구에서는 개별 정서가 아닌 정서공간에서 표상된 정서를 연령 간 비교하였다는 점에서 의의가 있으나, 기술적(descriptive) 비교만 시행하였을 뿐, 통계적 유의미 검증을 하지 않았다는 한계가 있다. 본 연구에서는 표상 유사성 분석(representational similarity analysis) 방법을 통해 연령간 실제 데이터 및 정서 모델 유사성행렬을 직접적으로 비교하였다. 또한 개인차 다차원척도법(individual differences multidimensional scaling)을 통해 연령간 정서 차원에 대한 비중을 비교하였다. 그 결과 실제 데이터 비교에서 노년 집단은 청년 및 중년 집단과 가장 유사하지 않았으며, 쾌불쾌 차원이 포함된 정서 모델과의 유사성 비교에서도 가장 유사하지 않았다. 또한 노년 집단은 각성 차원에 대한 비중이 청년 및 중년 집단과 유사하지 않음이 발견되었다. 본 연구는 실제 데이터, 정서 모델, 그리고 정서 차원 비중이라는 세 가지 측정치에 대해 노년 집단과 청년 및 중년 집단과의 차이를 통계적으로 검증하였다는 점에서 의의가 있다.

• 말소리와 음성과학
• /
• 제12권3호
• /
• pp.25-32
• /
• 2020

본 연구는 영어 발화에 나타난 7가지 감정들(calm, happy, sad, angry, fearful, disgust, surprised)을 분석하고자 감정발화(672개)와 감정중립 발화(48개)와의 운율적 거리를 측정하였다. 이를 위해 외국어 발음평가에 사용되었던 방법을 적용하여 음의 높낮이(Hz), 음의 강도(dB), 음의 길이(sec)와 같은 운율의 3요소를 유클리디언 거리로 계산하였는데 기존연구에서 더 나아가 유클리디언 거리계산 정규화 방법, z-score 방법 그리고 z-score 정규화 방법을 추가해 총 4가지 그룹(sqrF0, sqrINT, sqrDUR; norsqrF0, norsqrINT, norsqrDUR; sqrzF0, sqrzINT, sqrzDUR; norsqrzF0, norsqrzINT, norsqrzDUR)의 방법을 분석에 사용하였다. 그 결과 인지적 측면과 음향적 측면의 분석 모두에서 유클리디언 운율거리를 정규화한 norsqrF0, norsqrINT, norsqrDUR이 일관성 있게 가장 효과적인 측정방법으로 나타났다. 유클리디언 거리계산 정규화 방법으로 감정발화와 감정중립 발화를 비교했을 때, 전반적으로 감정에 따른 운율의 변화는 음의 높낮이(Hz)가 가장 크고 그다음 음의 길이(sec), 그리고 음의 강도(dB)가 가장 작게 나타났다. Tukey 사후검증 결과 norsqrF0의 경우 calm