• 감성과학
• /
• 제16권1호
• /
• pp.117-124
• /
• 2013

본 연구는 음성 인식기에서 일반적으로 사용되는 음향적 특징인 MFCC, LPC, 에너지, 피치 관련 파라미터들을 이용하여 자연스러운 음성의 정서를 범주 및 차원으로 얼마나 잘 인식할 수 있는지 살펴보았다. 자연스러운 정서 반응 데이터를 얻기 위해 선행 연구에서 이미 타당도와 효과성이 밝혀진 정서 유발 자극을 사용하였고, 110명의 대학생들에게 7가지 정서 유발 자극을 제시한 후 유발된 음성 반응을 녹음하여 분석에 사용하였다. 각 음성 데이터에서 추출한 파라미터들을 독립변인으로 하여 선형 판별 분석(LDA)으로 7가지 정서 범주를 분류하였고, 범주 분류의 한계를 극복하기 위해 단계별 다중회귀(stepwise multiple regression) 모형을 도출하여 4가지 정서 차원(valence, arousal, intensity, potency)을 가장 잘 예측하는 음성 특징 파라미터를 산출하였다. 7가지 정서 범주 판별율은 평균 62.7%이었고, 4 차원 예측 회귀모형들도 p<.001수준에서 통계적으로 유의하였다. 결론적으로, 본 연구 결과는 자연스러운 감정의 음성 반응을 분류하는데 유용한 파라미터들을 선정하여 정서의 범주와 차원적 접근으로 정서 분류 가능성을 보였으며 논의에 본 연구의 개선방향에 대해 기술하였다.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.40-48
• /
• 2023

Speech Emotions recognition has become the active research theme in speech processing and in applications based on human-machine interaction. In this work, our system is a two-stage approach, namely feature extraction and classification engine. Firstly, two sets of feature are investigated which are: the first one is extracting only 13 Mel-frequency Cepstral Coefficient (MFCC) from emotional speech samples and the second one is applying features fusions between the three features: Zero Crossing Rate (ZCR), Teager Energy Operator (TEO), and Harmonic to Noise Rate (HNR) and MFCC features. Secondly, we use two types of classification techniques which are: the Support Vector Machines (SVM) and the k-Nearest Neighbor (k-NN) to show the performance between them. Besides that, we investigate the importance of the recent advances in machine learning including the deep kernel learning. A large set of experiments are conducted on Surrey Audio-Visual Expressed Emotion (SAVEE) dataset for seven emotions. The results of our experiments showed given good accuracy compared with the previous studies.

• 말소리와 음성과학
• /
• 제9권2호
• /
• pp.77-83
• /
• 2017

We propose a new method to reduce emotion recognition errors caused by variation in speaker characteristics and speech rate. Firstly, for reducing variation in speaker characteristics, we adjust features from a test speaker to fit the distribution of all training data by using the histogram equalization (HE) algorithm. Secondly, for dealing with variation in speech rate, we augment the training data with speech generated in various speech rates. In computer experiments using EMO-DB, KRN-DB and eNTERFACE-DB, the proposed method is shown to improve weighted accuracy relatively by 34.7%, 23.7% and 28.1%, respectively.

• 한국소프트웨어감정평가학회 논문지
• /
• 제17권2호
• /
• pp.1-10
• /
• 2021

감정인식은 응용 분야의 다양성으로 많은 연구가 이루어지고 있는 기술이며, RGB 영상은 물론 열화상을 이용한 감정인식의 필요성도 높아지고 있다. 열화상의 경우는 RGB 영상과 비교해 조명 문제에 거의 영향을 받지 않는 장점이 있으나 낮은 해상도로 성능 높은 인식 기술을 필요로 한다. 본 논문에서는 얼굴 열화상 기반 감정인식의 성능을 높이기 위한 Divide and Conquer 기반의 CNN 학습전략을 제안하였다. 제안된 방법은 먼저 분류가 어려운 유사 감정 클래스를 confusion matrix 분석을 통해 동일 클래스 군으로 분류하도록 학습시키고, 다음으로 동일 클래스 군으로 분류된 감정 군을 실제 감정으로 다시 인식하도록 문제를 나누어서 해결하는 방법을 사용하였다. 실험을 통하여, 제안된 학습전략이 제시된 모든 감정을 하나의 CNN 모델에서 인식하는 경우보다 모든 실험에서 높은 인식성능을 보이는 것을 확인하였다.

• 정보처리학회논문지B
• /
• 제13B권7호
• /
• pp.653-662
• /
• 2006

사용자의 상황에 따라 적절한 서비스를 제공하는 컴퓨팅 환경을 구현하려는 유비쿼터스 컴퓨팅에서 사람과 기계간의 효과적인 상호작용과 사용자의 상황 인식을 위해 사용자의 얼굴 표정 기반의 감정 인식이 HCI의 중요한 수단으로 이용되고 있다. 본 연구는 새로운 베이지안 분류기를 이용하여 상황에 민감한 얼굴 표정에서 기본 감정을 강건하게 인식하는 문제를 다룬다. 표정에 기반한 감정 인식은 두 단계로 나뉘는데 본 연구에서는 얼굴 특징 추출 단계는 색상 히스토그램 방법을 기반으로 하고 표정을 이용한 감정 분류 단계에서는 학습과 테스트를 효과적으로 실행하는 새로운 베이지안 학습 알고리즘인 EADF(Extended Assumed-Density Filtering)을 이용한다. 상황에 민감한 베이지안 학습 알고리즘은 사용자 상황이 달라지면 복잡도가 다른 분류기를 적용할 수 있어 더 정확한 감정 인식이 가능하도록 제안되었다. 실험 결과는 표정 분류 정확도가 91% 이상이며 상황이 드러나지 않게 얼굴 표정 데이터를 모델링한 결과 10.8%의 실험 오류율을 보였다.

• 한국음향학회지
• /
• 제34권3호
• /
• pp.247-255
• /
• 2015

본 논문은 자동으로 분류된 음악 신호의 감정을 기반으로 하는 음악 검색 의 성능을 분석하였다. 음성, 영상 등의 다른 미디어 신호와 마찬가지로 음악은 인간에게 특정한 감정을 불러일으킬 수 있다. 이러한 감정은 사람들이 음악을 검색할 때 중요한 고려요소가 될 수 있다. 그렇지만 아직까지 음악의 감정을 직접 인식하여 음악 검색을 수행하고 성능을 검증한 경우는 거의 없었다. 본 논문에서는 음악 감정을 표현하는 주요한 세 축인 유발성, 활성, 긴장 과 기본 5대 감정인 행복, 슬픔, 위안, 분노, 불안의 정도를 구하고, 그 값들의 유사도를 기반으로 음악 검색을 수행하였다. 장르와 가수 데이터셋에서 실험을 수행하였다. 제안된 감정 기반 음악 검색 성능은 기존의 특징 기반 방법의 성능에 대비해서 최대 75 % 수준의 검색 정확도를 보였다. 또한 특징 기반 방법을 제안된 감정 기반 방법과 병합할 경우 최대 14 % 검색 성능 향상을 이룰 수 있었다.

• 한국차세대컴퓨팅학회논문지
• /
• 제15권3호
• /
• pp.16-24
• /
• 2019

최근 뇌파를 기반으로 한 인간의 감정을 인식하는 연구가 인간-로봇 상호작용 분야에서 활발히 진행되고 있다. 본 논문에서는 MAHNOB-HCI에서 사용된 자기평가와 주석 레이블링 방법과는 다른, 이미지 기반의 뇌파 Topography를 이용한 레이블링을 통해 감정을 평가하는 방법을 제안한다. 제안한 방법은 뇌파 신호를 Topography의 이미지로 변환하여 기계학습 모델을 학습하고 이를 기반으로 Valence 기반의 감정을 평가한다. 제안한 방법은 레이블링 과정을 자동화하여 지연 시간을 없애고 객관적인 레이블링을 제공할 수 있다. MAHNOB-HCI 데이터베이스를 적용한 실험에서 SVM, kNN의 기계학습 모델을 학습하여 주석 레이블링과 성능 비교를 하였으며, 제안 방법의 감정인식 정확도를 SVM에서 54.2%, kNN에서 57.7%로 확인하였다.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.9-16
• /
• 2023

Speech can actively elicit feelings and attitudes by using words. It is important for researchers to identify the emotional content contained in speech signals as well as the sort of emotion that resulted from the speech that was made. In this study, we studied the emotion recognition system using a database in Arabic, especially in the Saudi dialect, the database is from a YouTube channel called Telfaz11, The four emotions that were examined were anger, happiness, sadness, and neutral. In our experiments, we extracted features from audio signals, such as Mel Frequency Cepstral Coefficient (MFCC) and Zero-Crossing Rate (ZCR), then we classified emotions using many classification algorithms such as machine learning algorithms (Support Vector Machine (SVM) and K-Nearest Neighbor (KNN)) and deep learning algorithms such as (Convolution Neural Network (CNN) and Long Short-Term Memory (LSTM)). Our Experiments showed that the MFCC feature extraction method and CNN model obtained the best accuracy result with 95%, proving the effectiveness of this classification system in recognizing Arabic spoken emotions.

• 한국인터넷방송통신학회논문지
• /
• 제24권1호
• /
• pp.155-161
• /
• 2024

본 논문에서는 기존의 CNN 기반 얼굴 감정 분석 모델에 랜드마크 정보를 특징 벡터로 추가하여 새로운 모델을 제안한다. CNN 기반 모델을 이용한 얼굴 감정 분류 연구는 다양한 방법으로 연구되고 있으나 인식률이 매우 저조한 편이다. 본 논문에서는 CNN 기반 모델의 성능을 향상시키기 위하여 CNN 모델에 ASM으로 구한 랜드마크 기반 완전 연결 네트워크를 결합함으로써 얼굴 표정 분류 정확도를 향상시키는 알고리즘을 제안한다. CNN 모델에 랜드마크를 포함시킴으로써 인식률이 VGG 0.9%, Inception 0.7% 개선되었으며, 랜드마크에 FACS 기반 액션 유닛 추가를 통하여 보다 VGG 0.5%, Inception 0.1%만큼 향상된 결과를 얻을 수 있음을 실험으로 확인하였다.

• 스마트미디어저널
• /
• 제13권3호
• /
• pp.9-17
• /
• 2024

최근 팬데믹의 영향과 ICT 기술의 발전으로 인해 비대면·무인 시스템의 활용이 확대되고 있으며, 비대면 상황에서 의사소통은 감정을 이해하는 것이 매우 중요하다. 감정을 이해하기 위해서는 다양한 표정에 대한 감정 인식 방법이 필요함에 따라 이미지 데이터에서 표정 감정 인식 개선을 위한 인공지능 기반 연구가 진행되고 있다. 하지만 기존의 표정 감정 인식 연구는 정확도 향상을 위해 대량의 데이터를 활용하기 때문에 높은 컴퓨팅 파워와 많은 학습 시간이 필요하다. 본 논문에서는 이러한 한계점을 개선하기 위해 소량 데이터로도 표정 감정 인식이 가능한 방법으로 이미지 메타 정보인 연령과 성별을 활용한 표정 감정 인식 방법을 제안한다. 표정 감정 인식을 위해 원본 이미지 데이터에서 Yolo Face 모델을 활용하여 얼굴을 검출하였으며, 이미지 메타 정보를 기반으로 VGG 모델을 통해 연령과 성별을 분류한 다음 EfficientNet 모델을 활용하여 7가지 감정을 인식하였다. 메타 정보 기반 데이터 분류 모델과 전체 데이터로 학습한 모델을 비교한 결과 제안하는 데이터 분류 학습 모델의 정확도가 더 높았음을 확인하였다.