• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.254-260
• /
• 2007

음성은 컴퓨터로 대변되는 기계와 사람 그리고 기계를 매개로 한 사람과 사람의 상호작용에서 가장 쉽고 직관적인 인터페이스로 널리 활용되고 있다. 인간에게 음성정보를 제공하는 음성합성 분야에서는 합성결과의 자연스러움과 인식성이 시스템의 주요 평가요소로 활용되고 있는데 이러한 자연스러움과 인식성은 합성결과의 정확성뿐만 아니라 발화환경이나 발화자의 발화특징 혹은 감정상태 등에 의해 많은 영향을 받게 된다. 담화표지는 문장의 명제 내용에는 직접 관여하지 않으면서 화자의 발화 의도나 심리적 태도를 전달하는 구성 요소를 말하는데 본 논문에서는 담화표지가 포함된 대화 음성 데이터를 수집하여 담화표지의 음성언어적인 특징을 분석하고 분석된 결과를 음성합성 시스템에 활용하는 표현방식에 대해 논의한다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.46 no.4
• /
• pp.76-81
• /
• 2009

We propose an effective emotion recognition algorithm based on the minimum classification error (MCE) incorporating multi-modal system The emotion recognition is performed based on a Gaussian mixture model (GMM) based on MCE method employing on log-likelihood. In particular, the reposed technique is based on the fusion of feature vectors based on voice signal and galvanic skin response (GSR) from the body sensor. The experimental results indicate that performance of the proposal approach based on MCE incorporating the multi-modal system outperforms the conventional approach.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.17 no.6
• /
• pp.1089-1094
• /
• 2022

In this paper, a human coexistence-type companion robot that can communicate with people in daily life and alleviate the gap in care personnel was studied. Based on the voice recognition module, servo motor, and Arduino board, a companion robot equipped with a robot arm control function using voice recognition, a position movement function using RC cars, and a voice recognition function was tested and manufactured. As a result of the experiment, the speech recognition experiment according to distance showed the optimal recognition rate at a distance of 5 to 30 cm, and the speech recognition experiment according to gender showed a higher recognition rate in the first tone, monotonous tone. Through the evaluation results of these motion experiments, it was confirmed that a companion robot could be made.

• The Journal of the Korea Contents Association
• /
• v.5 no.2
• /
• pp.147-155
• /
• 2005

In this paper, we present a FAES(a Facial Animation with Emotion and Speech) system for speech-driven face animation with emotions. We animate face cartoons not only from input speech, but also based on emotions derived from speech signal. And also our system can ensure smooth transitions and exact representation in animation. To do this, after collecting the training data, we have made the database using SVM(Support Vector Machine) to recognize four different categories of emotions: neutral, dislike, fear and surprise. So that, we can make the system for speech-driven animation with emotions. Also, we trained on Korean young person and focused on only Korean emotional face expressions. Experimental results of our system demonstrate that more emotional areas expanded and the accuracies of the emotional recognition and the continuous speech recognition are respectively increased 7% and 5% more compared with the previous method.

• Journal of the Korean Society for Precision Engineering
• /
• v.23 no.5 s.182
• /
• pp.68-76
• /
• 2006

The ability to recognize human emotion is one of the hallmarks of human-robot interaction. Hence this paper describes the realization of emotion recognition. For emotion recognition from voice, we propose a new feature called frequency range of meaningful signal. With this feature, we reached average recognition rate of 76% in speaker-dependent. From the experimental results, we confirm the usefulness of the proposed feature. We also define the noise environment and conduct the noise-environment test. In contrast to other features, the proposed feature is robust in a noise-environment.

• Annual Conference of KIPS
• /
• 2013.11a
• /
• pp.1517-1520
• /
• 2013

사용자 중심의 다양한 서비스를 제공하기 위해 음성을 통한 자동화된 감정 인식은 중요한 연구분야라고 할 수 있다. 앞선 연구에서는 감독학습과 비감독 학습을 결합하여 적용하였지만, 만족할만한 성능은 얻지 못했다. 이는 음성의 시간성을 고려하지 않은 학습방법의 사용하지 않았기 때문이다. 본 연구에서는 HMM(Hidden Markov Model)을 사용하여 학습하고 실험으로 검증하였다. 실험 결과는 기존의 방법들 보다 성능이 향상됨을 관찰할 수 있었다.

• Annual Conference of KIPS
• /
• 2012.11a
• /
• pp.468-471
• /
• 2012

음성을 통한 자동화된 감정 인식은 편리하고 다양한 서비스를 제공할 수 있어 중요한 연구분야라고 할 수 있다. 기계학습의 다양한 알고리즘을 사용하여 감정을 인식하는 연구가 진행되어 왔지만 그 성능은 아직 초보적 단계를 벋어나지 못하고 있는 실정이다. 앞선 연구에서 우리는 비감독 학습 방법으로 감성을 그룹화 하고 이것을 이용하여 다시 감독 학습을 하는 시스템을 소개 하였다. 본 연구에서 우리는 감독 학습 방법에서 사용했던 오류 역전파 알고리즘을 support vector machine(SVM) 으로 변경하고 몇 가지 구조를 변경하여 기능을 개선하였다. 실험을 통하여 성능을 측정하였으며 어느 정도 개선된 결과를 얻을 수 있었다.

• Review of KIISC
• /
• v.17 no.5
• /
• pp.25-31
• /
• 2007

IT기술과 지능을 로봇에 융합시킴으로써, 로봇이 스스로 사용자를 인식하여 사용자가 원하는 일을 하고 원하는 정보를 검색해 주는 인간 중심적 서비스를 제공하는 것이 지능형 로봇의 궁극적인 목표이다. 사용자가 원하는 서비스를 제공하기 위해서는 다양한 의사소통 채널을 통해 인간과 로봇, 두 개체간의 상호작용 및 의사소통 연결 고리를 형성하는 인간-로봇 상호작용(HRI: Human-Robot Interaction)기술 개발이 반드시 필요하다. HRI 기술에는 얼굴 인식, 음성 인식, 제스처 인식 및 감정 인식 등 로봇이 인간의 의사표시를 인식하기 위한 기술들이 있다. 본고에서는 지능형 로봇과 로봇의 시각 지능화의 가장 핵심적인 기능인 얼굴 인식의 융합 기술 동향에 대해서 응용 서비스 및 표준화 이슈를 중심으로 살펴보고자 한다.

• Annual Conference of KIPS
• /
• 2022.11a
• /
• pp.559-561
• /
• 2022

인공지능 시대에 들어서면서 개인 맞춤형 환경을 제공하기 위하여 사람의 감정을 인식하고 교감하는 기술이 많이 발전되고 있다. 사람의 감정을 인식하는 방법으로는 얼굴, 음성, 신체 동작, 생체 신호 등이 있지만 이 중 가장 직관적이면서도 쉽게 접할 수 있는 것은 표정이다. 따라서, 본 논문에서는 정확도 높은 얼굴 감정 식별을 위해서 Convolution Block Attention Module(CBAM)의 각 Gate와 Residual Block, Skip Connection을 이용한 Identity- CBAM Module을 제안한다. CBAM의 각 Gate와 Residual Block을 이용하여 각각의 표정에 대한 핵심 특징 정보들을 강조하여 Context 한 모델로 변화시켜주는 효과를 가지게 하였으며 Skip-Connection을 이용하여 기울기 소실 및 폭발에 강인하게 해주는 모듈을 제안한다. AI-HUB의 한국인 감정 인식을 위한 복합 영상 데이터 세트를 이용하여 총 6개의 클래스로 구분하였으며, F1-Score, Accuracy 기준으로 Identity-CBAM 모듈을 적용하였을 때 Vanilla ResNet50, ResNet101 대비 F1-Score 0.4~2.7%, Accuracy 0.18~2.03%의 성능 향상을 달성하였다. 또한, Guided Backpropagation과 Guided GradCam을 통해 시각화하였을 때 중요 특징점들을 더 세밀하게 표현하는 것을 확인하였다. 결과적으로 이미지 내 표정 분류 Task에서 Vanilla ResNet50, ResNet101을 사용하는 것보다 Identity-CBAM Module을 함께 사용하는 것이 더 적합함을 입증하였다.

• Annual Conference of KIPS
• /
• 2024.05a
• /
• pp.739-740
• /
• 2024

본 연구에서는 음성과 텍스트라는 두 가지 모달리티의 데이터를 효과적으로 결합함으로써, 감정 분류의 정확도를 향상시키는 새로운 멀티모달 모델 학습 방법을 제안한다. 이를 위해 음성 데이터로부터 HuBERT 및 MFCC(Mel-Frequency Cepstral Coefficients)기법을 통해 추출한 특징 벡터와 텍스트 데이터로부터 RoBERTa를 통해 추출한 특징 벡터를 결합하여 감정을 분류한다. 실험 결과, 제안한 멀티모달 모델은 F1-Score 92.30으로 유니모달 접근 방식에 비해 우수한 성능 향상을 보였다.