• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.33-36
• /
• 2021

본 논문에서는 인간의 표정과 목소리를 기반으로 한 감정 분석기를 제안한다. 제안하는 분석기들은 수많은 인간의 표정 중 뚜렷한 특징을 가진 표정 7가지를 별도의 클래스로 구성하며, DNN 모델을 수정하여 사용하였다. 또한, 음성 데이터는 학습 데이터 증식을 위한 Data Augmentation을 하였으며, 학습 도중 과적합을 방지하기 위해 콜백 함수를 사용하여 가장 최적의 성능에 도달했을 때, Early-stop 되도록 설정했다. 제안하는 표정 감정 분석 모델의 학습 결과는 val loss값이 0.94, val accuracy 값은 0.66이고, 음성 감정 분석 모델의 학습 결과는 val loss 결과값이 0.89, val accuracy 값은 0.65로, OpenCV 라이브러리를 사용한 모델 테스트는 안정적인 결과를 도출하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.137-139
• /
• 2019

본 논문은 다양한 음성 특징과 텍스트를 이용한 멀티 모드 순환신경망 네트워크를 사용하여 음성을 통한 범주형(categorical) 분류 방법과 Arousal-Valence(AV) 도메인에서의 분류방법을 통해 감정인식 결과를 제시한다. 본 연구에서는 음성 특징으로는 MFCC, Energy, Velocity, Acceleration, Prosody 및 Mel Spectrogram 등의 다양한 특징들의 조합을 이용하였고 이에 해당하는 텍스트 정보를 순환신경망 기반 네트워크를 통해 융합하여 범주형 분류 방법과 과 AV 도메인에서의 분류 방법을 이용해 감정을 이산적으로 분류하였다. 실험 결과, 음성 특징의 조합으로 MFCC Energy, Velocity, Acceleration 각 13 차원과 35 차원의 Prosody 의 조합을 사용하였을 때 범주형 분류 방법에서는 75%로 다른 특징 조합들 보다 높은 결과를 보였고 AV 도메인 에서도 같은 음성 특징의 조합이 Arousal 55.3%, Valence 53.1%로 각각 가장 높은 결과를 보였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2004년도 추계학술대회 학술발표 논문집 제14권 제2호
• /
• pp.560-563
• /
• 2004

본 논문은 분노, 행복, 평정, 슬픔, 놀람 둥과 같은 인간의 감정상태를 인식하는 새로운 접근에 대해 설명한다. 이러한 시도는 이산길이를 포함하는 연속 은닉 마르코프 모델(HMM)을 사용함으로써 이루어진다. 이를 위해, 우선 입력음성신호로부터 감정의 특징 파라메타를 정의 한다. 본 연구에서는 피치 신호, 에너지, 그리고 각각의 미분계수 등의 운율 파라메타를 사용하고, HMM으로 훈련과정을 거친다. 또한, 화자적응을 위해서 최대 사후확률(MAP) 추정에 기초한 감정 모델이 이용된다. 실험 결과, 음성에서의 감정 인식률은 적응 샘플수의 증가에 따라 점차적으로 증가함을 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 춘계학술발표대회
• /
• pp.687-690
• /
• 2019

본 논문에서는 효과적인 감정인식을 위한 효과적인 특징 벡터를 생성한다. 이를 위해서 음성 데이터 셋 RAVDESS를 이용하였으며, 그 중 neutral, calm, happy, sad 총 4가지 감정을 나타내는 음성 신호를 사용하였다. 본 논문에서는 기존에 감정인식에 사용되는 MFCC1~13차 계수와 pitch, ZCR, peakenergy 중에서 효과적인 특징을 추출하기 위해 클래스 간, 클래스 내 분산의 비를 이용하였다. 실험결과 감정인식에 사용되는 특징 벡터들 중 peakenergy, pitch, MFCC2, MFCC3, MFCC4, MFCC12, MFCC13이 효과적임을 확인하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.449-450
• /
• 2022

반려견의 행동인식기술은 다양한 센서들에서 입력되는 반려견의 동작과 관련된 정보를 분석하고 해석하여 반려견이 어떤 행동을 취하고 있는지를 인식하는 기술이다. 음성인식기술은 컴퓨터가 청각 자료를 수집, 분석하여 훈련된 데이터와 비교를 통해 소리를 분류하는 기술이다. 본 논문에서는 딥러닝을 기반으로 행동인식기술과 음성인식기술을 적용하여 반려견의 감정을 판단하는 기법을 제안한다. 이러한 기법은 반려견의 감정을 쉽게 파악하여 반려견 보호자가 반려견의 행동과 감정에 대한 이해를 쉽고 빠르게 할 수 있으므로, 보호자에게 즐거운 반려 생활이 가능하도록 도움을 줄 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제29권9호
• /
• pp.79-87
• /
• 2024

본 연구는 청각 장애인의 의사소통 개선을 목표로, 음성 데이터에서 감정을 인식하고 분류하는 인공지능 모델을 개발하였다. 이를 위해 CNN-Transformer, HuBERT-Transformer, 그리고 Wav2Vec 2.0 모델을 포함하는 세 가지 주요 인공지능 모델을 활용하여, 사용자의 음성을 실시간으로 분석하고 감정을 분류한다. 음성 데이터의 특징을 효과적으로 추출하기 위해 Mel-Frequency Cepstral Coefficient(MFCC)와 같은 변환 방식을 적용, 음성의 복잡한 특성과 미묘한 감정 변화를 정확하게 포착하고자 하였다. 실험 결과, HuBERT-Transformer 모델이 가장 높은 정확도를 보임으로써, 음성기반 감정 인식 분야에서의 사전 학습된 모델과 복잡한 학습 구조의 융합이 효과적임을 입증하였다. 본 연구는 음성 데이터를 통한 감정 인식 기술의 발전 가능성을 제시하며, 청각 장애인의 의사소통과 상호작용 개선에 기여할 수 있는 새로운 방안을 모색한다는 점에서 의의를 가진다.

• 한국음향학회지
• /
• 제36권6호
• /
• pp.407-412
• /
• 2017

본 논문에서는 주목 메커니즘 기반의 심층 신경망을 사용한 음성 감정인식 방법을 제안한다. 제안하는 방식은 CNN(Convolution Neural Networks), GRU(Gated Recurrent Unit), DNN(Deep Neural Networks)의 결합으로 이루어진 심층 신경망 구조와 주목 메커니즘으로 구성된다. 음성의 스펙트로그램에는 감정에 따른 특징적인 패턴이 포함되어 있으므로 제안하는 방식에서는 일반적인 CNN에서 컨벌루션 필터를 tuned Gabor 필터로 사용하는 GCNN(Gabor CNN)을 사용하여 패턴을 효과적으로 모델링한다. 또한 CNN과 FC(Fully-Connected)레이어 기반의 주목 메커니즘을 적용하여 추출된 특징의 맥락 정보를 고려한 주목 가중치를 구해 감정인식에 사용한다. 본 논문에서 제안하는 방식의 검증을 위해 6가지 감정에 대해 인식 실험을 진행하였다. 실험 결과, 제안한 방식이 음성 감정인식에서 기존의 방식보다 더 높은 성능을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.821-823
• /
• 2016

본 논문은 다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템을 제안한다. 사용자의 얼굴 영상, 목소리 및 뇌파를 기반으로 각각 추출된 특징을 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 다차원 정서모델(Arousal, Valence, Dominance)에 대한 명시적 감응 정도 데이터로 대응하여 스코어링(Scoring)을 수행한다. 이후, 스코어링을 통해 나온 결과 값을 이용하여 다차원으로 구성되는 3차원 감정 모델에 매핑하여 인간의 감정(단일감정, 복합감정)뿐만 아니라 감정의 세기까지 인식한다.

• 한국음향학회지
• /
• 제23권3호
• /
• pp.235-241
• /
• 2004

본 논문은 화자 및 문장 독립적 감정 인식을 위한 특징 파라메터와 패턴인식 알고리즘에 관하여 연구하였다. 본 논문에서는 기존 감정 인식 방법과의 비교를 위하여 KNN을 이용한 알고리즘을 사용하였고, 화자 및 문장 독립적 감정 인식을 위하여 VQ와 GMM을 이용한 알고리즘을 사용하였다. 그리고 특징으로 사용한 음성 파라메터로 피치, 에너지, MFCC, 그리고 그것들의 1, 2차 미분을 사용하였다. 실험을 통해 피치와 에너지 파라메터를 사용하였을 때보다 MFCC와 그 미분들을 특징 파라메터로 사용하였을 때 더 좋은 감정 인식 성능을 보였으며, KNN과 VQ보다 GMM을 기반으로 한 인식 알고리즘이 화자 및 문장 독립적 감정 인식 시스템에서 보다 적합하였다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.174-180
• /
• 2024

본 논문에서는 wav2vec 2.0과 KcELECTRA 모델을 활용하여 멀티모달 학습을 통한 감정 분류 방법을 탐색한다. 음성 데이터와 텍스트 데이터를 함께 활용하는 멀티모달 학습이 음성만을 활용하는 방법에 비해 감정 분류 성능을 유의미하게 향상시킬 수 있음이 알려져 있다. 본 연구는 자연어 처리 분야에서 우수한 성능을 보인 BERT 및 BERT 파생 모델들을 비교 분석하여 텍스트 데이터의 효과적인 특징 추출을 위한 최적의 모델을 선정하여 텍스트 처리 모델로 활용한다. 그 결과 KcELECTRA 모델이 감정 분류 작업에서 뛰어난 성능이 보임을 확인하였다. 또한, AI-Hub에 공개되어 있는 데이터 세트를 활용한 실험을 통해 텍스트 데이터를 함께 활용하면 음성 데이터만 사용할 때보다 더 적은 양의 데이터로도 더 우수한 성능을 달성할 수 있음을 발견하였다. 실험을 통해 KcELECTRA 모델을 활용한 경우가 정확도 96.57%로 가장 우수한 성능을 보였다. 이는 멀티모달 학습이 감정 분류와 같은 복잡한 자연어 처리 작업에서 의미 있는 성능 개선을 제공할 수 있음을 보여준다.