• 한국산학기술학회논문지
• /
• 제14권8호
• /
• pp.3992-3998
• /
• 2013

본 논문은 고음질의 대용량 코퍼스 기반 음성 합성기에 감정 음성 코퍼스를 추가하여 보다 다양한 합성음을 생성할 수 있는 방법에 관한 것이다. 파형 접합형 합성기에서 사용할 수 있는 형태로 감정 음성 코퍼스를 구축하여 기존의 일반 음성 코퍼스와 동일한 합성단위 선택과정을 통해 합성음을 생성할 수 있도록 구현하였다. 감정 음성 합성을 위해 태그를 사용하여 텍스트를 입력하고, 억양구 단위로 일치하는 데이터가 존재하는 경우 감정 음성으로 합성하고, 그렇지 않은 경우 일반 음성으로 합성하도록 하였다. 그리고 음성에서 운율을 구성하는 요소로 휴지기(break)가 있는데, 감정 음성의 휴지기는 일반 음성보다 불규칙한 특성이 있다. 따라서 합성기에서 생성되는 휴지기 정보를 감정 음성 합성에 그대로 사용하는 것이 어려워진다. 이 문제를 해결하기 위해 가변 휴지기(Variable break)[3] 모델링을 적용하였다. 실험은 일본어 합성기를 사용하였고, 그 결과 일반 음성의 휴지기 예측 모듈을 그대로 사용하면서 자연스러운 감정 합성음을 얻을 수 있었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권2호
• /
• pp.160-165
• /
• 2015

기존의 음성기반 감정인식 기술은 다양한 사용자로부터 수집된 데이터를 기반으로 범용적인 훈련 모델을 생성하고 이를 기반으로 감정을 인식한다. 이러한 음성기반 감정인식 모델링 기술은 개인 사용자의 음성특징을 정확히 고려하기 힘든 방법으로 개인마다 인식 정확도의 편차가 크다. 본 논문에서는 스마트폰 환경에서 프로프트 레이블링 기법을 활용하여 사용자에게 즉각적으로 감정을 피드백 받아 새로운 모델을 생성하여 적용하는 적응형 음성기반 감정인식 프레임워크를 제안한다. 실험을 통하여 제안하는 적응형 음성기반 감정인식 기법이 기존의 범용적인 모델을 사용하였을 때 보다 정확도가 크게 증가됨을 증명하였다.

• 한국음향학회지
• /
• 제40권5호
• /
• pp.515-522
• /
• 2021

음성감정인식을 위한 훈련 데이터는 감정 레이블링의 어려움으로 인해 충분히 확보하기 어렵다. 본 논문에서는 음성감정인식의 성능 개선을 위해 트랜스포머 기반 모델에 대규모 음성인식용 훈련 데이터를 통한 전이학습을 적용한다. 또한 음성인식과의 다중작업학습을 통해 별도의 디코딩 없이 문맥 정보를 활용하는 방법을 제안한다. IEMOCAP 데이터 셋을 이용한 음성감정인식 실험을 통해, 가중정확도 70.6 % 및 비가중정확도 71.6 %를 달성하여, 제안된 방법이 음성감정인식 성능 향상에 효과가 있음을 보여준다.

• 한국지능시스템학회논문지
• /
• 제20권5호
• /
• pp.683-687
• /
• 2010

본 논문에서는 인간의 감정 변화에 강인한 음성 인식 시스템을 구현하기 위하여 음성 변환 방법 중의 한가지인 주파수 와핑 방법을 사용한 연구를 수행하였다. 이러한 목표를 위하여 다양한 감정이 포함된 음성 데이터베이스를 사용하여 감정의 변화에 따라 음성의 스펙트럼이 변화한다는 것과 이러한 변화는 음성 인식 시스템의 성능을 저하시키는 원인 중의 하나임을 관찰하였다. 본 논문에서는 이러한 음성의 변화를 감소시키는 방법으로 주파수 와핑을 학습 과정에 사용하는 방법을 제안하여 감정 변화에 강인한 음성 인식 시스템을 구현하였고 성도 길이 정규화 방법을 사용한 방법과 성능을 비교하였다. HMM을 사용한 단독음 인식 실험에서 제안된 학습 방법은 사용하면 감정이 포함된 데이터에 대한 인식 오차가 기존 방법보다 감소되었다.

• 감성과학
• /
• 제2권2호
• /
• pp.53-66
• /
• 1999

현 연구에서는 음성합성의 기초자료 수집을 위하여 대화체 감정표현의 음성적인 패러미터를 찾아내려고 시도하였다. 이를 이하여 일단 가장 자주 사용되는 대화체 감정표현자료가 수집되었고 이들 표현을 발화할 때 가장 주의를 기울이는 발성의 특징들이 탐색되었다. 구어체적 감정표현의 타당한 데이터베이스를 작성하기 위하여 20대와 30대로 연령층을 구분하여 자료를 수집, 분석하였다. 그 결과 다양한 감정표현의 발화특성들은 음의 강도, 강도변화, 그리고 음색이 중요한 기준으로 작용하는 것으로 나타났다. 다차원분석 결과 산출된 20대와 30대의 음성표현이 도면은 개별정서들이 음성의 잠재차원 상에서 상당한 일관된 특징을 지님을 보여 주었다.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 1999년도 추계학술대회 논문집
• /
• pp.277-291
• /
• 1999

현 연구에서는 음성합성의 기초자료 수집을 위하여 대화체 감정표현의 음성적인 패러미터를 찾아내려고 시도하였다. 이를 위하여 일단 가장 자주 사용되는 대화체 감정 표현자료가 수집되었고 이들 표현을 발화할 때 가장 주의를 기울이는 발성의 특징들이 탐색되었다. 구어체적 감정표현의 타당한 데이타베이스를 작성하기 위하여 20대와 30로 연령층을 구분하여 자료를 수집, 분석하였다. 그 결과 다양한 감정표현의 발화특성들은 음의 강도, 강도변화, 그리고 음색이 중요한 기준으로 작용하는 것으로 나타났다. 다차원 분석 결과 산출된 20대와 30대의 음성표현의 도면은 개별정서들이 음성의 잠재차원 상에서 상당한 일관된 특징을 지님을 보여 주었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.939-941
• /
• 2021

사람은 표정, 음성, 말 등을 통해 감정을 표출한다. 본 논문에서는 화자의 음성데이터만을 사용하여 감정을 분류하는 방법을 제안한다. 멜 스펙트로그램(Mel-Spectrogram)을 이용하여 음성데이터를 시간에 따른 주파수 영역으로 변화한다. 멜 스펙트로그램으로 변환된 데이터를 CNN을 이용하여 특징 벡터화한 후 Bi-Directional LSTM을 이용하여 화자의 발화 시간 동안 변화되는 감정을 분석한다. 마지막으로 완전 연결 네트워크를 통해 전체 감정을 분류한다. 감정은 Anger, Excitement, Fear, Happiness, Sadness, Neutral로, 총 6가지로 분류하였으며 데이터베이스로는 상명대 연구팀에서 구축한 한국어 음성 감정 데이터베이스를 사용하였다. 실험 결과 논문에서 제안한 CNN-LSTM 모델의 정확도는 88.89%로 측정되었다.

• 한국음향학회지
• /
• 제40권5호
• /
• pp.523-529
• /
• 2021

본 논문에서는 감정 마크업을 포함하는 Speech Synthesis Markup Language(SSML) 처리기를 설계하고 개발하였다. 다양한 음색과 감정 표현이 가능한 음성합성 기술이 개발되고 있으며 다양한 음색 및 감정 음성합성의 응용 확대를 위하여 표준화된 음성 인터페이스 마크업 언어인 SSML을 감정 표현이 가능하도록 확장한 감정 SSML(Emotional SSML)을 설계하였다. 감정 SSML 처리기는 그래픽 사용자 인터페이스로 손쉽게 음색 및 감정을 원하는 텍스트 부분에 표시할 수 있는 다음색 감정 텍스트 편집기, 편집 결과를 감정 SSML 문서로 생성하는 감정 SSML 문서 생성기, 생성된 감정 SSML 문서를 파싱하는 감정 SSML 파서, 감정 SSML 파서의 결과인 다음색 감정 합성 시퀀스를 기반으로 합성기와 연동하여 음성 스트림의 합성 을 제어하는 시퀀서로 구성된다. 본 논문에서 개발한 다음색 감정합성을 위한 감정 SSML 처리기는 프로그래밍 언어 및 플랫폼 독립적인 개방형 표준인 SSML을 기반으로 하여 다양한 음성합성 엔진에 쉽게 연동할 수 있는 구조를 가지며 다양한 음색과 감정 음성합성이 필요한 다양한 응용 개발에 활용될 것으로 기대한다.

• 한국지능시스템학회논문지
• /
• 제14권2호
• /
• pp.150-155
• /
• 2004

본 논문에서는 사람의 음성속에 내포된 6가지 기본 감정(기쁨, 슬픔, 화남, 놀람, 공포, 혐오)의 특징을 추출하고 인식하고자 한다. 제안한 감정인식 알고리즘은 웨이블렛 필터뱅크를 이용하여 각각의 감정별 코드북을 만들고, 인식단계에서 필터뱅크별 감정을 확인한 후 최종적으로 다중의사결정기법에 의해 감정을 인식하는 구조로 이루어져 있다. 이와 같은 웨이블렛 필터뱅크와 다중의사 결정기법에 기반을 둔 알고리즘의 유용성을 보이기 위해 실험에 사용된 음성은 20명의 화자로부터 6가지의 감정을 대상으로 각각 3번씩 발음한 감정음성을 녹음하여 총 360개의 데이터베이스로 구성하고 실험하였다. 이와 같이 제안한 알고리즘은 기존의 연구에 비해 5% 이상 향상된 인식률을 보였다.

• 인터넷정보학회논문지
• /
• 제23권2호
• /
• pp.71-77
• /
• 2022

본 연구에서는 음성 합성 모델을 감정에 따라 음성을 합성하는 모델로 확장하고 감정에 따른 얼굴 표정을 생성하기 위한 데이터 베이스를 수집한다. 데이터베이스는 남성과 여성의 데이터가 구분되며 감정이 담긴 발화와 얼굴 표정으로 구성되어 있다. 성별이 다른 2명의 전문 연기자가 한국어로 문장을 발음한다. 각 문장은 anger, happiness, neutrality, sadness의 4가지 감정으로 구분된다. 각 연기자들은 한 가지의 감정 당 약 3300개의 문장을 연기한다. 이를 촬영하여 수집한 전체 26468개의 문장은 중복되지 않으며 해당하는 감정과 유사한 내용을 담고 있다. 양질의 데이터베이스를 구축하는 것이 향후 연구의 성능에 중요한 역할을 하므로 데이터베이스를 감정의 범주, 강도, 진정성의 3가지 항목에 대해 평가한다. 데이터의 종류에 따른 정확도를 알아보기 위해 구축된 데이터베이스를 음성-영상 데이터, 음성 데이터, 영상 데이터로 나누어 평가를 진행하고 비교한다.