• 제목/요약/키워드: 합성된 음성

검색결과 696건 처리시간 0.046초

RawNet3를 통해 추출한 화자 특성 기반 원샷 다화자 음성합성 시스템 (One-shot multi-speaker text-to-speech using RawNet3 speaker representation)

  • 한소희;엄지섭;김회린
    • 말소리와 음성과학
    • /
    • 제16권1호
    • /
    • pp.67-76
    • /
    • 2024
  • 최근 음성합성(text-to-speech, TTS) 기술의 발전은 합성음의 음질을 크게 향상하였으며, 사람의 음성에 가까운 합성음을 생성할 수 있는 수준에 이르렀다. 특히, 다양한 음성 특성과 개인화된 음성을 제공하는 TTS 모델은 AI(artificial intelligence) 튜터, 광고, 비디오 더빙과 같은 분야에서 널리 활용되고 있다. 따라서 본 논문은 훈련 중 보지 않은 화자의 발화를 사용하여 음성을 합성함으로써 음향적 다양성을 보장하고 개인화된 음성을 제공하는 원샷 다화자 음성합성 시스템을 제안했다. 이 제안 모델은 FastSpeech2 음향 모델과 HiFi-GAN 보코더로 구성된 TTS 모델에 RawNet3 기반 화자 인코더를 결합한 구조이다. 화자 인코더는 목표 음성에서 화자의 음색이 담긴 임베딩을 추출하는 역할을 한다. 본 논문에서는 영어 원샷 다화자 음성합성 모델뿐만 아니라 한국어 원샷 다화자 음성합성 모델도 구현하였다. 제안한 모델로 합성한 음성의 자연성과 화자 유사도를 평가하기 위해 객관적인 평가 지표와 주관적인 평가 지표를 사용하였다. 주관적 평가에서, 제안한 한국어 원샷 다화자 음성합성 모델의 NMOS(naturalness mean opinion score)는 3.36점이고 SMOS(similarity MOS)는 3.16점이었다. 객관적 평가에서, 제안한 영어 원샷 다화자 음성합성 모델과 한국어 원샷 다화자 음성합성 모델의 P-MOS(prediction MOS)는 각각 2.54점과 3.74점이었다. 이러한 결과는 제안 모델이 화자 유사도와 자연성 두 측면 모두에서 비교 모델들보다 성능이 향상되었음을 의미한다.

TTS를 이용한 음성지원 일정관리 시스템의 구현 (Implementation of Voice Support Calendar Management System Using TTS)

  • 이세환;김봉현;김승연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.501-504
    • /
    • 2006
  • 본 논문에서는 텍스트로 구성된 문서에 대한 음성 변환 시스템의 각 분야에 대해 기술하고, 음성합성 기술인 TTS기반의 음성지원 일정관리 시스템 설계 및 구현 부분에 대하여 설계한다. 이를 위해서 음성합성 기술의 개념 및 원리와 구조 등을 이해하고, 시스템 설계 및 구현을 하고자 한다. 시스템 설계 구현부에는 Speech SDK 5.1(음성합성엔진)을 사용하여 음성합성 기술부분을 처리하고, 이를 바탕으로 C# 언어를 사용하여 구현한다. 기존 텍스트기반의 일정관리 시스템 설계 부분에다가 음성합성 기능을 추가하여 텍스트의 지루함을 탈피하고, 음성 기술을 접목시켰다. 본 논문에 사용되는 엔진은 영문위주의 음성합성이므로 시스템 설계 부분에 있어 음성처리 부분을 영문으로 하여 결과물을 산출하였다. 최종적으로 실험에 의해 제안한 방법의 유용성을 입증한다.

  • PDF

ETRI신기술-확장 합성단위 기반 한국어 음성합성기 기술

  • 한국전자통신연구원
    • 전자통신동향분석
    • /
    • 제14권3호통권57호
    • /
    • pp.127-128
    • /
    • 1999
  • 확장 합성단위 기반 한국어 음성합성장치는 통상의 문자로 쓰여진 텍스트를 인간이 소리내어 읽듯이 기계에 의해 자동적으로 음성을 합성하는 시스템이다. 이 시스템은 1995년부터 수행하고 있는 "다중 매체 환경 하에서의 대화체 음성번역 통신 기술개발" 사업의 연구 결과물 중 하나로 1997년도에 개발되어 학습형 자동합성단위 생성기 및 영역의존 음성합성기 기술을 전수할 예정이다.

  • PDF

가변합성단위를 사용한 문서 음성 변환 시스템 (Text-to-Speech System Using Variable Synthesis Units)

  • 조관선;이철희
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1998년도 학술대회
    • /
    • pp.99-102
    • /
    • 1998
  • 본 논문에서는 자연스러운 음성을 합성하기 위해 가변합성단위를 사용한 합성시스템을 제안한다. 음소나 diphone과 같은 작은 단위를 사용하는 기존의 시스템은 음성세그먼트 연결시 접속점이 많아지는 단점이 있다. 반면에 단어나 복합음소와 같이 큰 단위를 사용할 경우 접속점의 수가 감소하여 음질이 향상되지만 단위수 증가로 무제한 합성이 어려워진다. 이러한 문제를 해결하기 위하여 본 논문에서는 접속점의 수를 줄이고 적정한 크기의 메모리로 향상된 음질을 얻기 위한 방법으로 어절 및 CVC와 같은 큰 단위와 반음절과 같은 작은 단위를 선택적으로 사용하여 음성을 합성한다. 실험은 특정문장을 대상으로 각각 반음절, CVC로 합성한 음성과 이들을 어절과 혼합하여 합성한 음성을 비교하였으며 그 결과 가변단위를 사용하여 합성한 음성이 비교적 자연스러움을 알 수 있었다.

  • PDF

FVQ(Fuzzy Vector Quantization) 사상화에 의한 화자적응 음성합성 (Speaker-Adaptive Speech Synthesis by Fuzzy Vector Quantization Mapping)

  • 이진이;이광형
    • 한국지능시스템학회논문지
    • /
    • 제3권4호
    • /
    • pp.3-20
    • /
    • 1993
  • 본 연구에서는 퍼지사상화(fuzzy mapping)에 의한 사상된(mapped) 코드북을 사용하는 화자적은 음성합성 알고리즘을 제안한다. 입력화자와 기준화자의 코드북은 신경망 클러스터링 알고리즘인 자율경쟁 학습을 사용하여 작성된다. 사상된 코드북은 입력 음성벡터에 대한 두 화자의 대응 코드벡터의 소속갑(membership value)으로 퍼지 히스토그랩을 작성하여 이들을 1차 결합함으로써 얻어지는 퍼지사상화에 의하여 작성된다. 음성합성시에는 사상된 코드북을 사용하여 입력화자의 음것을 퍼지 벡터양자화한 다음, CFM 연산으로 합성함으로써 입력화자에 적응된 합성음을 얻는다. 실험에서 여러 입력화자로 30대의 남성, 20대의 여성음을 사용하였고 기준음석으로 입력음성과는 다른 20대의 여성음성을 사용하였다.실험에 사용된 음성데이타는 문장/안녕하십니까/와/굿모닝/이다. 실험결과는 각각의 입력화자에 기준화자 음성이 적응된 합성음을 얻었다.

  • PDF

음성정보기술산업지원센터의 음성 코퍼스 구축 현황 및 계획 (Current States and Future Plans for Speech Corpora at SITEC)

  • 김봉완;이용주
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2002년도 하계학술발표대회 논문집 제21권 1호
    • /
    • pp.49-52
    • /
    • 2002
  • 최근 컴퓨터와 인간간의 대화 수단으로 음성을 활용하는 기술인 음성정보기술이 발달함에 따라 대어휘 연속 음성 인식 및 무제한 어휘 음성 합성의 고도화를 위한 연구가 진행되고 있다. 음성합성의 경우에도 최근 대형의 음성 데이터 베이스로부터 임의 길이의 음성 부분을 골라내어 접속함으로써 좋은 합성 품질을 얻고 있다. 따라서 이러한 연구에 사용될 음성 코퍼스에 관한 요구와 관심이 높아지고 있다. 본 논문에서는 음성정보기술산업지원센터(SITEC)에서 구축중인 음성 코퍼스의 현황과 향후 계획에 관하여 보고한다. 방음실환경에서의 인식 및 합성 연구용 코퍼스, 아동용 음성 코퍼스, Dictation용 음성 코퍼스, 자동차내 소음 및 음성 코퍼스 등의 구축 내용이 소개된다.

  • PDF

개선된 스펙트럼 스무딩을 이용한 다이폰 클러스터링 기반의 연결 음성합성 (Concatenative Speech Sythesis based on Diphone Clustering using improved spectral smoothing)

  • 장효종;김계영;최형일
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.499-501
    • /
    • 2002
  • 최근의 합성음성단위 연결을 통한 음성합성 방법의 잘 알려진 문제점은 연결 부분에서 불연속이 발생한다는 것이다. 본 논문에서는 음성을 합성할 때 나타나는 스펙트럼의 불연속을 제거하기 위하여 개선된 스펙트럼 스무딩 방법을 제안한다. 그리고 보다 좋은 스무딩의 결과를 얻기 위하여 음성합성의 단위로는 문맥에 민감한 클러스터링된 다이폰을 사용한다. 스무딩 방법에서는 연결 구간에서의 다이폰 바운더리에서의 양쪽 스펙트럼의 분포를 고려하여 시간에 따라 가중치를 다르게 주어 스무딩을 수행한다. 또한 가중치를 결정할 때 비선형 함수인 B-Spline함수를 사용하여 스무딩을 수행하여 보다 자연스러운 스펙트럼을 생성 할 수 있었다.

  • PDF

비대칭 weighting을 사용한 음성 피치변경법 (On a pitch alteraton of speech technique using the asymmetry weighting)

  • 함명규;나덕수;정찬중;배명진
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1998년도 하계종합학술대회논문집
    • /
    • pp.615-618
    • /
    • 1998
  • 음성부호화의 주요목적은 대역 제한된 전송 대역폭에 전송을 하기위한 음성압축, 명료성과 자연성을 유지하는 고음질 음성합성, 그리고 처리 속도등의 요소에 따라 달라진다. 일반적으로 음성 부호화 방법은 파형 부호화범, 신호원 부화화법, 그리고 혼성 부호화법으로 나누어질 수 있다. 이러한 방법으로 전송되어진 음성은 다시 합성을 하게되는데, 이때 고음질을 유지할 수 있는 PSOLA법을 사용하였다. 본 논문에서 제안한 방법으로 전송되어진 음성은 다시 합성을 하게되는데, 이때 고음질에 유지 할 수 있는 PSOLA법을 사용하였다. 본 논문에서 제안한 방법은 기존의 PSOLA 합성법에서 사용되어지는 hanning 윈도우가 음성이 갖는 golttal wave shape의 특성에 적합하지 않다는 것을 이용하여 기존의 hanning 윈도우가 아닌 비대칭성을 가진 새로운 형태의 비대칭 윈도우(asymmetry window)를 제안하였다. 비대칭 윈도우의 형태는 위도우를 중심으로 왼쪽편은 기울기가 심하고, 오른쪽은 기울기가 완만하여 음성의 기울기에 적합한 웨이팅을 갖는 형태이다. 제안한 비대칭 윈도우를 사용하여 PSOLA 합성을 하였을 경우 SNR 2~3dB 정도 향상되었음을 알 수 있다.

  • PDF

정현파 모델을 이용한 2.4kbps 음성부호화 알고리즘 (2.4kbps Speech Coding Algorithm Using the Sinusoidal Model)

  • 백성기;배건성
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 제13회 신호처리 합동 학술대회 논문집
    • /
    • pp.123-126
    • /
    • 2000
  • STC(Sinusoidal Transform Coding) 방식은 음성신호의 주파수 영역에서 스펙트럼 피크치들을 정현파로 모델링하여 합성하는 방식을 말한다. 저전송률 STC 방식에서는 전송되는 정보량을 줄이기 위해 스펙트럼 피크를 대신해 음성신호의 스펙트럼 포락선 정보와, 피치정보를 이용하여 얻어지는 고조파 성분들을 정현파로 모델링하여 음성을 합성한다. 본 논문에서는 음성신호의 정현파 모델에 기반하여 2.4kbps 전송속도를 갖는 음성부호화 알고리즘을 제안하였으며, 실험결과로 합성음의 파형과 스펙트럼 특성, 위상특성, 그리고 MOS(Mean Opinion Score) 테스트를 이용한 합성음의 음질을 비교/분석 하였다.

  • PDF