The Journal of the Convergence on Culture Technology (문화기술의 융합)

The International Promotion Agency of Culture Technology (국제문화기술진흥원)
권호 표지
DOI QR코드

DOI QR Code

A Korean Multi-speaker Text-to-Speech System Using d-vector

d-vector를 이용한 한국어 다화자 TTS 시스템

  • 김광현 (대전대학교 대학원 정보통신공학과) ;
  • 권철홍 (대전대학교 정보통신.전자공학과)
  • Received : 2022.03.17
  • Accepted : 2022.04.18
  • Published : 2022.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

To train the model of the deep learning-based single-speaker TTS system, a speech DB of tens of hours and a lot of training time are required. This is an inefficient method in terms of time and cost to train multi-speaker or personalized TTS models. The voice cloning method uses a speaker encoder model to make the TTS model of a new speaker. Through the trained speaker encoder model, a speaker embedding vector representing the timbre of the new speaker is created from the small speech data of the new speaker that is not used for training. In this paper, we propose a multi-speaker TTS system to which voice cloning is applied. The proposed TTS system consists of a speaker encoder, synthesizer and vocoder. The speaker encoder applies the d-vector technique used in the speaker recognition field. The timbre of the new speaker is expressed by adding the d-vector derived from the trained speaker encoder as an input to the synthesizer. It can be seen that the performance of the proposed TTS system is excellent from the experimental results derived by the MOS and timbre similarity listening tests.

딥러닝 기반 1인 화자 TTS 시스템의 모델을 학습하기 위해서 수십 시간 분량의 음성 DB와 많은 학습 시간이 요구된다. 이것은 다화자 또는 개인화 TTS 모델을 학습시키기 위해서는 시간과 비용 측면에서 비효율적 방법이다. 음색 복제 방법은 새로운 화자의 TTS 모델을 생성하기 위하여 화자 인코더 모델을 이용하는 방식이다. 학습된 화자 인코더 모델을 통해 학습에 사용되지 않은 새로운 화자의 적은 음성 파일로부터 이 화자의 음색을 대표하는 화자 임베딩 벡터를 만든다. 본 논문에서는 음색 복제 방식을 적용한 다화자 TTS 시스템을 제안한다. 제안한 TTS 시스템은 화자 인코더, synthesizer와 보코더로 구성되어 있는데, 화자 인코더는 화자인식 분야에서 사용하는 d-vector 기법을 적용한다. 학습된 화자 인코더에서 도출한 d-vector를 synthesizer에 입력으로 추가하여 새로운 화자의 음색을 표현한다. MOS와 음색 유사도 청취 방법으로 도출한 실험 결과로부터 제안한 TTS 시스템의 성능이 우수함을 알 수 있다.

Keywords

Acknowledgement

이 논문은 한국연구재단 지역대학 우수과학자 지원 사업(NRF-2020R1I1A3052136)에 의해 연구되었음

References

  1. A. J. Hunt and A. W. Black, "Unit selection in a concatenative speech synthesis system using a large speech database", Proceedings of the IEEE International Conference on Acoustics, Speech, Signal Processing (ICASSP) 1996, pp. 373-376, 1996, DOI: 10.1109/ICASSP.1996.541110
  2. C. H. Kwon, "Performance comparison of state-of-the-art vocoder technology based on deep learning in a Korean TTS system", The Journal of the Convergence on Culture Technology (JCCT), Vol. 6, No. 2, pp. 509-514, 2020, DOI: 10.17703/JCCT.2020.6.2.509
  3. M. S. Jo and C. H. Kwon, "A multi-speaker speech synthesis system using x-vector", The Journal of the Convergence on Culture Technology (JCCT), Vol. 7, No. 4, pp. 675-681, 2021, DOI:10.17703/JCCT.2021.7.4.675
  4. Y. Jia, Y. Zhang, R. Weiss, et al., "Transfer learning from speaker verification to multispeaker text-to-speech synthesis", ArXiv:https://arxiv.org/pdf/1806.04558.pdf, Jan. 2019
  5. A. Papir, I. Wan, Q. Wang, et al., "Generalized end-to-end loss for speaker verification", ArXiv: https://arxiv.org/pdf/1710.10467.pdf, Nov. 2020
  6. J. Shen, R. Pang, R. J. Weiss, et al., "Natural TTS synthesis by conditioning WaveNet on mel spectrogram predictions", Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2018, pp. 4779-4783, 2018, DOI: 10.1109/ICASSP.2018.8461368
  7. E. Elsen, N. Kalchbrenner, K. Simonyan, et al,, "Efficient neural audio synthesis", ArXiv. https://arxiv.org/pdf/1802.08435.pdf, June 2018.
  8. K. H. Kim, "A study on multi-speaker TTS using speaker recognition technology", Master Thesis, Graduate School of Daejeon Univ. 2022
  9. C. Jemine, "Real-time voice cloning", Master Thesis, Liege University, 2019
  10. Real-time Voice Cloning, https://github.com/CorentinJ/Real-Time-Voice-Cloning
  11. A. Nagrani, J. S. Chung, A. Zisserman, "VoxCeleb: A large-scale speaker identification dataset", Proceedings of the Interspeech 2017, pp. 2616-2620, 2017, DOI:10.1109/ICASSP.2018.8461375
  12. H. Zen, V. Dang, R. Clark, et al., "LibriTTS: A corpus derived from LibriSpeech for text-to-speech", Proceedings of the Interspeech 2019, pp. 1526-1530, 2019, DOI:10.21437/Interspeech.2019-2441
  13. J. W. Ha, K. H. Nam, J. Kang, et al., "ClovaCall: Korean goal-oriented dialog speech corpus for automatic speech recognition of contact centers", Proceedings of the Interspeech 2020, pp. 409-413, 2020, DOI:10.21437/Interspeech.2020-1136
  14. Zeroth-Korean, Korean open source speech corpus for speech recognition by Zeroth project, https://www.openslr.org/40/
  15. 한국전자통신연구원, 음성 학습 데이터, https://aiopen.etri.re.kr/service_dataset.php?category=voice
  16. Korean Forced Aligner, https://github.com/hyung8758/Korean_FA
  17. D. Povey, A. Ghoshal, G. Boulianne, et al., "The Kaldi speech recognition toolkit", Proceedings of the IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) 2011, 2011
  18. 한국지능정보사회진흥원, AI Hub, 한국어 자유 발화 음성 데이터, https://aihub.or.kr/aidata/105