• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.97-100
• /
• 2004

다중음성 합성시스템은 단일 화자의 음성을 입력받아 다양한 음색의 다중음성으로 합성을 해주는 음성합성 시스템이다. 기존의 다중음성 합성시스템의 출력인 다중 합성음은 피치만 변경된 음성으로 원 음성과 동일한 지속시간을 갖게 된다. 따라서 피치 변경된 음성간의 구분이 어렵게 되며 이러한 사항을 개선하고자 본 논문에서는 피치와 지속시간 변경에 의한 다중음성 합성시스템에서 관한 연구를 하였다. 본 논문에서는 시간 영역에서의 지속시간 변경법인 PSOLA방식을 적용하여 피치 변경된 음성의 지속시간을 변경하였다. 지속시간 변경을 적용한 다중음성 합성시스템을 이용하면 한 사람의 음원 목소리로 여러 사람이 응원하는 효과음을 낼 수 있는 합성기로 사용할 수 있고 영화의 효과음, 핸드폰의 음성 메시지 서비스 등에서 용이하게 사용될 것으로 예상하고 있다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.08a
• /
• pp.105-109
• /
• 1998

법칙 합성 시스템은 합성 단위, 합성기, 합성방식 등 여러 가지 다양한 시스템이 있으나 순수한 법칙 합성 시스템이 아니고 기본 합성 단위를 연결하여 합성음을 발생시키는 연결 합성 시스템은 연결 단위사이 그리고 문장 단위에서의 매끄러운 합성 계수의 변화를 구현하지 못해 자연감이 떨어지는 실정이다. 자연감에 영향을 끼치는 주요 원인중의 하나가 운율 법칙의 부정확한 구현이므로 자연음으로부터 추출한 운율에 관한 법칙을 알고리듬화하는 대신 신경망으로 하여금 이 운율 법칙을 학습하도록 하여 좀더 자연음의 운율에 근접한 운율을 발생시키고자 하였다. 신경망으로 운율을 발생시키기 위해 먼저 운율에 영향을 주는 요소들을 정해 신경망 입력 패턴을 선정해야 한다. 먼저 분절요인에 의한 영햐응ㄹ 고려해주기 위해 전후 3음소를 동시에 입력시키고 문장내에서의 구문론적인 영향을 고려해주기 위해 해당 음소의 문장내에서의 위치, 운율구에 관한 정보등을 신경망의 입력 패턴으로 구성하였다.

• The Journal of the Acoustical Society of Korea
• /
• v.8 no.5
• /
• pp.33-50
• /
• 1989

In this paper, musical tone, especially instrument tones are synthesized using nonlinear distortion technique. Nonlinear distortion is very simple but versatile method when you synthesize musical instrument tones. It basically consists of one sine oscillator and amplifier which makes distortion to Input wave. Output wave has many harmonics that can be controlled by varying shaping function, which is the transfer function of nonlinear amplifier. Shaping function Is obtained from the analyzed harmonic amplitude data. Given harmonics amplitudes, Chebyshev polynomial is used to produce the shaping function that exactly makes the given harmonics at steady state. We contructed non -real time nonlinear distortion synthesizer program running at IBM-PC. To quantify the satis faction of synthesised tones, listening test is carried out, and the result is presented.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04a
• /
• pp.273-276
• /
• 2002

본 논문에서는 Physical Modeling을 이용해 단소의 음을 합성해 내는 방법에 대해 연구 하였다. 현재 관 악기의 음 합성 방법은, Julius O. Smith가 제안한 digital waveguide모델을 근간으로 하여 여러 악기들의 소리를 합성하는 방법에 대해 연구 되고 있다. 본 논문에서는 digital waveguide모델을 사용하여 단소 관속의 움직임, two-port scattering model을 이용한 관속과 음공 사이의 공기의 움직임에 대해 기술하였고, reflection filter를 사용하여 단소 끝부분에서의 신호의 변화에 대해 연구 하였으며, 끝으로 관 내벽과 공기의 마찰에 의한 신호 손실에 대한 연구를 기술 하였다. 위에서 언급한 내용들의 연구결과를 토대로 음을 합성한 결과 실제 단소의 소리와 유사한 소리를 얻어 낼 수 있었다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.65-69
• /
• 1999

합성단위, 합성기, 합성방식 등에 따라 여러 가지 다양한 음성합성시스템이 있으나 순수한 법칙합성 시스템이 아니고 기본 합성단위를 연결하여 합성음을 발생시키는 연결합성 시스템은 연결단위사이의 매끄러운 합성계수의 변화를 구현하지 못해 자연감이 떨어지는 실정이다. 자연음에 존재하는 운율법칙을 정확히 구현하면 합성음의 자연감을 높일 수 있으나 존재하는 모든 운율법칙을 추출하기 위해서는 방대한 분량의 언어자료 구축이 필요하다. 일반 의미 문장으로부터 운율법칙을 추출하는 것이 바람직하겠으나, 모든 운율 현상이 포함된 언어자료는 그 문장 수가 극히 방대하여 처리하기 힘들기 때문에 가능하면 문장 수를 줄이면서 다양한 운율 현상을 포함하는 문장 군을 구축하는 것이 중요하다. 본 논문에서는 음성학적으로 균형 잡힌 고립단어 412 단어를 기반으로 의미문장들을 만들었다. 이들 단어를 각 그룹으로 구분하여 각 그룹에서 추출한 단어들을 조합시켜 의미 문장을 만들도록 하였다. 의미 문장을 만들기 위해 단어 목록에 없는 단어를 첨가하였다. 단어의 문장 내에서의 상대위치에 따른 운율 변화를 살펴보기위해 각 문장의 변형을 만들어 언어자료에 포함시켰다. 자연감을 높이기 위해 구축된 언어자료를 바탕으로 음성데이타베이스를 작성하여 운율분석을 통해 신경망을 훈련시키기 위한 목표패턴을 작성하였다 문장의 음소열을 입력으로 하고 특정음소의 운율정보를 발생시키는 신경망을 구성하여 언어자료를 기반으로 작성한 목표패턴을 이용해 신경망을 훈련시켰다. 신경망의 입력패턴은 문장의 음소열 중 11개 음소열로 구성된다. 이 중 가운데 음소의 운율정보가 출력으로 나타난다. 분절요인에 의한 영향을 고려해주기 위해 전후 5음소를 동시에 입력시키고 문장내에서의 구문론적인 영향을 고려해주기 위해 해당 음소의 문장내에서의 위치, 운율구에 관한 정보등을 신경망의 입력 패턴으로 구성하였다. 특정화자로 하여금 언어자료를 발성하게 한 음성시료의 운율정보를 추출하여 신경망을 훈련시킨 결과 자연음의 운율과 유사한 합성음의 운율을 발생시켰다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.453-455
• /
• 2020

본 논문은 시각 장애인을 위한 감정 음성 자막 서비스를 생성하는 종단 간(end-to-end) 감정 음성 합성 시스템(emotional text-to-speech synthesis system, TTS)의 음성 합성 속도를 높이면서도 합성음의 음질을 향상시키는 방법을 제안한다. 기존에 사용했던 전역 스타일 토큰(Global Style Token, GST)을 이용한 감정 음성 합성 방법은 다양한 감정을 표현할 수 있는 장점을 갖고 있으나, 합성음을 생성하는데 필요한 시간이 길고 학습할 데이터의 동적 영역을 효과적으로 처리하지 않으면 합성음에 클리핑(clipping) 현상이 발생하는 등 음질이 저하되는 양상을 보였다. 이를 보안하기 위해 본 논문에서는 새로운 데이터 전처리 과정을 도입하였고 기존의 보코더(vocoder)인 웨이브넷(WaveNet)을 웨이브알엔엔(WaveRNN)으로 대체하여 생성 속도와 음질 측면에서 개선됨을 보였다.

• The KIPS Transactions:PartA
• /
• v.18A no.1
• /
• pp.1-10
• /
• 2011

Physical modeling has been widely used for sound synthesis since it synthesizes high quality sound which is similar to real-sound for musical instruments. However, physical modeling requires a lot of parameters to synthesize a large number of sounds simultaneously for the musical instrument, preventing its real-time processing. To solve this problem, this paper proposes a single instruction, multiple data (SIMD) based multi-core processor that supports real-time processing of sound synthesis of gayageum which is a representative Korean traditional musical instrument. The proposed SIMD-base multi-core processor consists of 12 processing elements (PE) to control 12 strings of gayageum in which each PE supports modeling of the corresponding string. The proposed SIMD-based multi-core processor can generate synthesized sounds of 12 strings simultaneously after receiving excitation signals and parameters of each string as an input. Experimental results using a sampling reate 44.1 kHz and 16 bits quantization show that synthesis sound using the proposed multi-core processor was very similar to the original sound. In addition, the proposed multi-core processor outperforms commercial processors(TI's TMS320C6416, ARM926EJ-S, ARM1020E) in terms of execution time ($5.6{\sim}11.4{\times}$ better) and energy efficiency (about $553{\sim}1,424{\times}$ better).

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.255-258
• /
• 1999

본 논문에서는 파동 방정식으로부터 클래식 기타의 Physical 모델을 유도해 낸 후 이를 구현하였다. 이러한 모델을 이용해 별도의 음원 데이터를 사용하지 않고 현재 전자 음악에서 일반적으로 사용되는 table look-Up 방식보다 효율적으로 악기 음을 함성 할 수 있도록 하였다. 파동 방정식은 현의 장력, 길이 및 질량 데이터를 이용해 현의 움직임을 표현한 것이며 이 식으로부터 Fourier Series를 유도하고 다시 Z 변환을 거쳐 현의 운동을 모델링하였다. 이 과정에서 현의 양끝에서 반사되는 신호의 크기를 모델링에 포함 시켰다. 이러한 현의 모델은 모든 종류의 현악기에 공통으로 적용될 수 있으며 현의 장력 길이, 질량 데이터를 변화해 다양한 현의 특성들을 모델링 할 수 있다. 또 음 합성을 위해 현의 초기 상태 및 연속되는 입력 데이터를 바꿔 클래식 기타의 다양한 음들을 합성 할 수 있다. 클래식 기타의 Physical 모델을 평가하기 위해, 실제 악기 음 및 table look-up 방식으로 합성된 음들을 녹음해 서로 비교하였다. 시간 및 주파수 도메인 상에서 비교가 이뤄 졌으며 table look-up 합성 방식에서 모든 주파수대가 동일하게 감소하고 비슷한 음역에서 음 높이에 적합한 배음 주파수 비율을 조절할 수 없는 등, 각 을의 특성들을 정확히 묘사할 수 없는 문제점을 극복할 수 있었다.

• The Journal of the Acoustical Society of Korea
• /
• v.29 no.3
• /
• pp.191-199
• /
• 2010

Physical modeling is a synthesis method of high quality sound which is similar to real sound for musical instruments. However, since physical modeling requires a lot of parameters to synthesize sound of a musical instrument, it prevents real-time processing for the musical instrument which supports a large number of sounds simultaneously. To solve this problem, this paper proposes a single instruction multiple data (SIMD) parallel processor that supports real-time processing of sound synthesis of guitar, a representative plucked string musical instrument. To control six strings of guitar, we used a SIMD parallel processor which consists of six processing elements (PEs). Each PE supports modeling of the corresponding string. The proposed SIMD processor can generate synthesized sounds of six strings simultaneously when a parallel synthesis algorithm receives excitation signals and parameters of each string as an input. Experimental results using a sampling rate 44.1 kHz and 16 bits quantization indicate that synthesis sounds using the proposed parallel processor were very similar to original sound. In addition, the proposed parallel processor outperforms commercial TI's TMS320C6416 in terms of execution time (8.9x better) and energy efficiency (39.8x better).

• Proceedings of the IEEK Conference
• /
• 2001.09a
• /
• pp.465-468
• /
• 2001

MPEG-4 Parametric Coding 중 저 비트율로 음성신호를 부호화하는 HVXC(Harmonic Vector excitation Ending)의 복호화 모듈인 LSP 합성필터와 무성음 합성부, 유성음 합성부를 VHDL을 이용하여 구현하였다. MPEG-4 HVXC의 복호화 과정은 코드북을 이용하여 LSP 계수, VXC signal, 그리고 Spectral Envelop이 복호화 되어 각각 LSP 역필터, 무성음과 유성음 합성단을 통과하여 LPC계수와 유,무성음 여기신호로 변환된 후 LPC 합성필터링 과정을 거쳐 최종적으로 음성신호를 출력시킨다. LSP inverse filter에서 사용되는 cosine함수값을 위하여 Table based Approximation을 이용하여 적은 양의 Table 값을 사용하여 정확하고 고속의 cosine 연산을 수행하였다. VXC 복호화 과정에서는 신호의 중복성을 제거하는 Hidden Address in LSH 방법을 사용하여 코드북의 크기를 줄였다. 유성음 합성단에서는 IFFT 모듈을 이용하여 연산속도를 증가 시켰다. 최종적으로 위와 같이 구현된 시스템을 Simulation을 통해 Software 검증을 하였다.