• 제목/요약/키워드: Prosodic Characteristics

검색결과 68건 처리시간 0.024초

Knowledge-driven speech features for detection of Korean-speaking children with autism spectrum disorder

  • Seonwoo Lee;Eun Jung Yeo;Sunhee Kim;Minhwa Chung
    • 말소리와 음성과학
    • /
    • 제15권2호
    • /
    • pp.53-59
    • /
    • 2023
  • Detection of children with autism spectrum disorder (ASD) based on speech has relied on predefined feature sets due to their ease of use and the capabilities of speech analysis. However, clinical impressions may not be adequately captured due to the broad range and the large number of features included. This paper demonstrates that the knowledge-driven speech features (KDSFs) specifically tailored to the speech traits of ASD are more effective and efficient for detecting speech of ASD children from that of children with typical development (TD) than a predefined feature set, extended Geneva Minimalistic Acoustic Standard Parameter Set (eGeMAPS). The KDSFs encompass various speech characteristics related to frequency, voice quality, speech rate, and spectral features, that have been identified as corresponding to certain of their distinctive attributes of them. The speech dataset used for the experiments consists of 63 ASD children and 9 TD children. To alleviate the imbalance in the number of training utterances, a data augmentation technique was applied to TD children's utterances. The support vector machine (SVM) classifier trained with the KDSFs achieved an accuracy of 91.25%, surpassing the 88.08% obtained using the predefined set. This result underscores the importance of incorporating domain knowledge in the development of speech technologies for individuals with disorders.

따라말하기 과제를 통한 자폐범주성 장애 아동과 일반 아동의 평서문과 의문문의 음향학적 특성 비교 (A study of the prosodic patterns of autism and normal children in the imitating declarative and interrogative sentences)

  • 이진형;성철재
    • 말소리와 음성과학
    • /
    • 제12권2호
    • /
    • pp.39-49
    • /
    • 2020
  • 언어의 운율은 억양, 리듬, 강세로 구성되어 있고 운율 요소는 상호 복합적인 작용을 통하여 언어의 고유한 리듬을 형성한다. 자폐범주성 장애 아동은 자연스러운 운율 학습에 어려움이 있어 정확한 의미와 정보 전달에 어려움이 있어 자폐범주성 장애 아동의 운율에 대한 연구가 중요하다. 평서문과 의문문 따라말하기 과제를 통하여 자폐범주성 장애 아동 집단과 일반 아동 집단 간의 운율 특성 차이를 구명하고 어말 길이에 따라 의문문에서의 음도기울기와 청자와의 지각관계를 알아보았다. 7-12세 일반 아동 30명, 자폐범주성 장애 아동 20명을 대상으로 언어 평가 후 20문장 따라말하기 과제를 실시하였다. 청지각 과제로는 115문장이 사용되었다. 자폐범주성 장애 아동이 일반 아동에 비해 음도와 강도가 높고, 발화속도가 느리며 음도 기울기가 낮았다. 자폐범주성 장애 아동은 평서문과 의문문의 산출에서 음도와 강도에 유의한 차이를 보이지 않았다. 자폐범주성 장애 아동은 의문문 1음절에서 평서문과 가장 큰 기울기 차이를 보였으며 5음절 의문문 산출에서 가장 낮은 기울기 값을 보였다. 청지각 평가 결과 청자는 4.3%만 자폐범주성 장애 아동의 의문문을 의문문으로 지각하였다. 결과적으로 평서문과 의문문 따라말하기에서 자폐범주성 장애아동이 일반 아동에 비해 음도와 강도가 높고, 발화속도가 느리며, 낮은 음도기울기를 보였다. 이러한 운율패턴 때문에 청자는 의문문을 평서문으로 인식하였고 원인은 규명되지 않았지만 화용능력이나 다른 자폐적 특징의 결함과 관련이 있다고 할 수 있다. 본 연구에서는 자폐범주성 장애 아동의 이러한 억양 패턴을 확인하였고 운율 개선을 위한 치료 개발의 필요성을 제시했다.

분산 시간지연 회귀신경망을 이용한 피치 악센트 자동 인식 (Automatic Recognition of Pitch Accent Using Distributed Time-Delay Recursive Neural Network)

  • 김성석
    • 한국음향학회지
    • /
    • 제25권6호
    • /
    • pp.277-281
    • /
    • 2006
  • 본 논문에서는 시간지연 회귀신경회로망을 이용한 음절 레벨에서의 피치 악센트 자동 인식 방법을 제안한다. 시간지연 회귀 신경회로망은 두 종류의 동적 문맥정보를 표현한다. 시간지연 회귀신경회로망의 시간지연 입력 노드는 시간 축 상의 피치 및 에너지 궤도를 표현하고, 회귀 노드는 피치 악센트의 특성을 반영하는 문맥 정보를 표현한다. 본 논문에서는 이러한 시간지연 회귀신경회로망을 두 가지 형태로 구성하여 피치 악센트 자동 인식에 적용한다. 하나의 형태는 단일 시간지연 회귀 신경회로망에서 복수 개의 운율 특정파라미터 (피치, 에너지, 지속시간)를 입력 노드에 함께 공급하여 피치 악센트 인식을 수행하고, 다른 하나는 분산 시간지연 회귀 신경회로망을 이용하여 피치 악센트 인식을 수행한다. 분산 시간지연 회귀 신경회로망은 여러 개의 시간지연 회귀 신경회로망으로 구성되고, 각 시간지연 회귀 신경회로망은 단일 운율 특징 파라미터만으로 학습된다. 분산 시간지연 회귀 신경회로망의 인식결과는 개별 시간지연 회귀 신경회로망의 출력 값의 가중치 합으로 결정된다. 화자 독립 피치 악센트 인식 실험을 위해 보스톤 라디오 뉴스 코퍼스 (BRNC)를 사용하였다. 실험결과, 분산 시간지연 회귀 신경회로망은 83.64%의 피치 악센트 인식률을 보였다.

언어재활을 위한 한국어의 음향적 분석과 선율화 (Acoustic Analysis and Melodization of Korean Intonation for Language Rehabilitation)

  • 최진희;박정미
    • 인간행동과 음악연구
    • /
    • 제21권1호
    • /
    • pp.49-68
    • /
    • 2024
  • 본 연구의 목적은 한국어의 특성을 음향학적으로 분석하고, 해당 분석 결과를 음악적 요소로 변환하여 생성된 선율의 예시를 제시함으로써, 근거 기반 음악-언어재활 프로그램 개발을 위한 기초 자료를 마련하는 데 있다. 이를 위해 19-25세의 남성과 여성 각각 30명으로부터 3음절의 두 강세구로 이루어진 6음절 한국어의 음성자료를 수집하였으며, 평서문과 의문문을 포함하였다. 이를 Praat 프로그램으로 분석하여 음절별로 음향적 속성을 추출하고, 각 음향적 속성, 문장 유형, 성별, 조사의 유무에 대한 통계분석을 실시하였다. 분석 결과 강세구, 억양구에 따라 각 음절의 주파수와 지속시간에 유의미한 차이가 발견되었고(p < .001), 의문문이 평서문보다 주파수가 유의미하게 높았으며(p < .001), 평서문이 유의미하게 긴 경향을 보였다(p < .001). 여성 집단이 남성 집단보다 주파수가 유의미하게 높았으며(p < .001), 지속시간도 유의미하게 긴 경향을 보였다(p < .001). 또한 조사인 음절의 강도가 유의미하게 세게 나타났다(p < .001). 마지막으로 본 연구에서는 문장 유형, 성별, 조사의 유무에 따라 나타난 음향적 속성을 음악적 요소인 음고, 음가, 악센트로 변환한 선율들을 악보로 제시하였다. 본 연구에서는 6음절 한국어문장을 대상으로 한 분석을 제시하였으며, 이 연구를 통해 얻은 통찰을 바탕으로 후속 연구에서는 대규모 한국어 음성 데이터의 선율화 시스템 개발 연구를 진행하려 하며, 이는 음악을 활용한 언어재활 분야의 기초 자료로서 중요한 역할을 할 수 있을 것으로 기대한다.

연속 음성으로부터 추출한 CVC 음성세그먼트 기반의 음성합성 (Speech Synthesis Based on CVC Speech Segments Extracted from Continuous Speech)

  • 김재홍;조관선;이철희
    • 한국음향학회지
    • /
    • 제18권7호
    • /
    • pp.10-16
    • /
    • 1999
  • 본 논문에서는 설계하지 않은 연속 음성 코퍼스로부터 추출된 CVC 음성 세그먼트를 사용하는 연결 기반 음성 합성기를 제안한다. 연속 음성은 각 음운간의 상호조음효과가 비교적 잘 반영되고, 자연스러운 억양 변화를 포함하고 있으므로 이를 적절하게 활용할 수 있는 합성 단위를 선택하면 자연스런 음성합성이 가능하다. 여러 가지 합성단위 가운데 CVC 합성 단위는 자음의 안정 부분에서 접속이 일어나므로 연결부에서의 음질 저하가 적고, 전후 자음과 모음간의 조음 현상을 잘 반영하는 장점이 있다. 본 논문에서는 CVC 합성 단위를 사용하는 경우 나타나는 문장 세그먼트들의 조합을 4가지로 분류하여 각각의 통계적 특성과 합성음성의 품질을 분석하고, CVC에 근거한 새로운 복합 합성 단위를 사용하는 방식을 제안한다. 제안된 방식을 사용하여 설계하지 않은 연속 음성 코퍼스로부터 CVC 음성 세그먼트를 추출하여 다양한 예제 문장을 합성하였다. 만일 필요한 CVC 음성 세그먼트가 음성 코퍼스에 존재하지 않는 경우 반음절 음성 세그먼트로 대치하여 합성하였다. 실험 결과 약 100 Mbytes의 연속 음성 코퍼스로 비교적 자연스러운 음성합성이 가능함을 알 수 있었다.

  • PDF

직교 벡터 공간 변환을 이용한 음성 개성 변환 (Voice personality transformation using an orthogonal vector space conversion)

  • 이기승;박군종;윤대희
    • 전자공학회논문지B
    • /
    • 제33B권1호
    • /
    • pp.96-107
    • /
    • 1996
  • 본 논문에서는 직교 벡터 공간 변환을 이용한 새로운 음성 개성 변환 알고리즘을 제안하였다. 음성 개성 변환이란 임의 환자(source)가 가지고 있는 몇 개의 특징 변수를 다른 화자(target)의 특징 변수로 변환하는 기법이다. 본 논문에서는 LPC 켑스트럼 계수와 여기 신호의 스펙트럼, 그리고 피치 궤적을 변환하여 음성 개성변환을 구현하였다. LPC 켑스트럼 계수의 변환을 위해 직교 벡터 공간 변환 기법이 제안되었다. 이 기법은 KL(Karhunen-Loeve)변환을 이용한 principle component의 분리와 최소 자승 오차를 갖는 선형 좌표 변환을 통해 LPC 켑스트럼의 변환을 수행한다. 또한, 화자간의 운율적인 특징을 변환하기 위해 피치 궤적 변환 기법이 제안되었다. 피치 궤적 변환을 위하여 먼저 두 화자간의 기준 피치 패턴의 작성하고 기준 패턴간의 대응 관계를 추정한 후 이를 이용하여 source 화자의 피치 패턴이 target 피치 패턴으로 변환되도록 하였다. 컴퓨터를 이용한 모의 실험 결과 제안된 알고리즘은 객관적인 평가와 주관적인 평가에 있어서 우수한 성능을 나타내었다.

  • PDF

한국어 초점 발화 시 우반구 손상인의 초점 운율 특성 (Characteristics of Right Hemispheric Damaged Patients in Korean Focused Prosodic Sentences)

  • 이명순;박현
    • 재활치료과학
    • /
    • 제8권3호
    • /
    • pp.69-81
    • /
    • 2019
  • 목적: 본 연구의 목적은 우반구 손상인에게 대조 초점의 중의성 문장에 대한 운율 특성을 알아보고자 하였다. 연구방법: 본 연구는 본 연구는 초점 운율을 조사하기 위해서 강도, F0, 지속시간 등의 음향학적 매개변수를 검사하였다. 정상인과 우반구 손상인의 모든 구어 샘플은 Praat 4.3.14로 분석하였으며 SPSS 18.0을 사용하여 독립 t-test를 통해 자료를 분석하였다. 결과: 본 연구의 결과는 다음과 같다. 첫째, 첫음절의 강도는 집단 간 유의미한 차이를 나타내었다. 둘째, F0은 모든 집단에서 유의미한 차이를 나타내었다. 셋째, 지속시간은 모든 집단에서 유의미한 차이를 나타내었다. 결론: 강도, 지속시간, F0는 모두 구조적 화용적 의미를 강조하는 데 있어서 운율의 요소로써 사용되지만, 초점에 따라서 강도와 지속시간은 F0와 연관성이 있었다. 그에 비해 F0는 언어학적으로도 유의미한 차이가 있었지만 손상인과 정상인 간에도 유의미한 차이가 있었기 때문에 F0는 우반구 손상인의 운율적 평가의 변별 요인이 될 수 있으며 차후의 연구를 통해 더 강력한 증거를 축적할 필요가 있을 것이다.

북한이탈주민의 문장 읽기 억양 특성-음도범위와 청지각적 평가를 중심으로 (The characteristics of sentence reading intonations in North Korean defectors based on pitch range and an auditory-perceptual rating scale)

  • 김다미;김신희;김지성;안은솔;조용윤;양윤희;임동선
    • 말소리와 음성과학
    • /
    • 제11권3호
    • /
    • pp.9-21
    • /
    • 2019
  • 본 연구에서는 북한이탈주민집단과 한국인집단의 운율특성을 비교하기 위하여 읽기과제(짧은글, 대화글)에서 3가지 문장 유형(평서문, 의문문, 부정문)에 따른 집단 간 음도범위와 청지각적 평가 결과의 차이가 있는지 살펴보았다. 또한, 북한이탈주민집단의 읽기과제의 3가지 문장 유형('평서문', '의문문', '부정문')의 청지각적 평가 결과와 북한이탈주민집단의 억양 자기평가 설문지의 4가지 하위유형('한국어지향도', '핸디캡정도', '한국어비유사성', '억양불만족정도')과의 상관을 살펴보고자 하였다. 본 연구의 대상자는 북한이탈주민집단 총 15명(여 11, 남 4)과 한국인집단 총 15명(여 11, 남 4)이다. 음향학적 평가에서 집단 간 읽기과제의 문장유형에 따른 차이를 확인하기 위해 삼원분산분석(three-way mixed ANOVA), 다변량분석(multivariate analysis)을 실시하였고, 청지각적 측면에 대한 분석방법으로는 비모수통계인 Mann-Whitney U Test를 사용하였다. 북한이탈주민의 억양자기평가 설문지의 하위유형 4개와 청지각적 평가의 하위유형 6가지('짧은글평서문', '짧은글의문문', '짧은글부정문', '대화글평서문', '대화글의문문', '대화글부정문')의 상관관계를 확인하기 위해 피어슨의 적률상관계수(Pearson's product moment correlation coefficient)를 산출하였다. 그 결과, 읽기과제의 모든 문장유형에서 북한이탈주민집단보다 한국인집단의 음도범위가 유의미하게 컸다. 두 번째로 집단 간 읽기과제에서 3가지 문장유형에 따른 청지각적 평가 결과, 모든 문장 유형에서 한국인집단에 비해 북한이탈주민집단의 청지각적 평가 점수가 유의미하게 낮았으며, '의문문'유형에서 점수가 가장 낮았다. 마지막으로 북한이탈주민집단의 읽기과제의 3가지 문장 유형의 청지각적 평가 결과와 억양자기평가 설문지의 하위유형간의 상관을 살펴본 결과, 설문지의 4가지 하위유형 중 '한국어지향도', '핸디캡정도', '한국어비유사성'과 3가지 문장 유형 중 '의문문'에서 유의한 상관이 나타났다. 따라서 본 연구를 통해, 북한이탈주민집단과 한국인집단의 읽기과제에서의 문장유형에 따른 음성이 청지각적으로, 음향학적으로 차이를 보이고 있음을 알 수 있으며, 한국어를 지향하고, 자신의 억양으로 인한 핸디캡이 높고, 자신의 억양이 한국어와 다르다고 생각하는 북한이탈주민일수록, '의문문'에서 가장 서울말에 가깝게 말하는 것으로 평가되었음을 알 수 있다.