• Title/Summary/Keyword: 음절 단위 처리

Search Result 95, Processing Time 0.026 seconds

On a Pitch Alteration Technique by Cepstrum Analysis of Flatten Excitation Spectrum (평탄화된 여기 스펙트럼에서 켑스트럼 피치 변경법에 관한 연구)

  • 조왕래;함명규;배명진
    • The Journal of the Acoustical Society of Korea
    • /
    • v.17 no.8
    • /
    • pp.82-87
    • /
    • 1998
  • 음성합성은 합성방식에 따라 파형부호화법, 신호원부호화법, 혼성부호화법으로 분류 할 수 있다. 특히 고음질 합성을 위해서는 파형부호화를 이용한 합성방식이 적합하다. 그렇 지만, 파형부호화를 이용한 합성법은 여기 성분과 여파기 성분을 분리하지 않고 처리하기 때문에 음절단위나 음소단위의 합성기법으로는 바람직하지 못하다. 따라서 파형부호화법을 규칙에 의한 합성에 적용되도록 음원피치를 변경시키기 위한 피치 변경법이 필요하게 된다. 본 논문에서는 스펙트럼 왜곡을 최소화하기 위해 켑스트럼의 성질을 이용하여 피치를 변경 하는 방법에 대하여 제안하였다. 이 방법은 주파수영역상에서 여기 스펙트럼과 여파기 스펙 트럼을 분리하여 여기 스펙트럼을 여기 켑스트럼으로 변환한 후 영값 삽입이나 삭제에 의해 피치를 변경하고 스펙트럼영역에서 피치 변경된 스펙트럼을 재구성하는 기법을 적용하였다. 제안한 방법의 성능을 평가하기 위해 스펙트럼 왜곡율을 측정하여 본 결과 평균 스펙트럼 왜곡율은 평균 2.29%이하로 유지되었으며 주관적인 음질도 평균 3.74로 우수하였다.

  • PDF

Korean Named-entity Recognition Using CNN-CRFs (CNN-CRFs를 이용한 한국어 개체명 인식기)

  • You, Yeon-Soo;Park, Hyuk-Ro
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.78-80
    • /
    • 2019
  • 개체명 인식 연구에서 우수한 성능을 보이고 있는 bi-LSTM-CRFs 모델은 처리 속도가 느린 단점이 있고, CNN-CRFs 모델은 한국어 말뭉치를 사용하여 제대로 분석되지 않았다. 본 논문에서는 한국어 개체명 인식 말뭉치를 이용한 CNN-CRFs 모델의 음절 단위 한국어 개체명 인식 방법을 제안한다. 실험 결과 bi-LSTM-CRFs 모델보다 CNN-CRFs 모델의 F1 score가 0.4% 높았고, 27.5% 빠른 처리 속도를 보였다.

  • PDF

Generation and Recognition Language Model for Spoken Language Parser (구어파서를 위한 생성 인식 언어모델)

  • Jeong, Hong;Hwang, Kwang-Il
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.167-172
    • /
    • 1999
  • 구어는 프로그래밍 언어와는 달리 주어진 문장 내에서의 해당 어휘의 뜻(semantic information)을 알고 다른 어휘들과의 연관성 (grammatical information)을 알아야만 적절한 형태소분석이 가능하다. 또한 구어는 방대한 양의 어휘들로 구성되어 있으며 사용하는 사람마다의 다양한 응용과 공식화되기 어려운 수많은 예외들로 운용되기 때문에 단순히 찾아보기표와 오토마타만으로는 형태소분석에 한계가 있다. 이에 본 논문에서는 주어진 어휘집과 그 어휘들로 만들어진 다양한 문장들로부터 구어운용의 근본기제를 스스로 학습해나가는 강화학습중심의 언어모델을 제안하고 실제로 한국어 형태소분석에 적용하여 그 성능과 특성을 파악해보았다. 구어파서의 입력은 음절단위의 발음이며 인간이 문장을 듣거나 보는 것과 동일하게 시간에 따라 순차적으로 입력된다. 파서의 출력 또한 시간에 따라 변화되면서 나타나며 입력된 연속음절을 형태소단위로 분리(segmentation)하고 분류(labeling)한 결과를 나타낸다. 생성인식 언어모델이 기존의 언어모델과 다른 점은 구어 파싱에 있어서 필수적인 미등륵어에 대한 유연성과 앞단의 음성인식기 오류에 적절한 반응(fault tolerance)을 나타내는 것이다.

  • PDF

Hybrid CTC-Attention Based End-to-End Speech Recognition Using Korean Grapheme Unit (한국어 자소 기반 Hybrid CTC-Attention End-to-End 음성 인식)

  • Park, Hosung;Lee, Donghyun;Lim, Minkyu;Kang, Yoseb;Oh, Junseok;Seo, Soonshin;Rim, Daniel;Kim, Ji-Hwan
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.453-458
    • /
    • 2018
  • 본 논문은 한국어 자소를 인식 단위로 사용한 hybrid CTC-Attention 모델 기반 end-to-end speech recognition을 제안한다. End-to-end speech recognition은 기존에 사용된 DNN-HMM 기반 음향 모델과 N-gram 기반 언어 모델, WFST를 이용한 decoding network라는 여러 개의 모듈로 이루어진 과정을 하나의 DNN network를 통해 처리하는 방법을 말한다. 본 논문에서는 end-to-end 모델의 출력을 추정하기 위해 자소 단위의 출력구조를 사용한다. 자소 기반으로 네트워크를 구성하는 경우, 추정해야 하는 출력 파라미터의 개수가 11,172개에서 49개로 줄어들어 보다 효율적인 학습이 가능하다. 이를 구현하기 위해, end-to-end 학습에 주로 사용되는 DNN 네트워크 구조인 CTC와 Attention network 모델을 조합하여 end-to-end 모델을 구성하였다. 실험 결과, 음절 오류율 기준 10.05%의 성능을 보였다.

  • PDF

Dynamic Oracle for Neural Transition-based Morpheme Segmentation and POS Tagging of Korean (동적 오라클을 이용한 뉴럴 전이기반 한국어 형태소 분석 및 품사 태깅)

  • Min, Jin-Woo;Na, Seung-Hoon;Sin, Jong-Hun;Kim, Young-Kil
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.413-416
    • /
    • 2018
  • 한국어 형태소 분석은 많은 자연어 처리 분야에서 핵심적인 역할을 수행하고 있기 때문에 형태소를 분류하고 형태소에 알맞은 품사를 결정하는 것은 매우 중요하다. 기존의 형태소 분석은 [B, I]등의 태그를 포함된 품사를 음절 단위로 결정하는 방식으로 주로 연구되었다. 본 논문에서는 의존 파싱 분야에서 널리 활용되는 전이 기반 방식을 이용하여 딥러닝 모델을 통해 형태소 분석을 수행한다. 이에 나아가 학습 단계에서 정답으로부터 추출된 정보를 사용하고 평가 단계에서는 예측으로부터 추출된 정보를 사용함으로써 발생하는 차이점을 극복하기 위한 방법론인 동적 오라클을 적용하였다. 실험 결과, 세종 품사 부착 말뭉치 셋에 적용하여 형태소 F1 97.93%, 어절 정확도 96.70%로 기존의 성능을 더욱 향상시켰다.

  • PDF

Fake news detection using deep learning (딥러닝 기법을 이용한 가짜뉴스 탐지)

  • Lee, Dong-Ho;Lee, Jung-Hoon;Kim, Yu-Ri;Kim, Hyeong-Jun;Park, Seung-Myun;Yang, Yu-Jun;Shin, Woong-Bi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.384-387
    • /
    • 2018
  • SNS가 급속도로 확산되며 거짓 정보를 언론으로 위장한 형태인 가짜뉴스는 큰 사회적 문제가 되었다. 본 논문에서는 이를 해결하기 위해 한글 가짜뉴스 탐지를 위한 딥러닝 모델을 제시한다. 기존 연구들은 영어에 적합한 모델들을 제시하고 있으나, 한글은 같은 의미라도 더 짧은 문장으로 표현 가능해 딥러닝을 하기 위한 특징수가 부족하여 깊은 신경망을 운용하기 어렵다는 점과, 형태소 중의성으로 인한 의미 분석의 어려움으로 인해 기존 오델들을 적용하기에는 한계가 있다. 이를 해결하기 위해 얕은 CNN 모델과 음절 단위로 학습된 단어 임베딩 모델인 'Fasttext'를 활용하여 시스템을 구현하고, 이를 학습시켜 검증하였다.

Korean Morpheme Restoration and Segmentation based on Transformer (트랜스포머 기반 한국어 형태소 원형복원 및 분리)

  • Hyeong Jin Shin;Jeongyeon Park;Jae Sung Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.403-406
    • /
    • 2022
  • 최근 한국어 언어 모델이나 단어 벡터 생성 등에서는 효과적인 토큰을 만들기 위해 품사 태그 없이 형태소 열만을 사용하고 있다. 본 논문에서는 입력 문장에 대해 품사 태그열 생성없이 형태소 열만을 직접 출력하는 효율적인 모델을 제안한다. 특히, 자연어처리에서 적합한 트랜스포머를 활용하기 위해, 입력 음절과 원형 복원된 형태소 조각이 1:1로 대응되는 새로운 형태소 태깅 방법을 제안한다. 세종 품사 부착 말뭉치를 대상으로 평가해 본 결과 공개 배포되어 있는 기존 형태소 분석 모델들보다 형태소 단위 F1 기준으로 약 7%에서 14% 포인트 높은 성능을 보였다.

  • PDF

Comparative Study of Sentiment Analysis Model based on Korean Linguistic Characteristics (한국어 언어학적 특성 기반 감성분석 모델 비교 분석)

  • Kim, Gyeong-Min;Park, Chanjun;Jo, Jaechoon;Lim, Heui-Seok
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.149-152
    • /
    • 2019
  • 감성분석이란 입력된 텍스트의 감성을 분류하는 자연어처리의 한 분야로, 최근 CNN, RNN, Transformer등의 딥러닝 기법을 적용한 다양한 연구가 있다. 한국어 감성분석을 진행하기 위해서는 형태소, 음절 등의 추가 자질을 활용하는 것이 효과적이며 성능 향상을 기대할 수 있는 방법이다. 모델 생성에 있어서 아키텍쳐 구성도 중요하지만 문맥에 따른 언어를 컴퓨터가 표현할 수 있는 지식 표현 체계 구성도 상당히 중요하다. 이러한 맥락에서 BERT모델은 문맥을 완전한 양방향으로 이해할 수있는 Language Representation 기반 모델이다. 본 논문에서는 최근 CNN, RNN이 융합된 모델과 Transformer 기반의 한국어 KoBERT 모델에 대해 감성분석 task에서 다양한 성능비교를 진행했다. 성능분석 결과 어절단위 한국어 KoBERT모델에서 90.50%의 성능을 보여주었다.

  • PDF

End-to-end Korean Document Summarization using Copy Mechanism and Input-feeding (복사 방법론과 입력 추가 구조를 이용한 End-to-End 한국어 문서요약)

  • Choi, Kyoung-Ho;Lee, Changki
    • Journal of KIISE
    • /
    • v.44 no.5
    • /
    • pp.503-509
    • /
    • 2017
  • In this paper, the copy mechanism and input feeding are applied to recurrent neural network(RNN)-search model in a Korean-document summarization in an end-to-end manner. In addition, the performances of the document summarizations are compared according to the model and the tokenization format; accordingly, the syllable-unit, morpheme-unit, and hybrid-unit tokenization formats are compared. For the experiments, Internet newspaper articles were collected to construct a Korean-document summary data set (train set: 30291 documents; development set: 3786 documents; test set: 3705 documents). When the format was tokenized as the morpheme-unit, the models with the input feeding and the copy mechanism showed the highest performances of ROUGE-1 35.92, ROUGE-2 15.37, and ROUGE-L 29.45.

Morpheme Recovery Based on Naïve Bayes Model (NB 모델을 이용한 형태소 복원)

  • Kim, Jae-Hoon;Jeon, Kil-Ho
    • The KIPS Transactions:PartB
    • /
    • v.19B no.3
    • /
    • pp.195-200
    • /
    • 2012
  • In Korean, spelling change in various forms must be recovered into base forms in morphological analysis as well as part-of-speech (POS) tagging is difficult without morphological analysis because Korean is agglutinative. This is one of notorious problems in Korean morphological analysis and has been solved by morpheme recovery rules, which generate morphological ambiguity resolved by POS tagging. In this paper, we propose a morpheme recovery scheme based on machine learning methods like Na$\ddot{i}$ve Bayes models. Input features of the models are the surrounding context of the syllable which the spelling change is occurred and categories of the models are the recovered syllables. The POS tagging system with the proposed model has demonstrated the $F_1$-score of 97.5% for the ETRI tree-tagged corpus. Thus it can be decided that the proposed model is very useful to handle morpheme recovery in Korean.