• Title/Summary/Keyword: Lexicon

Search Result 273, Processing Time 0.018 seconds

Korean Broadcast News Transcription Using Morpheme-based Recognition Units

  • Kwon, Oh-Wook;Alex Waibel
    • The Journal of the Acoustical Society of Korea
    • /
    • v.21 no.1E
    • /
    • pp.3-11
    • /
    • 2002
  • Broadcast news transcription is one of the hardest tasks in speech recognition because broadcast speech signals have much variability in speech quality, channel and background conditions. We developed a Korean broadcast news speech recognizer. We used a morpheme-based dictionary and a language model to reduce the out-of·vocabulary (OOV) rate. We concatenated the original morpheme pairs of short length or high frequency in order to reduce insertion and deletion errors due to short morphemes. We used a lexicon with multiple pronunciations to reflect inter-morpheme pronunciation variations without severe modification of the search tree. By using the merged morpheme as recognition units, we achieved the OOV rate of 1.7% comparable to European languages with 64k vocabulary. We implemented a hidden Markov model-based recognizer with vocal tract length normalization and online speaker adaptation by maximum likelihood linear regression. Experimental results showed that the recognizer yielded 21.8% morpheme error rate for anchor speech and 31.6% for mostly noisy reporter speech.

Bilingual Word Embedding using Subtitle Parallel Corpus (자막 병렬 코퍼스를 이용한 이중 언어 워드 임베딩)

  • Lee, Seolhwa;Lee, Chanhee;Lim, Heuiseok
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.157-160
    • /
    • 2017
  • 최근 자연 언어 처리 분야에서는 단어를 실수벡터로 임베딩하는 워드 임베딩(Word embedding) 기술이 많은 각광을 받고 있다. 최근에는 서로 다른 두 언어를 이용한 이중 언어 위드 임베딩(Bilingual word embedding) 방법을 사용하는 연구가 많이 이루어지고 있는데, 이중 언어 워드 임베딩에서 임베딩 절과의 질은 학습하는 코퍼스의 정렬방식에 따라 많은 영향을 받는다. 본 논문은 자막 병렬 코퍼스를 이용하여 밑바탕 어휘집(Seed lexicon)을 구축하여 번역 연결 강도를 향상시키고, 이중 언어 워드 임베딩의 사천(Vocabulary) 확장을 위한 언어별 연결 함수(Language-specific mapping function)을 학습하는 새로운 방식의 모델을 제안한다. 제안한 모델은 기존 모델과의 성능비교에서 비교할만한 수준의 결과를 얻었다.

  • PDF

Korean Entity Recognition System using Bi-directional LSTM-CNN-CRF (Bi-directional LSTM-CNN-CRF를 이용한 한국어 개체명 인식 시스템)

  • Lee, Dong-Yub;Lim, Heui-Seok
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.327-329
    • /
    • 2017
  • 개체명 인식(Named Entity Recognition) 시스템은 문서에서 인명(PS), 지명(LC), 단체명(OG)과 같은 개체명을 가지는 단어나 어구를 해당 개체명으로 인식하는 시스템이다. 개체명 인식 시스템을 개발하기 위해 딥러닝 기반의 워드 임베딩(word embedding) 자질과 문장의 형태적 특징 및 기구축 사전(lexicon) 기반의 자질 구성 방법을 제안하고, bi-directional LSTM, CNN, CRF과 같은 모델을 이용하여 구성된 자질을 학습하는 방법을 제안한다. 실험 데이터는 2017 국어 정보시스템 경진대회에서 제공한 2016klpNER 데이터를 이용하였다. 실험은 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다. 실험 결과 본 연구에서 제안하는 모델은 BIO 태깅 방식의 개체 청크 단위 성능 평가 결과 98.9%의 테스트 정확도(test accuracy)와 89.4%의 f1-score를 나타냈다.

  • PDF

Attention and Naïve Bayes Models based Lexicon Corpus and Applications for Korean (한국어에서 Attention 모델과 Naïve Bayes 모델 기반의 어휘 말뭉치 구축 및 응용에 관한 연구)

  • Yoon, Joosung;Kim, Hyeoncheol
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.13-16
    • /
    • 2017
  • 감성 분석에서 어휘 말뭉치는 기존의 전통적인 기계학습 방법에서 중요한 특징으로 사용되었다. 최근 딥러닝의 발달로 hand-craft feature를 사용하지 않아도 되는 End-to-End 방식의 학습이 등장했다. 하지만 모델의 성능을 높이기 위해서는 여전히 어휘말뭉치와 같은 특징이 모델의 성능을 개선하는데 중요한 역할을 하고 있다. 본 논문에서는 이러한 어휘 말뭉치를 Attention 모델과 Naïve bayes 모델을 기반으로 구축하는 방법에 대해 소개하며 구축된 어휘 말뭉치가 성능에 끼치는 영향에 대해서 Hierarchical Attention Network 모델을 통해 분석하였다.

  • PDF

Semantic Priming Effect of Korean Lexical Ambiguity: A Comparison of Homonymy and Polysemy (한국어의 어휘적 중의성의 의미점화효과: 동음이의어와 다의어의 비교)

  • Yu, Gi-Soon;Nam, Ki-Chun
    • Phonetics and Speech Sciences
    • /
    • v.1 no.2
    • /
    • pp.63-73
    • /
    • 2009
  • The present study was conducted to explore how the processing of lexical ambiguity between homonymy and polysemy differs from each other, and whether the representation of mental lexicon was separated from each lexical ambiguity by a semantic priming paradigm. Homonymy (M1 means the literal meaning of '사과', i.e. apple and M2 means another literal meaning of '사과', i.e. apologize) was used in Experiment I, and polysemy (M2 means the literal meaning of '바람', i.e. wind and M2 means the figurative meaning of '바람', i.e. wanton) was used in Experiment 2. The results of both experiments showed that a significant semantic priming effect occurs regardless of the type of ambiguities (homonymy and polysemy) and the difference of their semantic processes. However, the semantic priming effect for polysemy was larger than that for homonymy. This result supports the hypothesis that the semantic process of homonymy is different from that of polysemy.

  • PDF

A method of the the substantives anaphora resolution in korean intra-sentential (한국어 문장내 체언류 조응대용어의 해결방안)

  • 김정해;이상국;이상조
    • Journal of the Korean Institute of Telematics and Electronics B
    • /
    • v.33B no.4
    • /
    • pp.183-190
    • /
    • 1996
  • The purpose of this paper is to show that the solutions of the problem for the anaphor ocured in korean senstence, by means of one-direction activated chart parsing leaded by a head. This is the phenomenon frequently occured in the conversation of natural language and the part necessarily required in the construction of natural language processing system for the practical use. To solve the problem of anaphor in the korean language, we have computerized definition and the management conditions necessary in the semantic classification between the anaphor and its antecedent and index are added in the feature structure in lexicon. To deal with anaphor in parser and algorithm is proposed to solve the problem for anaphor. The range of management of pareser is extended to solve the problem for anaphor of the indeclinable parts of speech in korean occured in all the sentences the parser HPSG developed previously manages.

  • PDF

A Study on Lexical Knowledge Representation for Interlingua Machine Translation (중간언어 기계번역방식을 위한 어휘지식 표현체계에 관한 연구)

  • Li, Hui-Feng;Song, Seong-Dae;Lee, Jong-Hyeok;Lee, Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 1995.10a
    • /
    • pp.105-111
    • /
    • 1995
  • 본 논문에서는 중간언어 설계의 일부분으로, 중간의미 표현을 위한 어휘지식 표현 방안에 관하여 논한다. 기존 중간언어들은 단어의 의미 구별법이 단순한 선택적 제한을 기반으로 하고 있으며, 시소러스체계도 단일하게 유지하고 있다. 따라서, 단어의 의미간 중첩성이 반영되지 못하고 단어의 창조적 사용(creative use)에 대한 대처능력도 떨어진다. 또한 단일 시소러스체계를 통해서는 단어들의 명확한 분류기준을 파악할 수가 없다. 이러한 어휘지식 표현체계의 문제점들을 극복하기 위한 해결책으로서 생성사전(Generative Lexicon)을 도입하고, 중간표현의 관계기호를 효과적으로 파악하기 위한 관점에서의 시소러스 분류체계를 제안한다. 또한 이 같은 어휘지식 표현체계를 이용하여 문장의 구문구조로부터 중간표현을 나타내는 과정을 제시한다.

  • PDF

Knowledge-Based Question Answering System for Aquisition of Concept Word (개념어의 습득을 위한 지식기반 질의응답 시스템)

  • Lee, Jae-Hong;Choe, Ho-Seop;Ock, Cheol-Young
    • Annual Conference on Human and Language Technology
    • /
    • 2003.10d
    • /
    • pp.95-100
    • /
    • 2003
  • 본 논문에서는 현실 세계가 가지고 있는 지식이 어느 정도 체계적으로 정제되어 있는 국어사전, 백과사전 등을 중심으로, Hybrid Method를 이용한 통계(Statistics)기반 지식베이스와 어휘분류(Lexicon Classification)기반 지식베이스를 효율적으로 구축하여 질의응답시스템에 활용한다. 또한 특정한 문서를 보여주는 일반적인 질의응답시스템과는 달리, 이러한 지식베이스를 이용하여 사용자에게 정확한 개념어(정답어)를 습득하게끔 해주고, 사용자의 인지 체계 속에 어렴풋이 내포되어 있는 개념적 지식을 더욱더 표면적으로 확장해 나갈 수 있는 질의응답시스템을 구축하는 방안을 제시한다.

  • PDF

Lexical Encoding of L2 Suprasegmentals: Evidence from Korean Learners' Acquisition of Japanese Vowel Length Distinctions

  • Han, Jeong-Im
    • Phonetics and Speech Sciences
    • /
    • v.1 no.4
    • /
    • pp.17-27
    • /
    • 2009
  • Despite many studies on the production and perception of L2 phonemes, studies on how such phonemes are encoded lexically remain scarce. The aim of this study is to examine whether L2 learners have a perceptual problem with L2 suprasegmentals which are not present in their L1, or if they are able to perceive but not able to encode them in their lexicon. Specifically, Korean learners were tested to see if they could discriminate the vowel length differences in Japanese at the psychoacoustic level through a simple AX discrimination task. Then, a speeded lexical decision task with high phonetic variability was conducted to see whether they could use such contrasts lexically. The results showed that Korean learners of Japanese have no difficulties in discriminating Japanese vowel length contrast, but they are unable to encode such contrast in their phonological representation, even with long L2 exposure.

  • PDF

Morphological Passivization and the Change of Lexical-Semantic Structures in Korean

  • Kim, Yoon-shin
    • Proceedings of the Korean Society for Language and Information Conference
    • /
    • 2002.02a
    • /
    • pp.195-204
    • /
    • 2002
  • The purpose of this paper is to analyze the lexical-semantic structure of morphologically derived passive verbs in Korean based on Pustejovsky (1995)'s Generative Lexicon Theory (GL) and to explain the change of the root verb's lexical-semantic structure by means of passivization. Passivization in this paper is defined as the unaccusaztivization. In Argument Structure of derived passive verbs, the agent argument is deleted and the theme argument is realized as a syntactic subject. As for Event Structure, derived passives express left-headed event (achievement), whereas their roots denote right-headed event (accomplishment). In Qualia Structure, passive verbs and root ones have the same Fomal Role, but in Agentive Role of passive verbs, an act weakens to a process. Both Formal and Agentive Roles have the same theme argument.

  • PDF