• Title/Summary/Keyword: 어휘모델

Search Result 304, Processing Time 0.028 seconds

Korean Machine Comprehension using Dual Bi-Directional Attention Flow (Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템)

  • Lee, Hyeon-gu;Kim, Harksoo;Choi, Jungkyu;Kim, Yi-reun
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.41-44
    • /
    • 2017
  • 기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.

  • PDF

A preliminary study on lexical access and phonological processing in written word recognition (한글 단어 인지과정에서 음운적 처리와 어휘접근)

  • Yi, Kwang-Oh
    • Annual Conference on Human and Language Technology
    • /
    • 1989.10a
    • /
    • pp.92-95
    • /
    • 1989
  • 단어 인지과정은 언어 이해과정의 한 부분으로, 신속성과 정확성 그리고 심성어휘집을 그 특정으로 한다. 표기 단어의 인지과정에는 그 언어의 정서법 체계가 반영된다. 한국어의 단어 인지과정에 대한 모델 작성의 예비 연구로 음운적 처리와 어휘 근접에서의 정서법적 정보의 역활에 대해 검토하였다. 어휘 근접의 단위에 대한 논의에서는 음절, 자질, 단어등의 형식적 언어학적 단위외에 심리적 단위가 고려되어야 함이 지적되었으며, 그 심리적 단위들과 정서법의 관계에 대해 논의하였다. 마지막으로 한글 단어 인지과정에 관한 한 모델로서 상호작용 활성화 모델의 가능성에 주목하였다.

  • PDF

Design and Implementation of Korean Lexical Acquistion Model using Computational Model (계산주의적 모델을 이용한 한국어 어휘습득 모텔 설계 및 구현)

  • Yu, Won-Hee;Park, Ki-Nam;Lyu, Ki-Gon;Lim, Heui-Seok
    • Proceedings of the KAIS Fall Conference
    • /
    • 2007.05a
    • /
    • pp.230-232
    • /
    • 2007
  • 본 논문은 인간의 언어정보처리과정 중 초기 어휘획득(lexical acquisition) 과정을 한국어에 적용시켜 Full-List 모형과 Decomposition 모형의 하이브리드한 형태의 계산주의적 (computational) 어휘정보처리 모델을 구현하고 실험하였다. 실험결과 학습을 통한 언어적 입력의 인간의 어휘획득 과정을 모사(simulate) 할 수 있었고, 특정 문법범주 습득 순서에 대한 이론적 근간을 제시할 수 있었다. 또한 본 연구의 모델에서 자동으로 생성된 Full-List 사전과 Decomposition 사전을 통해 인간의 대뇌 심성표상(mental representation) 형태를 유추할 수 있는 증거를 보였다.

  • PDF

Reranking Clusters based on Query Term Position and Context (질의의 위치와 문맥을 반영한 클러스터 기반 재순위화)

  • Jo, Seung-Hyeon;Jang, Gye-Hun;Lee, Kyung-Soon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.04a
    • /
    • pp.471-474
    • /
    • 2010
  • 질의와 질의 주변에 나오는 어휘는 의미적으로 연관되어있다는 가정하에 질의뿐만 아니라 질의 주변에 나오는 문맥 어휘들도 가중치를 높여준다면 검색에 효율을 높일 수 있을 것이다. 본 논문에서는 질의와 질의 주변에 나오는 문맥 어휘들에게 가중치를 주어 질의 어휘의 위치 가중치를 반영한 문서를 표현하고, 위치 가중치가 반영된 문서 벡터들 사이의 유사도를 계산하여 클러스터 기반 재순위화를 하여 성능을 향상시키는 방법을 제안한다. 뉴스 집합인 TREC AP 문서를 이용하여 언어모델, 위치 가중치를 이용한 언어모델, 클러스터 기반 재순위화 모델의 비교실험을 통해 유효성을 검증한다.

Movie Corpus Emotional Analysis Using Emotion Vocabulary Dictionary (감정 어휘 사전을 활용한 영화 리뷰 말뭉치 감정 분석)

  • Jang, Yeonji;Choi, Jiseon;Park, Seoyoon;Kang, Yejee;Kang, Hyerin;Kim, Hansaem
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.379-383
    • /
    • 2021
  • 감정 분석은 텍스트 데이터에서 인간이 느끼는 감정을 다양한 감정 유형으로 분류하는 것이다. 그러나 많은 연구에서 감정 분석은 긍정과 부정, 또는 중립의 극성을 분류하는 감성 분석의 개념과 혼용되고 있다. 본 연구에서는 텍스트에서 느껴지는 감정들을 다양한 감정 유형으로 분류한 감정 말뭉치를 구축하였는데, 감정 말뭉치를 구축하기 위해 심리학 모델을 기반으로 분류한 감정 어휘 사전을 사용하였다. 9가지 감정 유형으로 분류된 한국어 감정 어휘 사전을 바탕으로 한국어 영화 리뷰 말뭉치에 9가지 감정 유형의 감정을 태깅하여 감정 분석 말뭉치를 구축하고, KcBert에 학습시켰다. 긍정과 부정으로 분류된 데이터로 사전 학습된 KcBert에 9개의 유형으로 분류된 데이터를 학습시켜 기존 모델과 성능 비교를 한 결과, KcBert는 다중 분류 모델에서도 우수한 성능을 보였다.

  • PDF

Conditional Random Fields based Named Entity Recognition Using Korean Lexical Semantic Network (한국어 어휘의미망을 활용한 Conditional Random Fields 기반 한국어 개체명 인식)

  • Park, Seo-Yeon;Ock, Cheol-Young;Shin, Joon-Choul
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.343-346
    • /
    • 2020
  • 개체명 인식은 주어진 문장 내에서 OOV(Out of Vocaburary)로 자주 등장하는 고유한 의미가 있는 단어들을 미리 정의된 개체의 범주로 분류하는 작업이다. 최근 개체명이 문장 내에서 OOV로 등장하는 문제를 해결하기 위해 외부 리소스를 활용하는 연구들이 많이 진행되었다. 본 논문은 의미역, 의존관계 분석에 한국어 어휘지도를 이용한 자질을 추가하여 성능 향상을 보인 연구들을 바탕으로 이를 한국어 개체명 인식에 적용하고 평가하였다. 실험 결과, 한국어 어휘지도를 활용한 자질을 추가로 학습한 모델이 기존 모델에 비해 평균 1.83% 포인트 향상하였다. 또한, CRF 단일 모델만을 사용했음에도 87.25% 포인트라는 높은 성능을 보였다.

  • PDF

Wortschatzarbeit in der Wortbildung und ihre didaktische $Vorschl\"{a}ge$ (조어론에 있어서의 어휘연습과 교수법 제언)

  • Jang Ki-Sung;Jung Hyun-Sook
    • Koreanishche Zeitschrift fur Deutsche Sprachwissenschaft
    • /
    • v.3
    • /
    • pp.233-252
    • /
    • 2001
  • 1970년이래 외국어학습 및 교수법에 있어서 어휘에 관련된 문제들에 많은 관심과 그 중요성이 인식되고있다. 특히 Fleischer/Buz (1992)등에 의한 당해 영역의 연구물 뿐 아니라, 전문서적 및 어학 자료(교재)등에서도 이러한 중요성이 강조되어 왔음을 알 수 있다. Fleischer등은 조어규칙의 개념과 조어모델을 규정하는 근거들로 생산성 Produktivitat, 용인성 Akzeptabilitat, 조어참여성 Aktivitat등 중요한 매개요인으로 간주하고 있으며 $G\"{o}tze/ Hess-Luttich$ (1999)등의 학자들은 어휘체계에서 두 개 이상의 구성성분들이 결합하여 당해 시대의 시대정신이나 시대상에 부합되는 신조 어휘들을 생성하며, 또한 그 사회의 정보화와 기술화에 이바지하며, 이를 통해서 전문어의 생산력을 한층 높혀 주는 통로로 작용함을 주장한바 있다. 본고에서는 조어론의 이러한 기본원리나 개념들에 입각하여 독일어 수업에서 목표어의 습득에 관여적인 역할을 수행하는 조어모델, 즉 합성어와 파생어를 형용사와 명사의 층위에서 구체적으로 분석하고 기술했다. 예컨데, 합성어에 있어서 접두사와 접미사, 조어의 유형 가운데 축약어, 그리고 외래어 기저와 고유어 접미사 및 접두사, 고유어기저와 외래어접미사(접두사) 뿐만 아니라, 의미론적 관점에서 본 합성어의 형태, 합성 연결소의 형태와 기호의 사용, 명사적 파생어에서 고유어접미사(접두사), 축약조어와 축약어 단어형성, 형용사조어의 특성, 명시적파생 가운데 고유어(외래어) 접미사(접두사) 등이 어휘생성과 어휘신장의 관점에서 교수법의 적용가능성이 논의되었다. 결론부에서는 외국어를 습득하고자하는 학습자에게 일방적이고 획일적인 암기식 위주의 어휘학습방법에서 벗어나, 목표어가 요구하는 새로운 어휘를 획득하는데 비교적 용이하며 또한 체계적으로 습득 할 수 있도록 인지론에 기대어 텍스트, 문장, 어휘영역 등이 투입되어 적용되었으며, 이에 상응되게 구체적인 몇몇 방안들이 제시되었다. 학습자들이 텍스트를 읽고 중심내용을 찾아내며, 단락을 구획하고 또한 체계를 파악하는데 있어서 어휘연습은 외국어 교수법 측면에서도 매우 관여적이며 시의적절한 과제라 생각된다.

  • PDF

Emotion Analysis Using a Bidirectional LSTM for Word Sense Disambiguation (양방향 LSTM을 적용한 단어의미 중의성 해소 감정분석)

  • Ki, Ho-Yeon;Shin, Kyung-shik
    • The Journal of Bigdata
    • /
    • v.5 no.1
    • /
    • pp.197-208
    • /
    • 2020
  • Lexical ambiguity means that a word can be interpreted as two or more meanings, such as homonym and polysemy, and there are many cases of word sense ambiguation in words expressing emotions. In terms of projecting human psychology, these words convey specific and rich contexts, resulting in lexical ambiguity. In this study, we propose an emotional classification model that disambiguate word sense using bidirectional LSTM. It is based on the assumption that if the information of the surrounding context is fully reflected, the problem of lexical ambiguity can be solved and the emotions that the sentence wants to express can be expressed as one. Bidirectional LSTM is an algorithm that is frequently used in the field of natural language processing research requiring contextual information and is also intended to be used in this study to learn context. GloVe embedding is used as the embedding layer of this research model, and the performance of this model was verified compared to the model applied with LSTM and RNN algorithms. Such a framework could contribute to various fields, including marketing, which could connect the emotions of SNS users to their desire for consumption.

Variable Vocabulary Word Recognizer using Phonetic Knowledge-based Allophone Model (음성학적 지식 기반 변이음 모델을 이용한 가변 어휘 단어 인식기)

  • Kim, Hoi-Rin;Lee, Hang-Seop
    • The Journal of the Acoustical Society of Korea
    • /
    • v.16 no.2
    • /
    • pp.31-35
    • /
    • 1997
  • In this paper, we propose a variable vocabulary word recognizer that is able to recognize new words not exist in training data. For the variable vocabulary word recognizer, we must have an on-line lexicon generator to transform new candidate words to the corresponding pronunciation sequences of phones without any large lexicon table. And, we also must make outputs. In order to model the phones and allophones reliably, we define Korean allophones by triphone clustering based on phonetic knowledge of preceding and succeeding phones of each phone. Using the clustering method, we generated 1,548 allophones with POW (Phonetically Optimized Words) 3,848 word DB. We evaluated the proposed word recognizer with POW 3,848 DB, PBW (Phonetically Balanced Words) 445 DB, and 244 word DB in hotel reservation task. Experimental results showed word recognition accuracy of 79.6% for the POW DB corresponding to vocabulary-dependent case, 79.4% in case of 445 word lexicon and 88.9% in case of 100 word lexicon for the PBW DB, and 71.4% for the hotel reservation DB corresponding to vocabulary-independent case.

  • PDF

Vocabulary Likelihood rate Process support for Recognition rate Improvement of Vocabulary Recognition System (어휘 인식 시스템의 인식률 향상을 위한 어휘 유사율 처리 지원)

  • Kim, Kyuho;Oh, Sang Yeob
    • Journal of Digital Convergence
    • /
    • v.10 no.11
    • /
    • pp.359-363
    • /
    • 2012
  • In the vocabulary recognition model, system has some problems that vocabulary is nor recognize and similar vocabulary recognition is created., because it is caused by system extract vocabulary feature from inaccurate vocabulary. To solve this problems, this paper propose the system modeling and implementation for efficient configuration thread support system, it process the configuration thread information and it apply the facet method in database retrieve for optimization of vocabulary likelihood rate. Proposed system showed 95.31% of vocabulary dependency recognition rate and 97.38% vocabulary independency recognition rate in system performance.