• Title/Summary/Keyword: 중의성 제거

Search Result 290, Processing Time 0.026 seconds

A Korean Grammar Checker using Lexical Disambiguation Rule and Partial Parsing (어휘적 중의성 제거 규칙과 부분 문장 분석을 이용한 한국어 문법 검사기)

  • So, Gil-Ja;Gwon, Hyeok-Cheol
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.3
    • /
    • pp.305-315
    • /
    • 2001
  • 본 논문에서는 우리말 문서에 있는 오류를 어절 단위로 검증하는 철자 오류와 여러 어절을 분석해야 처리할 수 있는 문법 오류로 분류하였다. 문법 오류를 처리할 때 전체 문장 분석은 시간이 많이 소요되고 구현하기 어려우므로 대부분 부분 문장 분석 방법을 이용한다. 기존 연구에서 사용한 부분 문장 분석은 분석 어절에 어휘 중의성이 있을 때 문장 분석 종결 또는 과분석 등의 오류가 발생한다. 본 논문에서는 문법 검사기에서 어휘 중의성 때문에 발생하는 문제점을 해결하는 방법으로 어휘 중의성 제거 규칙을 사용한다. 본 논문에서 구현한 어휘 중의성 제거 모듈은 코퍼스 데이타에서 얻은 경험적 규칙을 기반으로 한다. 이 경험적 규칙은 언어적 지식을 기반으로 한다.

  • PDF

Korean Part-of-Speech Tagging using Disambiguation Rules for Ambiguous Word and Statistical Information (어휘별 중의성 제거 규칙과 통계 정보를 이용한 한국어 품사 태깅)

  • Ahn, Kwang-Mo;Han, Kyou-Youl;Seo, Young-Hoon
    • The Journal of the Korea Contents Association
    • /
    • v.9 no.2
    • /
    • pp.18-26
    • /
    • 2009
  • A hybrid part-of-speech tagging approaches may be robust, easily extendable, and accurate because they can have the advantages of both statistical approach and rule-based approach. But conventional hybrid part-of-speech tagging systems hardly resolve some morphological ambiguities which can't be resolved by statistical information. It is because the coverage of rules is narrow. So, we define disambiguation rules for individual ambiguous word based on syntax and semantics of surround words. We select words from which the top 50% of ambiguities are occurred in Sejong corpus and build 1,814 rules for them. The accuracy of our hybrid part-of-speech tagging system using those rules is 98.28%.

A Study of Parsing System Implementation Using Segmentation and Argument Information (구간 분할과 논항정보를 이용한 구문분석시스템 구현에 관한 연구)

  • Park, Yong Uk;Kwon, Hyuk Chul
    • Journal of Korea Multimedia Society
    • /
    • v.16 no.3
    • /
    • pp.366-374
    • /
    • 2013
  • One of the most important problems in syntactic analysis is syntactic ambiguities. This paper proposes a parsing system and this system can reduce syntactic ambiguities by using segmentation method and argument information method. The proposed system uses morphemes for the input of syntax analysis system, and syntactic analysis system generates all possible parse trees from the given morphemes. Therefore, this system generates many syntactic ambiguity problems. We use three methods to solve these problems. First is disambiguation method in morphological analysis, second is segmentation method in syntactic analysis processing, and the last method is using argument information. Using these three methods, we can reduce many ambiguities in Korean syntactic analysis. In our experiment, our approach decreases about 53% of syntactic ambiguities.

Morphological disambiguation using Local Context (국소 문맥을 이용한 형태적 중의성 해소)

  • 이충희;윤준태;송만석
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2000.06a
    • /
    • pp.48-55
    • /
    • 2000
  • 본 논문은 국소문맥을 사용하여 만들어진 Decision List를 통해 단어의 형태적 중의성을 제거하는 방법을 기술한다. 최초 종자 연어(Seed Collocation)로 1차 Decision List를 만들어 실험 말뭉치에 적용하고 태깅된 결과를 자가 학습하는 반복과정에 의해 Decision List의 수행능력을 향상시킨다. 이 방법은 단어의 형태적 중의성 제거에 일정 거리의 연어가 가장 큰 영향을 끼친다는 직관에 바탕을 두며 사람의 추가적인 교정을 필요로 하지 않는 비교사 방식(대량의 원시 말뭉치에 기반한)에 의해 수행한다. 학습을 통해 얻어진 Decision List는 연세대 형태소 분석기인 MORANY의 형태소 분석 결과에 적용되어 태깅시 성능을 향상시킨다. 실험 말뭉치에 있는 중의성을 가진 12개의 단어들에 본 알고리즘을 적용하여 긍정적인 결과(90.61%)를 얻었다. 은닉 마르코프 모델의 바이그램(bigram) 모델과 비교하기 위하여 '들었다' 동사만을 가지고 실험하였는데 바이그램 모델의 태깅결과(72.61%)보다 뛰어난 결과(94.25%)를 얻어서 본 모델이 형태적 중의성 해소에 유용함을 확인하였다.

  • PDF

Morphological disambiguation using Local Context (국소 문맥을 이용한 형태적 중의성 해소)

  • Lee, Chung-Hee;Yoon, Jun-Tae;Song, Man-Suk
    • Annual Conference on Human and Language Technology
    • /
    • 2000.10d
    • /
    • pp.48-55
    • /
    • 2000
  • 본 논문은 국소문맥을 사용하여 만들어진 Decision List를 통해 단어의 형태적 중의성을 제거하는 방법을 기술한다. 최초 종자 연어(Seed Collocation)로 1차 Decision List를 만들어 실험 말뭉치에 적용하고 태깅된 결과를 자가 학습하는 반복과정에 의해 Decision List의 수행능력을 향상시킨다. 이 방법은 단어의 형태적 중의성 제거에 일정 거리의 연어가 가장 큰 영향을 끼친다는 직관에 바탕을 두며 사람의 추가적인 교정을 필요로 하지 않는 비교사 방식(대량의 원시 말뭉치에 기반한)에 의해 수행한다. 학습을 통해 얻어진 Decision List는 연세대 형태소 분석기인 MORANY의 형태소 분석 결과에 적용되어 태깅시 성능을 향상시킨다. 실험 말뭉치에 있는 중의성을 가진 12개의 단어들에 본 알고리즘을 적용하여 긍정적인 결과(90.61%)를 얻었다. 은닉 마르코프 모델의 바이그램(bigram) 모델과 비교하기 위하여 '들었다' 동사만을 가지고 실험하였는데 바이그램 모델의 태깅결과(72.61%)보다 뛰어난 결과 (94.25%)를 얻어서 본 모델이 형태적 중의성 해소에 유용함을 확인하였다.

  • PDF

Improvement of Korean Grammar Checker Using Partial Parsing based on Dependency Grammar and Disambiguation Rules (어휘적 중의성 제거 규칙과 부분 문장 분석을 이용한 한국어 문법 검사기 성능 향상)

  • So, Kil-Ja;Nam, Hyeon-Sook;Kim, Su-Nam;Won, Sang-Yeon;Kwon, Hyuck-Chul;Park, Dong-In
    • Annual Conference on Human and Language Technology
    • /
    • 1998.10c
    • /
    • pp.253-260
    • /
    • 1998
  • 한국어 문서에는 여러 어절을 검증해야만 처리할 수 있는 의미 오류와 문체 오류가 있다. 다수 어절 사이에 있는 오류는 부분 문장 분석을 한다. 논문에서는 의미 오류와 문체 오류를 처리할 때 어휘적 중의성 때문에 생기는 문제점을 제시하고 해결방법을 제안한다. 어휘적 중의성이란 한 단어가 두 가지 이상의 형태소 정보를 가짐을 뜻한다. 철자검사기와는 달리 문법 검사기에서는 어휘적 중의성을 제거하지 않으면 여러 가지 검사 오류가 발생한다. 이 논문에서는 의미, 문체 시스템에서 어휘적 중의성 때문에 검사 오류가 발생할 수 있는 과정을 크게 세 단계로 분류하였다. 연어 오류가 발생할 수 있는 검사단어가 어휘적 중의성을 가지면 표제어가 다른 규칙이 여러 개 존재한다. 이 때 규칙 선택 문제가 생긴다. 중의성 문제는 부분 문장분석 과정에서도 지배소와 의존소 사이의 의존관계를 정확하게 설정하기 어렵게 한다. 본 논문에서는 각 단계에서 발생한 문제를 최소화하여 문법 검사기의 성능을 향상시킨다.

  • PDF

Implementation of Dependency Parser using Argument Information based on Korean WordNet (한국어 어휘의미망에 기반한 논항 정보를 이용한 의존문법 구문분석기의 구현)

  • Im, Gyeong-Eop;Jung, Youngim;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.158-164
    • /
    • 2007
  • 한국어는 한 어절이 한 개 이상의 형태소로 이루어졌으며, 이 때문에 지역 중의성이 발생한다. 대부분의 선행 연구에서는 이러한 지역 중의성을 배제하거나, 태거를 사용하여 지역 중의성을 제거해왔다. 본 연구에서는 문장의 모든 형태소 분석에 대해 구문분석을 시도하며, 중의성을 제거하고자 적용된 의존문법 규칙과 구 묶음, 부사 하위범주화, 논항 정보 사전 이용 등의 다양한 기법을 설명하고, 구문분석 성능을 실험으로 나타낸다. 특히, 말뭉치마다 논항 정보 사전을 따로 구축하는 번거로움을 피하고자 한국어 어휘의미망을 사용한다.

  • PDF

Identifying Optimum Features for Abbreviation Disambiguation in Biomedical Domain (생의학 도메인에서 약어 중의성 해결을 위한 최적 자질의 규명)

  • Lim, Ho-Gun;Seo, Hee-Cheol;Kim, Seon-Ho;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.173-180
    • /
    • 2004
  • 생의학 도메인에서 약어 중의성 해결이란 생의학 문서에 나타난 약어의 원래 형태(long form)를 판별하는 작업이다. 본 논문은 생의학 도메인에서 약어 중의성 해결에 적합한 자질들을 실험적으로 탐색하는데 목적이 있다. 이를 위해서 약어 중의성 해결에 사용할 문맥을 전역 문맥(topical context)과 지역 문맥(local context)으로 구분하고, 각각의 문맥에서 스테밍(stemming), 불용어 제거, 품사 부착 등의 과정을 통해서 다양한 자질들을 고려하도록 한다. 생의학 도메인에서 약어 중의성 해결을 위한 실험 자료의 부족을 해결하기 위해서, 학습 자료와 평가 자료를 자동으로 구축했으며, 평가를 위한 약어로는 기존 연구에서 사용된 두 가지 약어 목록을 사용했다. 또한 단순 베이지언 모델(Naive Bayesian Model)을 이용해서 각 자질들의 유용성을 평가하였다 실험 결과, 전역 문맥이 지역 문맥보다 더 좋은 성능을 보였으며, 전역 문맥에서는 불용어만을 제거한 경우가 각각의 평가 자료에서 94.2%와 96.2%로 가장 좋은 결과를 보였으며, 전역 문맥과 지역 문맥을 함께 사용하는 경우에 각각의 평가 자료에서 1.8%와 0.3%의 성능 향상이 있었다.

  • PDF

A Study on Lexical Ambiguity Resolution of Korean Morphological Analyzer (형태소 분석기의 어휘적 중의성 해결에 관한 연구)

  • Park, Yong-Uk
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.7 no.4
    • /
    • pp.783-787
    • /
    • 2012
  • It is not easy to find out syntactic error in a spelling checker systems of Korean, because the spelling checker is generally to correct each phrase and it cannot check the errors of contextual ill-matched words. Spelling checker system tests errors based on a words. Disambiguation of lexical ambiguities is important in natural language processing. Its outputs is used in syntactic analysis. For accurate analysis of a sentence, syntactic analysis system must find out the ambiguity of morphemes in a word. In this paper, we suggest several rules to resolve the ambiguities of morphemes in a word. Using these methods, we can reduce many lexical ambiguities in Korean.

Detecting and Resolving Syntactic Ambiguity for Automatic Korean-Korean Sign Language Translation (한국어-수화 자동 변환 과정에서 발생하는 통사적 중의성 파악 및 해소)

  • Chung, Jin-Woo;Park, Jong C.
    • Annual Conference on Human and Language Technology
    • /
    • 2010.10a
    • /
    • pp.55-62
    • /
    • 2010
  • 수화는 농인 사회에서 주로 사용되는 시각언어로서 음성언어인 한국어와 통사적인 측면에서 많은 차이를 보인다. 특히 수화에서는 조사와 어미가 거의 사용되지 않기 때문에 한국어 문장에서 기존의 방법대로 이들을 제거한 후 어순을 고려하지 않은 채 문장 성분의 기본형을 그대로 나열하여 수화문을 생성할 경우 문장 성분 간의 통사적 관계가 애매해질 수 있다. 본 논문에서는 통사적 중의성이 한국어 문장을 수화문으로 변환하는 과정에서 추가적으로 나타나게 되는 특정 통사구조에 의해 발생하는 것으로 보고, 이러한 통사구조를 기본논항구조, 한정수식구조, 병렬구조, 서술구조로 분류하여 각각을 파악하고 그에 따라 통사적 중의성을 해소하는 방법을 제시한다.

  • PDF