• 제목/요약/키워드: 교정 규칙의 일반화

검색결과 6건 처리시간 0.021초

규칙의 일반화와 통계 방식을 결합한 한국어 문맥의존 철자오류 교정규칙의 재현율 향상 (Improving Recall for Context-Sensitive Spelling Correction Rules by Combining Rule-Generalization and Statistical Method)

  • 최현수;권혁철;윤애선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.18-23
    • /
    • 2014
  • 한국어 맞춤법 검사기는 전자화된 한국어 텍스트에 나타난 오류어를 검색하여 이를 교정할 대치어를 제시하는 시스템이다. 이때 오류어의 유형은 크게 단순 철자오류와 문맥의존 철자오류로 구분할 수 있다. 이중 문맥의존 철자오류는 어절(word)단위로 봤을 때는 정확하지만, 문맥을 고려하였을 때 오류가 되는 유형으로 교정 난도가 매우 높다. 문맥의존 철자오류의 교정 방법은 크게 규칙을 이용한 방법과 통계 정보에 기반을 둔 방법으로 나뉜다. 이때 규칙을 이용한 방법은 그 특성상 정확도가 매우 높지만, 반대로 재현율이 매우 낮다. 본 논문에서는 본 연구진이 기존에 연구하였던 규칙을 일반화하는 방식에 추가로 조건부 확률을 이용한 통계 방식을 결합하여 정확도를 유지하면서 재현율을 향상시키는 방법을 제안한다.

  • PDF

통합적 제약완화 방식을 통한 한국어 문맥의존 철자오류 교정규칙의 재현율 향상 (Improving Recall for Context-Sensitive Spelling Correction Rules Through Integrated Constraint Loosening Method)

  • 최현수;윤애선;권혁철
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권6호
    • /
    • pp.412-417
    • /
    • 2015
  • 문맥의존 철자오류는 단독으로 사용하면 정확한 어절이지만, 문맥을 고려했을 때 오류인 유형이다. 이를 검색하고 교정하기가 매우 어려우며, 고품질 맞춤법 검사기의 성능을 크게 좌우한다. 한국어 맞춤법 검사기에서의 문맥의존 철자오류는 언어 전문가에 의해 수작업으로 구축된 교정규칙을 사용하는 것이 가장 일반적이다. 이때 규칙을 이용한 방법은 그 특성상 교정 정확도는 매우 높지만, 재현율은 매우 낮다. 본 논문에서는 기존에 연구되었던 교정규칙에서의 선택제약 명사 확장 방식과 조사 제약조건을 완화하는 방법을 통합하여 정확도를 유지하거나 거의 낮추지 않으면서, 재현율을 향상시키는 방법을 제안한다. 또한, 두 방식을 단순하게 통합하지 않고 수의적 부사 삽입과 활용형, 관형형을 고려하여 단계별로 통합하는 방식을 제안하여 평균적으로 정확도를 거의 낮추지 않고 재현율을 약 13% 향상시킨다.

동적 윈도우를 갖는 조건부확률 모델을 이용한 한국어 문맥의존 철자오류 교정 규칙의 재현율 향상 (Improving Recall for Context-Sensitive Spelling Correction Rules using Conditional Probability Model with Dynamic Window Sizes)

  • 최현수;권혁철;윤애선
    • 정보과학회 논문지
    • /
    • 제42권5호
    • /
    • pp.629-636
    • /
    • 2015
  • 한국어 맞춤법 검사기가 교정하는 오류어의 유형은 크게 단순 철자오류와 문맥의존 철자오류로 구분할 수 있다. 이 중 문맥의존 철자오류는 어절(word)단위로 봤을 때는 올바르지만, 문맥을 고려하였을 때 오류가 되는 유형으로, 교정 난도가 매우 높다. 문맥의존 철자오류는 글을 쓰는 사람들도 자주 저지르는 오류이므로, 이를 잘 검색하여 정확하게 교정하는 것이 맞춤법 검사기의 사용자가 갖는 신뢰도에 큰 영향을 미친다. 높은 정확도가 매우 중요하므로, 문맥의존 철자오류의 교정 방법은 대부분 규칙에 기반한다. 반대 급부로 재현율이 매우 낮다는 단점을 갖는다. 문맥의존 철자오류의 교정에서 재현율을 높이기 위한 방법은 크게 언어지식을 이용하여 규칙을 일반화하는 방법과 통계 정보에 기반을 하여 공기 어휘의 제약 조건을 확장하는 방법으로 나뉠 수 있다. 기존 연구는 언어지식을 이용하여 규칙을 일반화하는 다양한 방식을 연구했으나, 최고 성능이 평균 정확도 95.19%, 평균 재현율 37.56%을 보였다. 본 논문에서는 통계정보에 기반한 규칙의 확장 방식을 제안한다. 동적 윈도우를 갖는 조건부확률 모델을 이용한 방법이며, 최고 성능은 평균 정확도 97.23%, 평균 재현율 50.50%을 보여주었다.

한국어 문법 검사기의 기능 확장을 위한 서술어와 논항의 통사.의미적 관계 분석 (Analysis of Predicate/Arguments Syntactico-Semantic Relation for the Extension of a Korean Grammar Checker)

  • 남현숙;손훈석;최성필;박용욱;소길자;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.403-408
    • /
    • 1997
  • 언어의 내적 특성을 반영하는 의미 문체의 검사 및 교정은 언어의 형태적인 면과 관련있는 단순한 철자 검사 및 교정에 비해 더 난해하고 복잡한 양상을 띤다. 본 논문이 제안하는 의미 정보를 이용한 명사 분류 방법은 의미와 문체 오류의 포착과 수정 기능을 향상시키기 위한 방법의 하나이다. 이 논문은 문맥상 용법이 어긋나는 서술어를 교정하기 위해 명사 의미 분류방법을 서술어/논항의 통사 의미적 관계 분석에 이용하여 의미 규칙을 세우는 과정을 서술한다. 여기서 논항인 명사의 의미 정보를 체계적으로 분류하기 위해 시소러스 기법과 의미망을 응용한다. 서술어와 논항 사이의 통사 의미적 관계에 따라 의미 문체 오류를 검사하고 교정함으로써 규칙들을 일반화하여 구축하게 하고 이미 존재하고 있는 규칙을 단순화함으로써 한국어 문법 검사기의 기능을 보완한다.

  • PDF

명사 어휘의미망을 활용한 문법 검사기의 문맥 오류 결정 규칙 일반화 (Generalization of error decision rules in a grammar checker using Korean WordNet, KorLex)

  • 소길자;이승희;권혁철
    • 정보처리학회논문지B
    • /
    • 제18B권6호
    • /
    • pp.405-414
    • /
    • 2011
  • 국내에서 가장 일반적으로 사용되고 있는 규칙 기반 오류 검출 방법은 언어 전문가가 한국어 문서에서 자주 발생하는 오류에 대한 검출 규칙을 경험적으로 구축하고 있다. 그러나 이렇게 경험적으로 규칙을 만들면 새로운 패턴의 문장이 나타날 때마다 규칙이 수정되어야 하므로 일관성 있는 오류 검사 및 교정을 기대할 수 없다. 본 논문에서는 이를 해결하려고 최근 개발되고 있는 어휘의미망 중에서 KorLex와 같은 정규화된 언어 자원을 활용하여 단어들의 범주 정보를 추출하고 이를 이용하여 오류 결정 규칙을 일반화한다. 그러나 현재 구축된 KorLex에는 명사의 계층관계 정보는 구축되어 있지만, 문장 요소와의 관계 정보, 즉, 격틀 정보가 부족하다. 본 논문에서는 용언 의미 오류 결정 규칙으로 사용할 선택제약 명사 클래스를 정보이론에 기초한 MDL과 Tree Cut Model을 활용하여 추출하고 이러한 선택제약 명사 클래스를 사용하여 문법 검사기 규칙을 일반화하는 방안을 제안한다. 실험 결과, 혼동하기 쉬운 네 개의 용언에 대해 목적어로 사용된 명사를 선택제약 명사 클래스로 일반화하여 문법 검사기 오류 결정 규칙 수를 평균 64.8%로 줄였고 기존 명사를 사용한 문법 검사기보다 정확도 측면에서 평균 약 6.2%정도 향상된 결과를 얻을 수 있었다.

선택 제약 명사의 의미 범주 정보를 이용한 용언의 문맥 의존 오류 검사 및 교정 (The Detection and Correction of Context Dependent Errors of The Predicate using Noun Classes of Selectional Restrictions)

  • 소길자;권혁철
    • 한국정보통신학회논문지
    • /
    • 제18권1호
    • /
    • pp.25-31
    • /
    • 2014
  • 현재 실용화된 국내 문법 검사기는 경험적으로 구축된 오류 결정 규칙을 이용해 주위의 문맥을 보고 문법 오류를 판단하는 문맥 의존 오류를 처리하고 있다. 그러나 기존 문법 검사기의 오류 결정 규칙은 어휘 수준으로 구축되어 있어 검사기의 재현율이 낮다. 따라서 어휘대신 어휘 범주 정보를 사용하여 오류 결정 규칙을 일반화할 필요가 있다. 본 논문에서는 검사단어가 용언일 때 선택 제약 명사의 의미 범주를 국내에서 개발된 어휘의미망 KorLex에서 TCM과 MDL을 이용해 추출하고 추출된 의미 범주를 이용해 용언의 오류 결정 규칙을 일반화하는 방법을 제안한다.