• 제목/요약/키워드: disambiguation

검색결과 218건 처리시간 0.027초

한국어 단어 공간 모델을 이용한 단어 의미 중의성 해소 (Word Sense Disambiguation using Korean Word Space Model)

  • 박용민;이재성
    • 한국콘텐츠학회논문지
    • /
    • 제12권6호
    • /
    • pp.41-47
    • /
    • 2012
  • 한국어 단어의 의미 중의성 해소 방법들은 주로 소규모의 의미 태그 부착 말뭉치나 사전 정보 등을 이용하여 엔트로피 정보, 조건부 확률, 상호정보 등을 각각 계산하고 이를 중의성 해소에 이용하는 방법 등으로 다양하게 제안되었다. 본 논문에서는 대규모로 구축된 의미 태그 부착 말뭉치를 이용하여 한국어 단어 벡터를 추출하고 이 벡터들 사이의 유사도를 계산하여 단어 의미 중의성을 해소하는 단어 공간 모델 방법을 제안한다. 세종 형태의미분석 말뭉치를 사용하여 학습하고 임의의 200문장(583 단어 종류)에 대해 평가한 결과, 정확도가 94%로 기존의 방법에 비해 매우 우수했다.

직관 실험 및 코퍼스를 바탕으로 한 의미 중의성 해소 계산 모형 연구 (A Study on the Computational Model of Word Sense Disambiguation, based on Corpora and Experiments on Native Speaker's Intuition)

  • 김동성;최재웅
    • 인지과학
    • /
    • 제17권4호
    • /
    • pp.303-321
    • /
    • 2006
  • 본 논문은 의미 중의성 해소에 대한 화자의 직관의 계산 모형에 대한 연구로 Harris (1964)의 '분포가설'에 근거하여 핵심어와 공기하는 어휘들에 대한 분포적 정규성을 포착하는 언어 직관의 계산 모형을 제안한다. 이를 위해 분포적 정규성에 대한 화자의 처리 계산 모형을 파악하기 위하여 심리언어학적 실험을 실시하고 그 결과를 분석한다. 계산 모형으로는 논리 모형, 확률 모형, 그리고 확률 추론 모형의 세가지 모형이 설정되었다. 실험은 두 가지로 구성되었다. 첫 번째는 100만 어절 코퍼스에서 추출된 문장을 화자 직관으로 의미를 식별하는 실험이었다. 이 실험에서는 응답간 일치도가 98%로 나왔다. 두 번째 실험은, 제한된 환경에서 실험자의 반응을 관찰하기 위한 것으로, 분열문이라는 환경을 통해 핵심어와 공기어사이의 의미 관계를 살펴보았다. 또한 100만 어절 코퍼스에서 관찰된 수치와 실험에서 관찰된 관찰치사이의 상관성을 피어슨의 상관계수로 측정하였다. 그러한 측정 결과 실제 코퍼스에서 관찰되는 현상은 논리모형과 상관성이 있었고, 제한된 환경에서 실시한 결과는 확률 모형과 상관성이 있었다. 이 실험결과는 논리 모형이 우선적으로 의미 분류에 관여하나, 만약 논리 모형이 적용되지 않을 경우 확률 모형이 관여함을 보여 준다. 아울러 의미 결정 모형의 관점에서는 논리 모형이 정확하게 직관모형을 예측할 수 있었고, 확률추론 모형도 직관모형을 근사치에 가깝게 예측할 수 있었다.

  • PDF

다의어 분별 정확률 개선을 위한 보조사의 통사격 결정 (Determining a Syntactic Case of Auxiliary Postposition for Improving Accuracy of Polysemy Word-Sense-Disambiguation)

  • 신준철;옥철영
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.102-104
    • /
    • 2016
  • 하위범주화는 술어와 보어간의 의존 관계를 정의하는 언어정보로서 다의어 태깅이나 이 외에 자연어처리의 다양한 곳에 이용될 수 있다. 그러나 하위범주화에서 다루는 필수논항은 격조사로 표현되어 실제로 한국어에서 자주 나타나는 보조사는 여기에 포함되지 않는다. 이런 문제 때문에 하위범주화네 나타난 격조사만을 그대로 이용하려고 하면 재현율에 큰 문제가 발생하게 된다. 본 논문에서는 문장에서 격조사 대신 보조사가 사용되었을 때 하위범주화의 필수논항으로 인정할 수 있는 방법을 제시하고, 특히 보조사에 적용할 경우에 생기는 이점을 실험으로 증명한다.

  • PDF

English Syntactic Disambiguation Using Parser's Ambiguity Type Information

  • Lee, Jae-Won;Kim, Sung-Dong;Chae, Jin-Seok;Lee, Jong-Woo;Kim, Do-Hyung
    • ETRI Journal
    • /
    • 제25권4호
    • /
    • pp.219-230
    • /
    • 2003
  • This paper describes a rule-based approach for syntactic disambiguation used by the English sentence parser in E-TRAN 2001, an English-Korean machine translation system. We propose Parser's Ambiguity Type Information (PATI) to automatically identify the types of ambiguities observed in competing candidate trees produced by the parser and synthesize the types into a formal representation. PATI provides an efficient way of encoding knowledge into grammar rules and calculating rule preference scores from a relatively small training corpus. In the overall scoring scheme for sorting the candidate trees, the rule preference scores are combined with other preference functions that are based on statistical information. We compare the enhanced grammar with the initial one in terms of the amount of ambiguity. The experimental results show that the rule preference scores could significantly increase the accuracy of ambiguity resolution.

  • PDF

무제한 정보 추출을 이용한 지식베이스 확장 (Incremental Ontology Building Using Open Information Extraction)

  • 김병수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.228-232
    • /
    • 2014
  • 지식 베이스(Knowledge Base)는 주어진 질의 문에 대한 잠재적인 답과 답에 대한 단서가 될 수 있는 구조화된 형태의 정보를 포함하고 있기 때문에 질의응답 시스템에서 매우 중요하다. 하지만 비록 DBpedia, Freebase, YAGO 등과 같이 이용 가능한 여러 개의 지식 베이스가 존재함에도 불구하고 이러한 지식 베이스에 포함되어 있는 정보는 웹(Web)상에 존재하는 정보에 비하면 매우 제한적이다. 본 논문에서는 무제한 정보 추출 기술을 이용하여 정형화되지 않은 텍스트로부터 트리플(Triple)을 추출하고, 추출된 트리플의 각 개체 및 관계 어휘를 대상 온톨로지(Ontology) 상의 어휘에 사상시킴으로써 지식 베이스를 확장 시키는 방법을 제안한다. 이를 통하여 무제한 정보 추출 방법과 명확화(Disambiguation) 기술이 지식 베이스를 확장시키는데 어떻게 사용될 수 있고, 어떠한 요소가 전체 시스템의 주된 성능 저하를 일으키며 개선되어야 하는지 알아보도록 한다.

  • PDF

정보량과 개념적 밀도를 이용한 단어 의미 중의성 해결 (Word Sense Disambiguation using the Information Content and the Conceptual Density)

  • 조미영;김판구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.445-448
    • /
    • 2005
  • 기존의 정보 검색은 단순 키워드 매칭에 의한 패턴 매칭으로 의미적 정보 검색에는 한계가 있다. 이를 해결하기 위한 많은 연구가 이루어졌으나 질의 혹은 문서에 중의적 의미를 가진 단어를 포함하고 있는 경우에 검색시 문제가 되었다. 이에 본 논문에서는 WordNet기반의 단어 빈도수를 고려한 정보량과 단어 영역내 존재하는 노드 수를 고려한 개념적 밀도를 이용한 WSD(Word Sense Disambiguation)를 제안한다. SemCor를 이용하여 테스트한 결과 두 요소를 결합한 방법에 의해 WSD가 약 20% 향상되었다.

  • PDF

의미그룹을 이용한 단어 중의성 해소 (Word Sense Disambiguation using Meaning Groups)

  • 김은진;이수원
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권6호
    • /
    • pp.747-751
    • /
    • 2010
  • 본 연구에서는 기계 가독형 사전 정보를 이용하여 중의어 의미 태깅을 위한 학습에 사용될 양질의 의미부착 데이터를 자동 생성하여 중의어 태깅 정확도를 향상시키는 방법을 제안한다. 또한 중의어의 의미별로 특징있는 주변 단어를 원소로 갖는 의미그룹을 생성하고, 의미그룹내 중요 자질의 가중치 선정에 집중도 개념을 도입하여 태깅 정확도를 높인다. SENSEVAL-2 데이터를 사용하여 태깅 정확도를 평가한 결과 본 연구에서 제안한 방법이 기존의 방법보다 정확도를 향상시킨 것으로 나타났다.

워드넷과 구글에 기반한 온톨로지 개체의 일반화 (Generalization of Ontology Instances Based on WordNet and Google)

  • 강신재;강인수
    • 한국지능시스템학회논문지
    • /
    • 제19권3호
    • /
    • pp.363-370
    • /
    • 2009
  • 본 논문은 온톨로지의 지식을 확장하기 위하여 웹 페이지 등 텍스트에서 추출된 온톨로지 개체(ontology instances)를 일반화하는 방법을 제시한다. 이를 위해서는 단어 의미 중의성 해소 과정이 필수적인데, 구글, 워드넷과 같은 오픈 API와 어휘 리소스를 이용하여 비교사학습 방법으로 해결하는 방법을 제안한다. 실험 결과 기존 연구에 비해 15.8%의 성능 향상을 얻을 수 있었다.

다의어 분별 정확률 개선을 위한 보조사의 통사격 결정 (Determining a Syntactic Case of Auxiliary Postposition for Improving Accuracy of Polysemy Word-Sense-Disambiguation)

  • 신준철;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.102-104
    • /
    • 2016
  • 하위범주화는 술어와 보어간의 의존 관계를 정의하는 언어정보로서 다의어 태깅이나 이 외에 자연어처리의 다양한 곳에 이용될 수 있다. 그러나 하위범주화에서 다루는 필수논항은 격조사로 표현되어 실제로 한국어에서 자주 나타나는 보조사는 여기에 포함되지 않는다. 이런 문제 때문에 하위범주화네 나타난 격조사만을 그대로 이용하려고 하면 재현율에 큰 문제가 발생하게 된다. 본 논문에서는 문장에서 격조사 대신 보조사가 사용되었을 때 하위범주화의 필수논항으로 인정할 수 있는 방법을 제시하고, 특히 보조사에 적용할 경우에 생기는 이점을 실험으로 증명한다.

  • PDF