• 제목/요약/키워드: 정보의 모호성

검색결과 488건 처리시간 0.031초

언어지식을 이용한 형태소 해석의 모호성 축소 (Morphological Ambiguity Reduction Using Linguistic Knowledge)

  • 김재훈;김길창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.231-234
    • /
    • 1996
  • 가능한 모든 형태소 해석을 찾아내는 한국어 형태소 해석기들은 필요 이상으로 많은 수의 형태소 해석 결과를 생성하기 때문에, 자연언어 처리 시스템의 상위 과정, 즉 구문해석, 의미해석 등에 큰 도움이 되지 못하고 있는 실정이다. 이러한 문제점을 해결하기 위해서, 본 논문에서는 어휘화된 배열규칙과 형태적 포섭관계와 같은 언어지식을 이용해서, 형태소 해석의 모호성 축소 방법을 제안하고자 한다. 실험 및 평가를 위해서 KAIST 말뭉치를 이용하였으며, 평가의 기준을 설정하기 위해서 품사 쌍의 접속정보를 배열규칙으로 하는 한국어 형태소 해석기를 사용하였다. 어휘화된 배열규칙과 형태적 포섭관계를 이용했을 경우, 각각 54%와 40.4%의 형태소 해석의 모호성 감소율을 보였으며, 이들 두 방법을 동시에 적용했을 경우, 67.5%의 형태소 해석의 모호성 감소율을 보였다.

  • PDF

한국어에서 Viterbi 형태소 복원 (Viterbi Morpheme Restoration in Korean)

  • 이제승;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.536-539
    • /
    • 2021
  • 본 논문은 한국어에서 형태소 복원을 위한 새로운 방법을 제안한다. 일반적으로 기계학습 기반 형태소 분석에서 형태소 복원은 기분석 사전과 약간의 경험규칙을 이용한다. 이와 같은 방법은 모호성을 해결하기 위해 사전에 모든 정보를 저장하는 것이 불가능할 뿐 아니라 단음절 이형태의 모호성을 해결할 수 없을 것이다. 이러한 문제를 완화하기 위해 본 논문에서는 생성된 모호성을 Viterbi 알고리즘을 이용해서 해소한다. 본 논문의 형태소 복원 과정은 기본적으로 기분석 사전과 약간의 경험규칙을 이용하여 형태소 복원 후보를 찾고 여러 후보가 있을 경우(모호성의 생성), 그 결과를 Viterbi 알고리즘으로 이형태를 결정한다. 실험을 위해 모두의 말뭉치(형태 분석)를 사용하고, 평가는 NER 방식으로 평가한다. 그 결과 품사 부착에 대해 96.28%정도의 성능을 보여주었다.

  • PDF

복합 단위 정보를 이용한 차트 파서 (Chart Parser Using Compound Unit Information)

  • 정한민;여상화;김태완;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.291-295
    • /
    • 1997
  • 본 논문은 복합 단위 정보를 이용하여 모호성을 감소시키고 자연스러운 대역어 정보를 제공할 수 있는 차트파서를 기술한다. 복합 단위 정보를 사용하는 파싱은 태깅과 구문 분석 과정 사이에서 여러 단어들을 하나의 단위로 만들어서 형태론적/구문적 모호성과 파스 트리의 수를 감소시킨다. 우리는 Bottom-up 차트 파싱을 사용하는데, 이는 모호성 있는 태깅 결과가 많을수록 파스 트리의 생성 시간과 수의 증가를 초래하므로 복합 단위를 사용하여 파서에 대한 입력 단어의 수 및 모호성을 감소시켜 안정적인 파싱 결과를 얻을 수 있게 한다. 실험 결과는 복합 단위 정보를 사용한 차트 파싱이 차트들의 크기와 파스 트리의 수를 50%까지 감소시킴을 보여준다.

  • PDF

국소 구문 관계 및 의미 공기 정보에 기반한 명사 의미 모호성 해소 (Word Sense Disambiguation Based on Local Syntactic Relations and Sense Co-occurrence Information)

  • 김영길;홍문표;김창현;서영애;양성일;류철;황은하;최승권;박상규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.184-188
    • /
    • 2002
  • 본 논문에서는 단순히 주변에 위치하는 어휘들간의 문맥 공기 정보를 이용하는 방식과는 달리 국소 구문 관계 및 의미 공기 정보에 기반한 명사 의미 모호성 해소 방안을 제안한다. 기존의 WSD 방법은 구조 분석의 어려움으로 인하여 문장의 구문 관계를 충분히 고려하지 못하고 주변 어휘들과의 공기 관계로 그 의미를 파악하려 했다. 그러나 본 논문에서는 동사구의 논항 의미 관계뿐만 아니라 명사구내에서의 의미 관계도 고려한 국소 구문관계를 고려한 명사 의미 모호성 해소 방법을 제안한다. 이 때, 명사들의 의미는 자동번역 시스템의 목적에 맞게 공기(co-occurrence)하는 동사들에 따라 분류하였다. 그리고 한중 자동 번역 지식으로 사용되는 명사 의미 코드가 부착된 74,880 의미 격틀의 의미 공기정보를 이용하였으며 형태소 태깅된 말뭉치로부터 의미모호성이 발생하지 않게 의미 공기정보 및 명사구 의미 공기 정보를 자동으로 추출하였다. 실험 결과, 의미 모호성이 발생하는 명사들에 대해서 83.9%의 의미 모호성 해소 정확률을 보였다.

  • PDF

한국어 단어 정의 벡터를 이용한 단어 의미 모호성 해소 (Word Sense Disambiguation Using Korean Word Definition Vectors)

  • 박정연;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.195-198
    • /
    • 2021
  • 기존 연구에 따르면, 시소러스의 계층적 관계를 기반으로 압축한 의미 어휘 태그를 단어 의미 모호성 해소에 사용할 경우, 그 성능이 향상되었다. 본 논문에서는 시소러스를 사용하지 않고, 국어 사전에 포함된 단어의 의미 정의를 군집화하여 압축된 의미 어휘 태그를 만드는 방법을 제안한다. 또, 이를 이용하여 효율적으로 단어 의미 모호성을 해소하는 BERT 기반의 딥러닝 모델을 제안한다. 한국어 세종 의미 부착 말뭉치로 실험한 결과, 제안한 방법의 성능이 F1 97.21%로 기존 방법의 성능 F1 95.58%보다 1.63%p 향상되었다.

  • PDF

모호성 식별에 의한 불확실성 제거에 관한 연구 (Study for Remove of Uncertainty by Identification of Ambiguity)

  • 이은서
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권1호
    • /
    • pp.31-36
    • /
    • 2015
  • 많은 불확실성 항목들은 소프트웨어 실행 시에 존재한다. 특히, 유사한 분야에서 전반적인 시스템에 많은 영향을 주게 된다. 불확실성 요소와 같은 모호성 요소의 관리는 소프트웨어 신뢰성을 위하여 중요한 요소가 된다. 따라서 모호성을 식별하여 불확실성 요소를 제거하도록 판단기준을 프로세스화 하였다. 또한 본 연구에서는 소프트웨어 개발 시, 모호성을 제거하기 위한 불확실성 식별 기준과 불확실성 처리 프로세스 및 정량적인 평가에 대하여 제시한다.

모호성을 고려한 이동 객체의 시간 패턴 탐사 (Temporal Pattern Mining of Moving Objects considering Ambiguity)

  • 이양우;이준욱;김룡;류근호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.7-9
    • /
    • 2002
  • 위치 기반 서비스가 무선 인터넷의 새로운 이슈로 떠오르고 있다. 이동 객체의 패턴 마이닝은 이동 객체의 시간 패턴을 탐사함으로써 이동 객체에 위치에 기반한 유용한 서비스를 제공할 수 있게 해준다. 이동 객체는 시간에 따라 빈번하게 이동하기 때문에 패턴도 최근의 경향을 반영하기 위해 빈번하게 탐사되어야 한다. 따라서 점진적으로 시간 패턴을 탐사하는 접근법이 요구된다. 이 논문에서는 이동 객체의 시간 패턴을 탐사하는데 있어서 측정된 위치 데이터가 가질 수 있는 모호성을 제시했다. 또한 모호성을 고려한 시간 패턴 마이닝를 위해 패턴 탐사 단계에서의 모호성의 처리를 위해 모호성을 원인에 따라 세 가지 임계치를 정의하였다. 그리고 이러한 임계치를 고려한 시간 패턴 마이닝 프로시저 구조를 제시하였다.

  • PDF

C# 프로그램의 정적 분할 (Static Slicing of C# Programs)

  • 강성관;고훈준;김기태;조선문;유원희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.925-928
    • /
    • 2004
  • C# 언어로 작성된 프로그램에서 기존의 객체 지향 프로그램에서 이용하던 정적 분할 방법을 적용한다. 기존의 두 경로 그래프 도달 가능성 분할 알고리즘을 적용하였을 때 프로시져들 간의 전이적인 종속 관계를 표현하는 요약 간선만을 이용하면 두 번째 경로에서 역 추적 할 때 모호성이 발생한다. 이러한 모호성은 C#의 이벤트, 델리게이트(delegate)들과 메소드의 다형적 호출 관계에서 발생될 수 있다. 본 논문은 호출된 프로시져의 호출하는 문맥을 설명하기 위하여 호출 지점에서 요약 간선 및 경로 간선을 이용하여 C#에서 다형적 호출에 대한 시스템 종속성 그래프(system dependence graph)에 대한 새로운 표현을 제안한다. 이 방법은 다형적 호출에서 발생하는 모호성을 해결할 수 있다.

  • PDF

단어 의미 모호성 해소를 위한 군집화된 의미 어휘의 품질 향상 (Improving Clustered Sense Labels for Word Sense Disambiguation)

  • 박정연;신형진;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.268-271
    • /
    • 2022
  • 단어 의미 모호성 해소는 동형이의어의 의미를 문맥에 맞게 결정하는 일이다. 최근 연구에서는 희소 데이터 처리를 위해 시소러스를 사용해 의미 어휘를 압축하고 사용하는 방법이 좋은 성능을 보였다[1]. 본 연구에서는 시소러스 없이 군집화 알고리즘으로 의미 어휘를 압축하는 방법의 성능 향상을 위해 두 가지 방법을 제안한다. 첫째, 의미적으로 유사한 의미 어휘 집합인 범주(category) 정보를 군집화를 위한 초기 군집 생성에 사용한다. 둘째, 다양하고 많은 문맥 정보를 학습해 만들어진 품질 좋은 벡터를 군집화에 사용한다. 영어데이터인 SemCor 데이터를 학습하고 Senseval, Semeval 5개 데이터로 평가한 결과, 제안한 방법의 평균 성능이 기존 연구보다 1.5%p 높은 F1 70.6%를 달성했다.

  • PDF

한국어-영어/일본어-영어 교차언어정보검색에서 클러스터 분석을 통한 성능 향상 (Performance Improvement by Cluster Analysis in Korean-English and Japanese-English Cross-Language Information Retrieval)

  • 이경순
    • 정보처리학회논문지B
    • /
    • 제11B권2호
    • /
    • pp.233-240
    • /
    • 2004
  • 본 논문에서는 교차언어정보검색에서 점진적 클러스터링을 통해서 모호성을 묵시적으로 해소하는 방법을 제안한다. 연구 목적은 질의 번역에서 모호성이 크게 증가된 상태에서 문서 클러스터가 문서 문맥 역할과 모호성 해소 역할을 하는지를 보고자 하는 것이다. 제안하는 방법은 한국어/일본어 질의를 사전을 이용하여 영어로 번역을 하고, 번역된 영어 질의에 대해서 벡터공간검색모델이나 확률검색모델에 의해서 문서를 검색한다 검색된 문서의 순위대로 점진적 클러스터를 동적으로 생성하고, 이 클러스터 정보를 질의에 반영해서 문서의 순위를 다시 결정하는 것이다. TREC 테스트컬렉션을 이용한 실험에서 모호성 해소를 하지 않은 질의에 대해서, 제안한 방법은 한국어-영어 교차언어정보검색에서는 벡터공간검색모델에서 39.41%의 성능향상, 확률검색모델에서 36.79%의 성능향상을 보였다. 일-영 교차언어정보검색에서는 각각 17.59%와 30.46%의 성능향상을 보였다. 적합성 피드백 방법과의 비교에서는 모호성 해소를 하지 않은 경우 확률검색모델에서 12.30%의 성능향상을 보였다. 이를 통해, 클러스터 분석은 질의 모호성 해소에 도움을 주어서 검색성능 향상에 기여하였음을 알 수 있다.