• 제목/요약/키워드: disambiguation

검색결과 218건 처리시간 0.029초

단어 중의성 해소를 위한 지도학습 방법의 통계적 자질선정에 관한 연구 (A Study on Statistical Feature Selection with Supervised Learning for Word Sense Disambiguation)

  • 이용구
    • 한국비블리아학회지
    • /
    • 제22권2호
    • /
    • pp.5-25
    • /
    • 2011
  • 이 연구는 지도학습 방법을 이용한 단어 중의성 해소가 최적의 성능을 가져오는 통계적 자질선정 방법과 다양한 문맥의 크기를 파악하고자 하였다. 실험집단인 한글 신문기사에 자질선정 기준으로 정보획득량, 카이제곱 통계량, 문헌빈도, 적합성 함수 등을 적용하였다. 실험 결과, 텍스트 범주화 기법과 같이 단어 중의성 해소에서도 자질선정 방법이 매우 유용한 수단이 됨을 알 수 있었다. 실험에 적용한 자질선중 기준 중에 정보획득량이 가장 좋은 성능을 보였다. SVM 분류기는 자질집합 크기와 문맥 크기가 클수록 더 좋은 성능을 보여 자질선정에 영향을 받지 않았다. 나이브 베이즈 분류기는 10% 정도의 자질집합 크기에서 가장 좋은 성능을 보였다. kNN의 경우 10% 이하의 자질에서 가장 좋은 성능을 보였다. 단어 중의성 해소를 위한 자질선정을 적용할 때 작은 자질집합 크기와 큰 문맥 크기를 조합하거나, 반대로 큰 자질집합 크기와 작은 문맥 크기를 조합하면 성능을 극대화 할 수 있다.

Word2Vec을 이용한 반복적 접근 방식의 그래프 기반 단어 중의성 해소 (An Iterative Approach to Graph-based Word Sense Disambiguation Using Word2Vec)

  • 오동석;강상우;서정연
    • 인지과학
    • /
    • 제27권1호
    • /
    • pp.43-60
    • /
    • 2016
  • 지식기반을 이용한 비지도 방법의 단어 중의성 해소 연구는 그래프 기반 단어 중의성 해소 방법에 중점을 두고 있다. 그래프 기반 방법은 중의성 단어와 문맥이나 문장에서 같이 등장한 단어들과 의미그래프를 구축하여 연결 관계를 보고 중의성을 해소한다. 하지만, 모든 중의성 단어를 가지고 의미 그래프를 구축하게 되면 불필요한 간선과 노드 정보가 추가되어 오류를 증가시킨다는 단점이 있다. 본 연구에서는 이러한 문제를 해결하고자 반복적 접근 방식의 그래프 기반 단어 중의성 해소 방식을 사용한다. 이 방식은 모든 중의성 단어들을 특정 기준에 의해서 단어를 매칭 하고 매칭 된 단어들을 반복적으로 그래프를 재구축하여 단어중의성을 해소한다. 본 연구에서는 Word2Vec을 이용하여 문맥이나 문장 내에 중의성 단어와 의미적으로 가장 유사한 단어끼리 매칭하고, 매칭 된 단어들을 순서대로 그래프를 재구축하여 중의성 단어의 의미를 결정하였다. 결과적으로 Word2Vec의 단어 벡터정보를 이용하여 이전에 연구 되었던 그래프 기반 방법과 반복적 접근 방식의 그래프 기반 방법보다 더 높은 성능을 보여준다.

  • PDF

인용분석에서의 모호한 저자명 식별을 위한 방법들에 관한 고찰 (Review of Author Name Disambiguation Techniques for Citation Analysis)

  • 김현정
    • 한국비블리아학회지
    • /
    • 제23권3호
    • /
    • pp.5-17
    • /
    • 2012
  • 서지 데이터베이스를 이용한 인용분석연구를 진행하기 이전에 이루어져야 할 과정 중 하나가 모호한 저자명의 식별이라고 할 수 있다. 대부분 서지 데이터베이스에는 저자의 성(姓)과 이름의 이니셜만을 표기하는 경우가 많은데, 중국이나 한국 등 아시아 국가 출신의 연구자들은 같은 성을 가진 사람이 매우 많고, 이름의 이니셜까지 같은 경우도 상당히 많아서 이름검색만으로 찾고자 하는 저자를 식별해내기가 쉽지 않기 때문이다. 아시아 국가 출신의 학자들이 유난히 많은 연구분야들에서는 이러한 문제들이 더더욱 큰 문제가 되며, 인용분석 뿐만 아니라 일반적인 정보검색에서도 매우 중요한 요인이 될 수 있다. 모호한 저자명을 식별해내는 방법에는 자동화된 알고리듬을 이용하여 각각의 저자를 식별해내는 방법과 저자 클러스터링을 얻어내기 위해 일일이 수작업으로 데이터셋을 구축하는 방법, 그리고 두 가지 방법을 혼용한 반자동화된 방법 등이 있다. 본 연구는 "모호한 저자명 식별"을 위해 개발된 여러 가지 방법들을 고찰해보기로 한다.

한국어 어휘 중의성 해소에서 어휘 확률에 대한 효과적인 평가 방법 (An Effective Estimation method for Lexical Probabilities in Korean Lexical Disambiguation)

  • 이하규
    • 한국정보처리학회논문지
    • /
    • 제3권6호
    • /
    • pp.1588-1597
    • /
    • 1996
  • 본 논문은 한국어 어휘 중의성 해소(lexical disambiguation)에서 어휘 확률 (lexical probability) 평가방법에 대해 기술하고 있다. 통계적 접근 방법의 어휘 중 의성 해소에서는 일반적으로 말뭉치(corpus)로부터 추출된 통계 자료에 기초하여 어 휘 확률과 문맥 확률(contextual probability)을 평가한다. 한국어는 어절별로 띄어 쓰기가 이루어지므로 어절 단위로 어휘 확률을 적용하는 것이 바람직하다. 하지만 한 국어는 어절의 다양성이 심하기 때문에 상당히 큰 말뭉치를 사용하더라도 어절 단위 로는 어휘 확률을 직접 평가할 수 없는 경우가 다소 있다. 이러한 문제점을 극복하기 위해 본 연구에서는 어휘 분석 측면에서 어절의 유사성을 정의하고 이에 기반을 둔 한국어 어휘 확률 평가 방법을 제안한다. 이 방법에서는 어떤 어절에 대해 어휘 확률 을 직접 평가할 수 없는 경우 이와 어휘 분석이 유사한 어절들을 통해 간접적으로 평 가한다. 실험결과 제안된 접근방법이 한국어 어휘 중의성 해소에 효과적인 것으로 나 타나고 있다.

  • PDF

종속격 정보를 적용한 동사 의미 중의성 해소 (Verb Sense Disambiguation using Subordinating Case Information)

  • 박요셉;신준철;옥철영;박혁로
    • 정보처리학회논문지B
    • /
    • 제18B권4호
    • /
    • pp.241-248
    • /
    • 2011
  • 동형이의어는 여러 가지 의미를 가진 단어를 의미한다. 문장의 의미를 이해하기 위해서는 필수적으로 문장에 포함된 동형이의어의 의미를 결정해야 한다. 기존의 단어 의미 중의성 연구들은 공기 빈도를 기반으로 해결하였다. 하지만, 동사의 경우에는 정확도 향상을 위해서 격 정보가 중요하다. 왜냐하면, 동사 동형이의어의 의미는 행위의 주체나 객체에 따라 결정되어서 종속격(목적격, 부사격, 보격) 정보가 필요하며, 동사동형이의어 의미마다 서로 다른 격 정보가 필요하기 때문이다. 본 논문에서는 한국어 격 정보를 적용한 동사 의미 중의성 해소를 제안한다. 격정보는 표준국어대사전에 명시된 조사 정보를 이용하였다. 실험은 고빈도 동형이의어 12개를 대상으로 하였으며, 실험결과 정확도가 기존의 97.3%에서 98.7%로 1.34% 향상되었다. 이는 원래의 오류율을 2.7%에서 1.3%으로 절반정도 줄였다.

세종 전자사전과 한국어 어휘의미망을 이용한 용언의 어의 중의성 해소 (Word Sense Disambiguation of Predicate using Sejong Electronic Dictionary and KorLex)

  • 강상욱;김민호;권혁철;전성규;오주현
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권7호
    • /
    • pp.500-505
    • /
    • 2015
  • 21세기 세종계획을 통하여 개발된 세종 전자사전은 한국어 어휘의 내재정보에 대한 체계적인 분석 정보를 담고 있다. 이는 일반적으로 사용하는 텍스트 사전이 가지는 전산적 표상 문제를 해결하는데 많은 도움을 주고 있다. 자연언어처리 분야에서 끊이지 않는 문제인 어의 중의성 해소(Word Sense Disambiguation) 문제 또한 세종 전자사전의 상세 정보를 이용하여 해결할 수 있지만, 실제 제시된 문형과 논항의 선택제약 명사로는 어의 중의성 해소 문제를 해결하는 데 한계를 보인다. 본 연구에서는 세종 전자사전의 용언 하위범주화 정보를 이용한 어의 중의성 해소의 한계점을 보이고, 한국어 어휘의미망(Korean Lexico-semantic network)을 이용하여 논항의 선택제약 정보를 일반화한다.

중의적 문장 인지에 있어서의 구경계의 영향 (The Influence of Phrasing on the Perception of Ambiguous Sentences)

  • 강선미;김기호;이주경
    • 음성과학
    • /
    • 제14권4호
    • /
    • pp.65-80
    • /
    • 2007
  • This experimental study is designed to investigate the acoustic cues produced by English native speakers in order to disambiguate the ambiguous sentences. This study also investigates whether Korean learners of English and English native speakers can perceive the appropriate meanings from the sentences produced with those acoustic cues. In the perception test, English native speakers successfully found out the proper meaning, utilizing the intonational cues, while Korean learners had difficulties in distinguishing the differences in meaning. The break interval was manipulated in order to see whether the pause duration facilitates or interferes with disambiguation. Though phrasing played an important role in disambiguation, the break interval itself did not have influence on it. The result, therefore, suggests that the tonal realization of phrasal accents and boundary tones seem to be more significant than the break interval in the perception of phrasing.

  • PDF

Prosodic Disambiguation of Low versus High Syntactic Attachment across Lexical Biases in English

  • Jeon, Yoon-Shil;Yoon, Kyu-Chul
    • 말소리와 음성과학
    • /
    • 제4권1호
    • /
    • pp.55-65
    • /
    • 2012
  • In this study, the prosodic disambiguation of the syntactic attachment differences was investigated in relation to the effect of lexical bias. Speech materials were composed of N1-conj-N2-PP phrases such as "walkers and runners with dogs." The results show that the use of durational pattern is dominant over the pitch pattern to differentiate the attachment differences. The characteristic pitch contour was the rise and fall over N1 and N2 in the high attachment. The pitch contour in the low attachment was the rise and fall over N2 and N3 although the frequency of such patterns was lower for the low attachment case. For the durational pattern, the lengthening in the N2 region plays a significant role in the disambiguation of the syntactic attachments. The interaction between the lexical bias and the syntactic attachment was not statistically significant in the duration data.

억양을 통한 부정문의 중의성 해소 방안 연구 (Disambiguation of Negative Sentences by Intonation)

  • 김소희;공은정;강선미;이용재
    • 음성과학
    • /
    • 제7권4호
    • /
    • pp.187-202
    • /
    • 2000
  • The negative sentence may have an ambiguity depending on which constituent of the sentence is negated. In case of sentence final adverbials, whether they are included in the scope of negation generates the semantic ambiguity. Since sentences with ambiguous meanings have the same word order, the differences of the meanings in different contexts should be manifested with intonational cues. This article represents how intonation contributes to the disambiguation in negative sentences with ambiguity and which phonological/phonetic cues are specifically used in the course of the disambiguation.

  • PDF

A Korean Homonym Disambiguation System Based on Statistical, Model Using weights

  • Kim, Jun-Su;Lee, Wang-Woo;Kim, Chang-Hwan;Ock, Cheol-young
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.166-176
    • /
    • 2002
  • A homonym could be disambiguated by another words in the context as nouns, predicates used with the homonym. This paper using semantic information (co-occurrence data) obtained from definitions of part of speech (POS) tagged UMRD-S$^1$), In this research, we have analyzed the result of an experiment on a homonym disambiguation system based on statistical model, to which Bayes'theorem is applied, and suggested a model established of the weight of sense rate and the weight of distance to the adjacent words to improve the accuracy. The result of applying the homonym disambiguation system using semantic information to disambiguating homonyms appearing on the dictionary definition sentences showed average accuracy of 98.32% with regard to the most frequent 200 homonyms. We selected 49 (31 substantives and 18 predicates) out of the 200 homonyms that were used in the experiment, and performed an experiment on 50,703 sentences extracted from Sejong Project tagged corpus (i.e. a corpus of morphologically analyzed words) of 3.5 million words that includes one of the 49 homonyms. The result of experimenting by assigning the weight of sense rate(prior probability) and the weight of distance concerning the 5 words at the front/behind the homonym to be disambiguated showed better accuracy than disambiguation systems based on existing statistical models by 2.93%,

  • PDF