• Title/Summary/Keyword: 중의성

Search Result 4,485, Processing Time 0.037 seconds

Korean Word Sense Disambiguation using Dictionary and Corpus (사전과 말뭉치를 이용한 한국어 단어 중의성 해소)

  • Jeong, Hanjo;Park, Byeonghwa
    • Journal of Intelligence and Information Systems
    • /
    • v.21 no.1
    • /
    • pp.1-13
    • /
    • 2015
  • As opinion mining in big data applications has been highlighted, a lot of research on unstructured data has made. Lots of social media on the Internet generate unstructured or semi-structured data every second and they are often made by natural or human languages we use in daily life. Many words in human languages have multiple meanings or senses. In this result, it is very difficult for computers to extract useful information from these datasets. Traditional web search engines are usually based on keyword search, resulting in incorrect search results which are far from users' intentions. Even though a lot of progress in enhancing the performance of search engines has made over the last years in order to provide users with appropriate results, there is still so much to improve it. Word sense disambiguation can play a very important role in dealing with natural language processing and is considered as one of the most difficult problems in this area. Major approaches to word sense disambiguation can be classified as knowledge-base, supervised corpus-based, and unsupervised corpus-based approaches. This paper presents a method which automatically generates a corpus for word sense disambiguation by taking advantage of examples in existing dictionaries and avoids expensive sense tagging processes. It experiments the effectiveness of the method based on Naïve Bayes Model, which is one of supervised learning algorithms, by using Korean standard unabridged dictionary and Sejong Corpus. Korean standard unabridged dictionary has approximately 57,000 sentences. Sejong Corpus has about 790,000 sentences tagged with part-of-speech and senses all together. For the experiment of this study, Korean standard unabridged dictionary and Sejong Corpus were experimented as a combination and separate entities using cross validation. Only nouns, target subjects in word sense disambiguation, were selected. 93,522 word senses among 265,655 nouns and 56,914 sentences from related proverbs and examples were additionally combined in the corpus. Sejong Corpus was easily merged with Korean standard unabridged dictionary because Sejong Corpus was tagged based on sense indices defined by Korean standard unabridged dictionary. Sense vectors were formed after the merged corpus was created. Terms used in creating sense vectors were added in the named entity dictionary of Korean morphological analyzer. By using the extended named entity dictionary, term vectors were extracted from the input sentences and then term vectors for the sentences were created. Given the extracted term vector and the sense vector model made during the pre-processing stage, the sense-tagged terms were determined by the vector space model based word sense disambiguation. In addition, this study shows the effectiveness of merged corpus from examples in Korean standard unabridged dictionary and Sejong Corpus. The experiment shows the better results in precision and recall are found with the merged corpus. This study suggests it can practically enhance the performance of internet search engines and help us to understand more accurate meaning of a sentence in natural language processing pertinent to search engines, opinion mining, and text mining. Naïve Bayes classifier used in this study represents a supervised learning algorithm and uses Bayes theorem. Naïve Bayes classifier has an assumption that all senses are independent. Even though the assumption of Naïve Bayes classifier is not realistic and ignores the correlation between attributes, Naïve Bayes classifier is widely used because of its simplicity and in practice it is known to be very effective in many applications such as text classification and medical diagnosis. However, further research need to be carried out to consider all possible combinations and/or partial combinations of all senses in a sentence. Also, the effectiveness of word sense disambiguation may be improved if rhetorical structures or morphological dependencies between words are analyzed through syntactic analysis.

Synthesis of Resin Derivatives and Purification of Protein - Synthesis of p-Aminoanilinylsuccinyl-AH-Sepharose 4B and Purification of Protein in Pleurotus cornucopiae - (친화성 고분자 유도체의 합성 및 단백질의 분리정제에 관한 연구 - p-Aminoanilinylsuccinyl-AH-Sepharose 4B의 합성 및 흰느타리버섯 중 단백질의 정제 -)

  • Min, Tae-Jin;Kim, Yong-Rip;Park, Sang-Shin;Lee, Soo-Yong
    • The Korean Journal of Mycology
    • /
    • v.17 no.3
    • /
    • pp.105-113
    • /
    • 1989
  • For selective purification of proteins in Pleurotus cornucopiae, affinity chromatography was performed by p-aminoanilinylsuccinyl-AH-Sepharose 4B gel synthesized by treating p-phenylene diamine with succinyl-AH-Sepharose 4B, which was prepared by treating AH-Sepharose 4B with succinic anhydride. The capacity of p-aminoanilinyl ligand group was 6.1 micromole per milliliter of gel. Total apparent molecular weight of the affinity proteins eluted from the synthesized gel was 167 KD, which were a protein complex of 130 KD and 37 KD. The contents of the nonpolar, polar, positively and/or negatively charged amino acids in the affinity protein were 44.57%, 24.75%, 21.25%, and 9.43%, respectively. Total apparent molecular weight of the affinity proteins eluted from the AH-Sepharose 4B gel was 95.2 KD, which were a protein complex of 61 KD, 31 KD and 3.2 KD. The contents of the nonpolar, positively and/or negatively charged amino acids in the affinity protein by AH-Sepharose 4B gel were 44.05%, 29.13%, and 12.91% respectively.

  • PDF

Semantic Dependency Link Topic Model for Biomedical Acronym Disambiguation (의미적 의존 링크 토픽 모델을 이용한 생물학 약어 중의성 해소)

  • Kim, Seonho;Yoon, Juntae;Seo, Jungyun
    • Journal of KIISE
    • /
    • v.41 no.9
    • /
    • pp.652-665
    • /
    • 2014
  • Many important terminologies in biomedical text are expressed as abbreviations or acronyms. We newly suggest a semantic link topic model based on the concepts of topic and dependency link to disambiguate biomedical abbreviations and cluster long form variants of abbreviations which refer to the same senses. This model is a generative model inspired by the latent Dirichlet allocation (LDA) topic model, in which each document is viewed as a mixture of topics, with each topic characterized by a distribution over words. Thus, words of a document are generated from a hidden topic structure of a document and the topic structure is inferred from observable word sequences of document collections. In this study, we allow two distinct word generation to incorporate semantic dependencies between words, particularly between expansions (long forms) of abbreviations and their sentential co-occurring words. Besides topic information, the semantic dependency between words is defined as a link and a new random parameter for the link presence is assigned to each word. As a result, the most probable expansions with respect to abbreviations of a given abstract are decided by word-topic distribution, document-topic distribution, and word-link distribution estimated from document collection though the semantic dependency link topic model. The abstracts retrieved from the MEDLINE Entrez interface by the query relating 22 abbreviations and their 186 expansions were used as a data set. The link topic model correctly predicted expansions of abbreviations with the accuracy of 98.30%.

A Study of Prosodic Features of Causative and Passive Verbs in Kyungsang Dialect (경상도말 피사동어휘의 운율 특징)

  • Park Hansang
    • Proceedings of the KSPS conference
    • /
    • 1996.02a
    • /
    • pp.183-191
    • /
    • 1996
  • 한국어의 사동문과 피동문은 주로 사동사와 피동사에 의하여 실현된다. 한국어 통사론에서 특이한 점은 피동문과 사동문이 동일한 형태를 취함으로써 중의성이 있는 문장이 등장한다는 점이다. 피동사와 사동사는 형용사 및 동사 어간에 피동접미사가 불어 파생된다. 이러한 사동사와 피동사의 파생에서 특이한 사항은 형용사에 사동접미사가 불어서 사동사가 구성된다는 점과 자동사에 피동접미사가 불어 피동사가 구성된다는 점이다. 사동사와 피동사가 갖는 이러한 통사적 형태적 특성이 경상도 말에서 어떠한 운율적 특징을 가지고 나타나는지를 살펴보는 것이 이 논문의 목적이다. 부산에서 태어나고 자란 20대 중반의 학생 5명에게 5쌍의 피사동문을 읽게 하여 그 결과를 살펴보았다. 경상도말의 사동사는 H+H(M)+L의 성조를 보이고 피동사는 M+H+L의 성조를 보인다. 이러한 특성과 아울러 정상도 말의 피동접미사는 사동접미사에 비하여 상대적으로 길이가 길다. 이 같은 특징은 피동사는 사동사에 피동접미가 붙은 것이라고 하여 피동과 사동을 하나로 묶어 설명하는 주장을 뒷받침한다. 그리고 동일한 형태를 보이는 문장의 중의성이 운율에 의해 해소된다는 점이 흥미롭다. 통시적으로는 중세국어에서 현대국어로의 성조변화, 공시적으로는 서울말과 경상도 말의 피사동이 보이는 체계적 대응을 보이는지는 앞으로의 연구과제다.

  • PDF

Korean Verb Senses Disambiguation Using Distributional Information from Corpora (분포 정보를 이용한 의미 중의성을 지닌 한국어 동사의 의미 분별)

  • Cho, Jeong-Mi;Kim, Gil-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 1995.10a
    • /
    • pp.56-61
    • /
    • 1995
  • 본 논문에서는 말뭉치로부터의 분포 정보를 이용하여, 의미 중의성을 지닌 한국어 동사의 의미를 분별하고자 한다. 분포 정보란 말뭉치내에서 목적어-서술어 관계에 있는 명사와 동사의 분포를 의미한다. 이 분포 정보는 명사 분포와 동사 분포로 나누어 생각할 수 있는데, 본 논문에서는 이 두가지 분포 정보를 사용함으로써 명사 분포만을 이용하였을 때 나타나는 자료 부족 현상을 등사 분포 정보를 이용하여 보완하였다. 분포 정보간의 유사도 계산은 정보 이론에서 사용하는 상대 엔트로피를 이용한다. 품사가 태깅된 50만 단어의 한국어 말뭉치로부터 분포 정보들을 추출하여 한국어 동사 10개에 대해 실험하였다.

  • PDF

Probabilistic Parsing of Korean Sentences Based on Lexical Co-occurrence and Syntactic Rules (중심어간의 공기 정보와 구문 규칙을 기반으로 한 확률적 한국어 구문 분석)

  • Lee, Kong-Joo;Kim, Jae-Hoon;Kim, Gil-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 1997.10a
    • /
    • pp.332-338
    • /
    • 1997
  • 어휘 정보는 구문 구조의 중의성을 해결하는데 중요한 정보원으로서 작용할 수 있다. 본 논문에서는 입력 문장에 대한 구조적 중의성을 해결하는데 확률 구문 규칙뿐만 아니라, 어휘간에 발생할 수 있는 공기 정보를 사용할 수 있는 확률 모델을 제안한다. 제안된 확률 모델에 대하여 실험 데이타에 대해 평가한 결과 약 84%정도의 구문 분석 정확도를 얻을 수 있었다.

  • PDF

Word Sense Disambiguation Using Word Link and Word Cooccurrence (단어링크와 공기 단어를 이용한 의미중의성 해소)

  • 구영석;나동렬
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2002.05a
    • /
    • pp.21-27
    • /
    • 2002
  • 본 논문은 문장 안에서 의미 중의성을 갖는 단어가 출현했을 때 그 단어가 어떤 의미로 사용되고 있는지 판별해 주는 방법을 제시하고자 한다. 이를 위해서 먼저 중의적 의미를 가지는 단어의 각 의미 (sense) 마다에 대하여 이 의미를 나타내는 주요단어 즉 종자단어와 연관성이 있는 단어들로 벡터를 구성하여 이 의미를 나타내고자 한다. 종자단어와 말뭉치의 문장을 통하여 연결된 경로를 가진 단어는 이 종자단어에 해당하는 의미를 나타내는 데 기여하는 정보로 본 것이다. 경로는 동일 문장에서 나타나는 두 단어 사이는 링크가 있다고 보고 이러한 링크를 통하여 이루어 질 수 있는 연결 관계를 나타낸다. 이 기법의 장점은 데이터 부족으로 야기되는 문제를 경감시킬 수 있다는 점이다. 실험을 위해 Hantec 품사 부착된 말뭉치를 이용하여 의미정보벡터를 구축하였으며 ETRI 품사 부착된 말뭉치에서 중의적 단어가 포함된 문장을 추출하여 실시하였다. 실험 결과 기존의 방법보다 나은 성능을 보임이 밝혀졌다.

  • PDF

Resolution of Ambiguous Grammatical Functions of Korean Using Conceptual Patterns and Statistical Information (개념패턴과 통계정보를 이용한 한국어 미지격의 구문관계 결정 방법)

  • Lee, Hui-Feng;Kang, In-Su;Lee, Jong-Hyeok
    • Annual Conference on Human and Language Technology
    • /
    • 1998.10c
    • /
    • pp.261-266
    • /
    • 1998
  • 본 논문은 보조사로 인해 야기되는 한국어 미지격의 구문관계 중의성 해소를 위한 새로운 기법을 제안한다. 기존의 연구는 수작업으로 얻어진 동사의 의미적 선택 제약을 사용하는 방식과 단어 간의 공기패턴과 빈도를 어휘 레벨에서 추출하여 중의성을 해소하는 방식으로 나뉠 수 있다. 본 논문은 말뭉치에서 어휘 레벨이 아닌 개념패턴과 격의 분포 값을 자동으로 추출하여 미지격의 구문관계를 결정한다. 개념패턴과 용언의 격 분포 정보를 적용하여 구문분석 단계에서 실험한 결과, 본 논문이 제안한 방법은 92%의 미지격 결정 정확율을 보였다. 개념패턴은 지식의 저장공간을 줄이고 격 결정 범위를 확장할 수 있기에 범용 구문분석 시스템으로의 확장을 가능하게 한다.

  • PDF

Study of Japanese Korean Syntactic Dictionary Construction (일한 문형사전을 위한 구문연구)

  • Song, Young-Bin;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 1998.10c
    • /
    • pp.295-303
    • /
    • 1998
  • 이 논문은 한국어와 일본어의 대역문형사전 구축 시에 동사의 대역어 선정을 위한 구체적인 방법을 실증적으로 제시하는데 목적이 있다. 현재 자연언어 처리에서의 동사의 의미기술은 동사의 중의성(重義性)을 해소하려는데 초점이 맞추어져 있다. 그 주된 방법론은 동사와 결합하는 명사 의미속성의 기술에 의해 중의성을 해소하려는 것이다. 이 논문에서는 개별언어에 있어서의 명사의 의미속성의 분류가 다국어를 대상으로 하는 경우 어떻게 다루어져야 하는가에 대해 언어학적인 조명을 하는데 목적이 있다. 아울러 현재까지 일본에서 구축된 동사의 의미사전 들을 비교, 명사 의미속성 분류의 기준이 어떻게 설정되어야 하는가에 대해 검증한다. 특히 외국어와의 대조는 동사와 명사의 공기관계가 각 언어마다 독특한 결합관계를 갖으며 문법체계의 차이로 인해 개별언어를 대상으로 했을 때보다 의미기술의 양상이 상당히 달라짐을 보여줄 것이다.

  • PDF

The cerebral representation related to lexical ambiguity and idiomatic ambiguity (어휘적 중의성 및 관용적 중의성을 처리하는 대뇌 영역)

  • Yu Gisoon;Kang Hongmo;Jo Kyungduk;Kang Myungyoon;Nam Kichun
    • Proceedings of the KSPS conference
    • /
    • 2003.10a
    • /
    • pp.79-82
    • /
    • 2003
  • The purpose of this study is to examine the regions of the cerebrum that handles the lexical and idiomatic ambiguity. The stimuli sets consist of two parts, and each part has 20 sets of sentences. For each part, 10 sets are experimental conditions and the other 10 sets are control conditions. Each set has two sentences, the 'context' and 'target' sentences, and a sentence-verification question for guaranteeing patients' concentration to the task. The results based on 15 patients showed that significant activation is present in the right frontal lobe of the cerebral cortex for both kinds of ambiguity. It means that right hemisphere participates in the resolution of ambiguity, and there are no regions specified for lexical ambiguity or idiomatic ambiguity alone.

  • PDF