• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.670-672
• /
• 2002

Park과 Zhang은 최대 엔트로피 모델(maximum entropy model)을 실제 자연언어 처리에 적용함에 있어서 나타날 수 있는 여러가지 문제를 해결하기 위한 최대 엔트로피 모델(maximum entropy boosting model)을 제시하여 문서 단위화(text chunking)에 성공적으로 적용하였다. 최대 엔트로피 부스팅 모델은 쉬운 모델링과 높은 성능을 보이는 장점을 가지고 있다. 본 논문에서는 최대 엔트로피 부스팅 모델을 영어 전치사 접속 모호성 해소에 적용한다. Wall Street Journal 말뭉치에 대한 실험 결과, 아주 작은 노력을 들였음에도 84.3%의 성능을 보여 지금까지 알려진 최고의 성능과 비슷한 결과를 보였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2014.10a
• /
• pp.965-966
• /
• 2014

The range and velocity ambiguities depending on the selected PRF are the serious problems in ultrasonic measurement. Therefore, the PRF selection method in the generation of waveform are analyzed. Also, the effects on measurements are discussed.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.5 s.43
• /
• pp.115-125
• /
• 2006

A concept hierarchy represents the knowledge with multi-level form, which is very useful to categorize, store and retrieve the data. Traditionally, a concept hierarchy has been built manually by domain experts. However, the manual construction of a concept hierarchy has caused many problems such as enormous development and maintenance costs and human errors such as inconsistency. This paper proposes the automatic creation of concept hierarchies using the predefined hypernym relation. To create the hierarchy automatically, we first eliminate the ambiguity of the senses of data values, and construct the hierarchy by grouping and leveling of the remaining senses. We use the WordNet explanations for multi-meaning word to eliminate the ambiguity and use the WordNet hypernym relations to create multi-level hierarchy structure.

• The KIPS Transactions:PartB
• /
• v.17B no.6
• /
• pp.459-466
• /
• 2010

Natural language processing has several ambiguity problems, and English-Korean machine translation especially includes those problems to be solved in each translation step. This paper focuses on resolving part-of-speech ambiguity of English words in order to improve the efficiency of English analysis, which is in part of efforts for developing practical English-Korean machine translation system. In order to improve the efficiency of the English analysis, the part-of-speech determination must be fast and accurate for being integrated with machine translation system. This paper proposes the probabilistic models for part-of-speech determination. We use Penn Treebank corpus in building the probabilistic models. In experiment, we present the performance of the part-of-speech determination models and the efficiency improvement of the machine translation system by the proposed part-of-speech determination method.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.195-197
• /
• 1998

복합명사 분석은 조합이 자유롭고 제한이 없으므로 여러 가지 모호성을 발생시킨다. 이러한 모호성을 해결하는 기존 방법으로 사전을 이용하는 방법[2]과 통계적 정보를 이용하는 방법[3,4]이 있다. 본 논문에서는 하위 범주화된 어휘 정보를 가진 전자사전을 이용하여 복합명사를 분석한다. 그리고 어휘 정보만으로 처리했을 때 의미상으로 잘못된 분석이 발생할 수 있으므로 본 논문은 복합명사를 구성하는 어휘의 정보와 특정단어의 의미에 따른 복합명사 제약조건을 규칙베이스로 구축하여 분석에 이용한다. 또한 분석에 실패한 복합명사의 유형을 분석하여 각 유형에 따른 교정 방법도 제시한다. 실험 데이터는 부산일보, 교과서, 그리고 각종 문서에서 무작위로 추출한 27,945개의 복합명사를 사용하였다. 본 논문에서 제시한 의미적 제약조건을 이용하여 분석했을 때 복합명사로 잘못 쓴 어절의 검사율이 21% 향상되었다.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.5 s.43
• /
• pp.75-86
• /
• 2006

Target word selection is one of the most important and difficult tasks in English-Korean Machine Translation. It effects on the translation accuracy of machine translation systems. In this paper, we present a new approach to select Korean target word for an English noun with translation ambiguities using multiple knowledge such as verb frame patterns, sense vectors based on collocations, statistical Korean local context information and co-occurring POS information. Verb frame patterns constructed with dictionary and corpus play an important role in resolving the sparseness problem of collocation data. Sense vectors are a set of collocation data when an English word having target selection ambiguities is to be translated to specific Korean target word. Statistical Korean local context Information is an N-gram information generated using Korean corpus. The co-occurring POS information is a statistically significant POS clue which appears with ambiguous word. The experiment showed promising results for diverse sentences from web documents.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.190-192
• /
• 1999

한국어는 용언이 의미적 제약을 통해 문장을 지배하는 SOV 구조의 언어이다. 또한, 조사나 어미와 같은 기능어의 발달은 물론 관형절은 내포하는 문장이 주류를 이룬다. 따라서 한국어의 구문분석은 부착에 따른 많은 구문 모호성이 발생하게 된다. 본 논문에서는 조건단일화 기반의 CFG문법을 기술하고 문형을 구문 제약으로 하여 구문모호성을 해결하는 방안을 제시한다. 문형은 한국어의 특성을 용언의 하위범주화에 맞게 재분류한 문장의 구조적 유형을 말한다. 본 논문에서 제안하는 문형은 동사와 형용사를 구분하여 39가지로 설정하였다. 이런 문형 정보를 이용하여 관형형 어미를 갖는 용언이 최대의 정보를 가지도록 함으로써 관형절에서 발생하는 부사 및 체언구 부착의 문제가 해결된다. 또한 문형은 이중주어나 이중 목적어 문장을 처리할 수가 있어 한국어에서 발생하는 많은 구문모호성을 해결할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 1992.10a
• /
• pp.85-93
• /
• 1992

본 논문은 한글-한자 변환에 있어서 여러 대응 한자를 갖는 동형이의어의 모호성 해소 방법을 제안한다. 기존의 변환 방법은 사용자의 개입으로 이루어지므로, 사용자에게 많은 부담을 주고 변환 효율을 떨어뜨린다. 한자선택에 있어서 동형이의어 문제의 근본적 해결을 위해, 본 시스템에서는 의미 분석을 이용한 한글-한자 변환기를 제안한다. 이를 위해 격문법과 관련어 지식 베이스(thesaurus)를 사용한다. 격문법을 사용하여 서술어를 중심으로 관련된 격틀의 의미를 분석한다. 그리고 합성어의 경우에 합성어의 구성 형태에 따라 격문법을 사용하거나 관련어 지식 베이스에서의 의미 근접성을 사용한다. 본 논문은 이와 같이 의미 분석 및 개념 정보를 기반으로 하는 동형이의어의 모호성 해결 방안을 제시하고 이를 반영한 한글-한자 변환 시스템의 설계 및 구현에 관하여 기술한다.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.100-106
• /
• 2014

URI spotting (탐지) 문제는 텍스트에 있는 단어열 중에서 URI로 대표되는 개체(entity)에 해당되는 것을 탐지하는 것이다. 이 문제는 두 개의 작은 문제를 순차적으로 해결하는 과제이다. 즉, 첫째는 어느 단어열이 URI에 해당하는 개체인가를 인식하는 것이고, 둘째는 개체 중의성 해소 문제로서 파악된 개체가 복수의 URI에 해당할 수 있는 의미적 모호성이 있을 때 그 URI중 하나를 선택하여 모호성을 해소하는 것이다. 이 논문은 디비피디아 URI를 대상으로 한다. URI 탐지 문제는 개체명 인식 문제와 비슷하나, URI(예를 들어 디비피디아 URI, 즉 Wikipedia 등재어)에 매핑될 수 있는 개체로 한정되므로 일반적인 개체명 인식 문제에서 단어열의 품사열이 기계학습의 자질로 들어가는 방법론과는 다른 자질을 사용할 수 있다. 이 논문에서는 한국어 텍스트를 대상으로 한국어 디비피디아 URI 탐지문제로서 SVM을 이용한 개체경계 인식 방법을 제시하여, 일반적 개체명 인식에서 나타나는 품사태거의 오류파급효과를 없애고자 한다. 또한 개체중의성 해소 문제는 의미모호성이 주변 문장들의 토픽에 따라 달라지므로, LDA를 활용하며 이를 영어 디비피디아 URI탐지에서 쓰인 방법들과 비교한다.

• Journal of Intelligence and Information Systems
• /
• v.15 no.3
• /
• pp.53-65
• /
• 2009

The part-of-speech determination is necessary for resolving the part-of-speech ambiguity in English-Korean machine translation. The part-of-speech ambiguity causes high parsing complexity and makes the accurate translation difficult. In order to solve the problem, the resolution of the part-of-speech ambiguity must be performed after the lexical analysis and before the parsing. This paper proposes the CatAmRes model, which resolves the part-of-speech ambiguity, and compares the performance with that of other part-of-speech tagging methods. CatAmRes model determines the part-of-speech using the probability distribution from Bayesian network training and the statistical information, which are based on the Penn Treebank corpus. The proposed CatAmRes model consists of Calculator and POSDeterminer. Calculator calculates the degree of appropriateness of the partof-speech, and POSDeterminer determines the part-of-speech of the word based on the calculated values. In the experiment, we measure the performance using sentences from WSJ, Brown, IBM corpus.