• Journal of Korea Society of Industrial Information Systems
• /
• v.12 no.2
• /
• pp.49-59
• /
• 2007

This paper is about an system which can perform automatic semantic annotation to actualize "Semantic Web." Since it is impossible to tag numerous documents manually in the web, it is necessary to gather large Korean web documents as training data, and extract features by using natural language techniques and a thesaurus. After doing these, we constructed concept classifiers through the SVM (support vector machine) teaming algorithm. According to the characteristics of Korean language, morphological analysis and syntax analysis were used in this system to extract feature information. Based on these analyses, the concept code is mapped with Kadokawa thesaurus, which made it possible to map similar words and phrase to one concept code, to make training vectors. This contributed to rise the recall of our system. Results of the experiment show the system has a some possibility of semantic annotation.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.4-6
• /
• 2006

본 논문은 자연언어처리에서 문장의 서술어와 그 서술어가 가지는 명사 논항들 사이의 문법관계를 의미 관계로 사상하는 즉 논항이 서술어에 대해 가지는 역할을 정하는 문제를 다루고 있다. 의미역 결정은 단어의 의미 중의성 해소와 함께 자연언어의 의미 분석의 핵심 문제 중 하나이며 반드시 해결해야 하는 매우 중요한 문제 중 하나이다. 본 연구에서는 언어학적으로 유용한 자원인 세종전자사전을 이용하여 용언격틀사전을 구축하고 격틀 선택 방법으로 의미역을 결정한 후. 결정된 의미역들에 대한 확률 정보를 확률 모델에 적용하여 반복적으로 학습하는 부트스트래핑(Bootstrapping) 알고리즘을 사용하였다. 실험 결과, 기본 모델에 대해 10% 정도의 성능 향상을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.189-193
• /
• 2007

개념 간의 유사도 측정 방법은 의미망에서의 두 개념의 최단 경로의 수 노드의 깊이 관계의 종류 등의 정보를 이용하는 링크(Link) 기반 방법, 대용량의 말뭉치에서의 개념의 발생빈도를 확률로 계산한 정보량(Information Content) 기반 방법, 관련 단어들의 공기정보를 활용한 의미(Gloss) 기반 방법이 있으며, 이미 국외에서는 WordNet과 같은 의미적 언어자원을 활용하여 많은 연구가 진행되고 있다. 그러나 국내에서는 아직 한국어 의미망을 바탕으로 한 개념간의 유사성 측정 방법이나 이를 활용하는 방법에 대한 연구가 미흡하다. 본 논문에서는 이를 바탕으로 링크 타입 노드의 깊이 최단경로 정보량 등의 요소를 이용한 의미 유사도 측정방법을 제안하고 이를 활용하여 명사-용언간의 연계 정보를 확보함으로써, 효율적으로 명사-용언간의 네트워크를 구축하도록 한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.357-362
• /
• 2020

자연어 처리 응용 시스템이 패러프레이즈 표현을 얼마나 정확하게 포착하는가에 따라 응용 시스템의 성능 측면에서 차이가 난다. 따라서 자연어 처리의 응용 분야 전반에서 패러프레이즈 표현에 대한 중요성이 커지고 있다. 시스템의 성능 향상을 위해서는 모델을 학습시킬 충분한 말뭉치가 필요하다. 특히 이러한 패러프레이즈 말뭉치를 구축하기 위해서는 정확한 패러프레이즈 추출이 필수적이다. 따라서 본 연구에서는 패러프레이즈를 추출을 위한 언어 자원으로 키프레이즈 데이터셋을 제안하고 이를 기반으로 유사한 의미를 전달하는 패러프레이즈 관계의 문장을 추출하였다. 구축한 키프레이즈 데이터셋을 패러프레이즈 추출에 활용한다면 본 연구에서 수행한 것과 같은 간단한 방법으로 패러프레이즈 관계에 있는 문장을 찾을 수 있다는 것을 보였다.

• Korean Journal of Cognitive Science
• /
• v.14 no.2
• /
• pp.1-13
• /
• 2003

We introduce a way to generate morphologically and syntactically well-formed English sentences when building Korean to English bilingual dictionary for Machine Translation Systems. It has been proved that basic inflectional or structural descriptions for English sentences are by no means enough to generate proper English sentences because of traditional dictionary structures. Furthermore, much research has been focused only on how to disambiguate semantic ambiguities of words in a bilingual dictionary To take advantage of existing paperback Korean to English bilingual dictionary, its automatic conversion to an electronic version and methodologies to assign proper features to the descriptions for well-formed English sentences with minimum human effort have been proposed on the basis of the dictionary-specific structures. This approach was originally motivated for a glossary-based machine translation system, but it can be also applied to large scale dictionary work.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.535-539
• /
• 2020

다양한 발화를 모델링하는 요구는 자연어 처리 분야에서 꾸준히 있었으며 단어, 구 또는 문장과 동등한 의미 콘텐츠를 자동으로 식별하고 생성하는 것은 자연어 처리의 중요한 부분이다. 본 논문에서는 포인터 생성 네트워크(Pointer Generate Nework)를 이용하여 패러프레이즈 생성 모델을 제안한다. 제안한 모델의 성능을 측정하기 위해 사람이 직접 구축한 유사 문장 코퍼스를 이용하였으며, 토큰 단위의 BLEU-4 0.250, ROUGE_L 0.455, CIDEr 2.190의 성능을 보였다. 하지만 입력 문장과 동일한 문장을 출력하는 문제점이 존재하여 빔서치(beam search)를 적용하여 입력 문장과 비교하여 생성 문장을 선택하는 방식을 적용하였다. 입력 문장과 동일한 문장을 제외한 문장으로 평가를 진행했으며, 토큰 단위의 BLEU-4 0.234, ROUGE_L 0.459, CIDEr 2.041의 성능을 보였으나, 패러프레이즈 생성 데이터 양이 크게 증가하였다. 본 연구는 문장 간의 의미적으로 동일한 정보를 정확하게 추출할 수 있게 됨으로써 정보 추출, 온톨로지 생성에 도움이 될 것이다. 또한 이러한 기법이 챗봇에서 사용자의 의도 탐지 및 MRC와 같은 자연어 처리의 여러 분야에 유용한 자원으로 사용될 것이다.

• Korean Journal of Cognitive Science
• /
• v.14 no.1
• /
• pp.29-40
• /
• 2003

Cross-Language Information Retrieval (CLIR) deals with the documents in various languages by one language query. A user who uses one language can retrieve the documents in another language through CLIR system. In CLIR, query translation method is known to be more efficient. For the better performance of query translation, we need more resources like dictionary, ontology, and parallel/comparable corpus but usually not available. This paper proposes a new concept called the Common Base Axis which is adapted to Korean-English Query translation ann a new weighting method in dictionary based query translation. The essential idea is that we can express Korean and English word in one vector space by Common Base Axis and use it in calculating sense distance for query weighting. The experiments show that Common Base Axis gives us good performance without ontology and is especially good for one word query translation.

• Annual Conference on Human and Language Technology
• /
• 2009.10a
• /
• pp.111-115
• /
• 2009

현재 Open API는 프로그램 개발 및 정보의 제공 등 다양한 방향에서 많이 활용 되고 있다. Open API는 개발된 기술을 웹으로 공개하여 네트워크가 연결된 곳이라면 어디서든지 그 기술을 활용할 수 있다. 잘 개발된 Open API는 매쉬업을 통해 또 다른 기술과 합쳐 새로운 서비스를 개발하는 등 그 활용빈도가 높다. 이미 개발된 기술을 활용할 수 있어서 개발 속도가 단축되고 새로운 서비스를 개발하면서 기존의 부족한 부분을 합쳐 더욱 창의적인 정보 제공이 가능하다. 이러한 Open API의 특성을 이용하여 시맨틱 기술 개발을 지원할 수 있으며, 개발 시간 단축 및 관계 설정, 온톨로지 제공 등을 네트워크를 통해 사용자들에게 제공하고 활용할 수 있는 방법을 제시한다. 시맨틱 기술은 사람이 글을 읽고 의미를 이해하는 것처럼 컴퓨터가 이해할 수 있는 언어와 규칙들을 정해 놓아 컴퓨터 사이의 의사소통을 가능하게 하는 지능형 기술이다. 이런 시맨틱 기술 개발을 지원하기 위하여 Open API를 통해 온톨로지의 개념 및 속성, 관계 설정, 코퍼스 등을 제공하기 하기 위해 CoreOnto API라는 것을 구축했다. CoreOnto API는 네트워크에서 사용할 수 있는 Open API로 세가지의 큰 형태의 Open API를 제공하고 있다. 첫 번째, 온톨로지에 대한 클래스, 속성, 관계를 제공하는 APIs, 두 번째, 트리플(두개의 용어가 어떤 관계인지를 표현한 형태로 구성(용어1, 관계, 용어2)) 생성 및 구축된 트리플을 검색할 수 APIs, 세 번째, 온톨로지를 생성하기 위해 필요한 자원(온톨로지 명, 개체명, 관계, 코퍼스 등)을 제공하는 APIs로 구성했다. 이상과 같이 시맨틱 기술 개발을 지원하기 위한 큰 형태의 세 가지 APIs를 구축하는 방법과 APIs의 활용, 그리고 서비스를 테스트한 결과를 제시한다.

• The Transactions of the Korea Information Processing Society
• /
• v.7 no.12
• /
• pp.3874-3884
• /
• 2000

An information retrieval system has to retrieve all and only documents which are relevant to a user query, even if index terms and query terms are not matched exactly. However, term mismatches between index terms and qucry terms have been a serious obstacle to the enhancement of retrieval performance. In this paper, we discuss automatic term normalization between words in text corpora and their application to a Korean information retrieval system. We perform two types of term normalizations to alleviate semantic term mismatches: equivalence class and co-occurrence cluster. First, transliterations, spelling errors, and synonyms are normalized into equivalence classes bv using contextual similarity. Second, context-based terms are normalized by using a combination of mutual information and word context to establish word similarities. Next, unsupervised clustering is done by using K-means algorithm and co-occurrence clusters are identified. In this paper, these normalized term products are used in the query expansion to alleviate semantic tem1 mismatches. In other words, we utilize two kinds of tcrm normalizations, equivalence class and co-occurrence cluster, to expand user's queries with new tcrms, in an attempt to make user's queries more comprehensive (adding transliterations) or more specific (adding spc'Cializationsl. For query expansion, we employ two complementary methods: term suggestion and term relevance feedback. The experimental results show that our proposed system can alleviatl' semantic term mismatches and can also provide the appropriate similarity measurements. As a result, we know that our system can improve the rctrieval efficiency of the information retrieval system.

• The KIPS Transactions:PartB
• /
• v.18B no.6
• /
• pp.405-414
• /
• 2011

Korean grammar checkers typically detect context-dependent errors by employing heuristic rules that are manually formulated by a language expert. These rules are appended each time a new error pattern is detected. However, such grammar checkers are not consistent. In order to resolve this shortcoming, we propose new method for generalizing error decision rules to detect the above errors. For this purpose, we use an existing thesaurus KorLex, which is the Korean version of Princeton WordNet. KorLex has hierarchical word senses for nouns, but does not contain any information about the relationships between cases in a sentence. Through the Tree Cut Model and the MDL(minimum description length) model based on information theory, we extract noun classes from KorLex and generalize error decision rules from these noun classes. In order to verify the accuracy of the new method in an experiment, we extracted nouns used as an object of the four predicates usually confused from a large corpus, and subsequently extracted noun classes from these nouns. We found that the number of error decision rules generalized from these noun classes has decreased to about 64.8%. In conclusion, the precision of our grammar checker exceeds that of conventional ones by 6.2%.