• Speech Sciences
• /
• v.5 no.1
• /
• pp.89-103
• /
• 1999

It is relatively easy to develop a prototype of a Korean language processing system, but it is very difficult to make it an operational system. In this paper, we survey the current status and methodological issues of the Korean language processing systems such as morphological analyzer, parser and machine translator. In most cases, Korean language processing system easily comes to a dead-end state where its performance can not be improved any more. The reason is that it adopts a general algorithm covering similar problems as a whole because specific low-level problems are not clearly defined and their algorithms are unclear. So, when we add some restrictions to solve an individual linguistic problem, they are also applied to other linguistic phenomena as a side effect. It causes a critical problem that the improvement of the algorithm is very difficult. This paper proposes a 2-step paradigm, a divide-and-conquer method by the functional modularization, a simplification method, and an exception handling technique to develop an operational system that does not fall into a dead-end state.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.395-404
• /
• 1993

본 논문은 형태소간의 접속 특성과 대형 말뭉치(Corpus)에서 추출된 인접 말마디의 정보를 이용해서 한국어 형태소 분석기를 구현한다. 언어는 단지 규칙으로만 처리하기에는 불가능한 복잡한 구조와 중의성을 갖고 있기 때문에 과거에 주로 연구되었던 형태소들간의 접속 특성과 규칙을 이용한 형태소 분석은 실제로 구문분석 단계에서 사용될 수 있는 실용성을 제시하지 못했다. 따라서 형태소 접속 특성뿐만 아니라 인접 말마디와의 관계를 사전에 기술함으로써 보다 실용성 있는 형태소 분석기의 구현을 시도한다. 아울러 본 형태소 분석기의 효능은 정착하고 풍부한 정보를 사전에 효율적으로 수록함으로써 이룩될 것이며, 이를 위해 기존 사전의 보강에 필요한 정보들을 대형 말뭉치로부터 추출하여 사전에 첨가시킨다.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.331-339
• /
• 1993

본 논문에서는 한국어의 음절 특성을 이용한 한국어 형태소 분석기를 제시하였다. 이 형태소 분석기는 품사별 음절 정보, 불규칙 음절 정보, 활용어절 음절 정보, 선어말 어미 음절 정보 등을 이용하여 음절 단위로 형태소 분석을 한다. 음절 단위의 형태소 분석 방법은 음소 단위의 방법보다 형태소 분석시에 생성될 수 있는 잘못된 중간 분석 결과를 크게 감소시켜, 사전 탐색 부담을 최소화한다. 시스템의 사전은 품사별 결합 특성과 사전 표제어의 길이별 분포 특성을 이용하여 구성하였으며, 그 규모는 약 16만 어휘이다. 이러한 사전 구성은 효율적인 사전검색을 제공하며, 특히 철자 검색기와 자동 인덱싱 등의 다양한 응용 시스템 요구를 곧바로 수용할 수 있는 유연성과 효율성을 갖고 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.165-168
• /
• 2006

이 논문은 유한상태변환기만을 이용하여 한국어 형태소 분석 및 품사 태깅 시스템을 제안한다. 기존의 한국어 형태소 분석 시스템들은 규칙기반 형태소 분석기가 주를 이루고 한국어 품사 태깅 시스템은 은닉마르코프 모델 기반 품사 태깅이 주를 이루었다. 한국어 형태소 분석의 경우 유한상태변환기를 이용한 경우도 있었으나, 이 방법은 변환기를 작성하기 위한 규칙을 수작업으로 구축해야 하며, 그 규칙에 따라서 사전이 작성되어야 한다. 이 논문에서는 품사 태깅 말뭉치를 이용해서 유한상태변환기에서 필요한 모든 변환 규칙을 자동으로 추출한다. 이런 방법으로 네 종류의 변환기, 즉, 자소분리변환기, 단어분리변환기, 단어형성변환기, 품사결정변환기를 자동으로 구축한다. 구축된 변환기들은 결합연산(composition operation)을 이용하여 하나의 유한상태변환기를 구성하여 한국어 형태소 분석과 동시에 한국어 품사 태깅을 수행한다. 이 방법은 하나의 유한상태변환기만을 이용하기 때문에 복잡도는 선형시간(linear complexity)을 가지면, 형태소 분석기와 품사 태깅 시스템을 매우 짧은 시간 내에 개발 할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.376-379
• /
• 2018

본 논문의 목적은 오픈 소스로 공개된 3가지 한국어 형태소 분석기 (kkma, twitter 및 mecab-ko)를 비교해서 한국어 자연어 처리에 가장 적합한 분석기를 선정하는 것이다. 이를 위해, 자연어 처리 분야에서 중요한 단어 임베딩 방법론 중 하나인 word2vec 모델의 성능 검증 방법을 사용해서 각 형태소 분석기의 성능을 정량적으로 비교했다. 그 결과 mecab-ko 형태소 분석기가 최적임이 확인되었다. 단 성능 검증에 사용된 어휘가 오직 명사뿐이라는 한계가 있으므로, 향후 연구에서는 좀 더 다양한 품사에 대한 성능검증이 필요할 것으로 보인다.

• Proceedings of the KSPS conference
• /
• 2003.05a
• /
• pp.87-90
• /
• 2003

In order to produce high quality synthesized speech, it is very important to get an accurate grapheme-to-phoneme conversion and prosody model from texts using natural language processing. Robust preprocessing for non-Korean characters should also be required. In this paper, we analyzed Korean texts using a morphological analyzer, part-of-speech tagger and syntactic chunker. We present a new grapheme-to-phoneme conversion method, i.e. a dictionary-based and rule-based hybrid method, for unlimited vocabulary Korean TTS. We constructed a prosody model using a probabilistic method and decision tree-based method.

• Journal of Korea Multimedia Society
• /
• v.18 no.1
• /
• pp.52-64
• /
• 2015

Recently, as the quality of life has been improving, search items in the area of entertainment represent an increasing share of the total usage of Internet portal sites. Information retrieval in the entertainment area is mainly depending on keywords that users are inputting, and the results of information retrieval are the contents that contain those keywords. In this paper, we propose a search method that takes natural language inputs and retrieves the database pertaining to entertainment. The main components of our study are the simple Korean morphological analyzer using case particle information, predicate-oriented token generation, standardized pattern generation coherent to tokens, and automatic generation of the corresponding SQL queries. We also propose an efficient retrieval system that searches the most relevant results from the database in terms of natural language querying, especially in the restricted domain of music, and shows the effectiveness of our system.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.197-201
• /
• 2010

지식/정보 서비스의 수준이 급격히 발전함에 따라 기반 기술인 자연언어처리의 중요성이 증가했고, 또 여러 분야에서 다양한 목적에 부합하는 자연언어처리 도구를 필요로 하고 있다. 한국어 자연언어처리 기반 기술 중에서 형태소 분석은 기초적이면서도 중요한 분석 단계이다. 하지만 현재까지 개발된 한국어 형태소 분석기들은 대부분 특정 시스템에 맞게 최적화되어 실행 효율성과 정확성을 높이는데 중점을 두고 있다. 이러한 도구들은 접근성과 확장성이 떨어지고 다양한 요구에 유언하게 대처할 수 없는 단점이 있다. 따라서 본 논문에서는 플러그인 형태의 한국어 형태소 분석 컴포넌트들을 이용하여 유연하게 워크플로를 구성하고 다양한 목적에 맞게 활용할 수 있도록 지원하는 한국어 형태소 분석 시스템을 제안한다. 이번 연구를 통해서 보다 많은 사람들이 형태소 분석 기술에 쉽게 접근하고 활용하여, 한국어 분석 기반 기술 및 용용 기술이 더욱 발전 할 수 있을 것으로 기대한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.05a
• /
• pp.681-684
• /
• 2004

본 논문에서는 한국어의 문장패턴을 활용한 형태소 분석기를 설계하였다. 어절기반의 형태소 분석기들이 갖는 형태소 분석 정보는 어절의 품사 등의 기초적 정보만을 포함한다. 본 논문에서 제안하는 문장패턴을 활용한 형태소 분석기는 문장단위의 형태소 분석을 제안하였고 형태소 분석단계에서 구문분석과 문장패턴이 갖는 의미정보를 포함함으로서 분석결과의 활용도를 높이도록 하였다. 제안된 형태소 분석기의 결과를 활용하여 질의 응답시스템, 정보 검색 등의 분야에서 구문분석, 의미분석의 단계를 최소화 하여 결과를 얻을 수 있을 것으로 기대한다.

• Journal of Multimedia Information System
• /
• v.8 no.4
• /
• pp.221-232
• /
• 2021

One bottleneck of Bengali to Hindi transfer based machine translation system is the translation of suffixes of noun. The appropriate translation of a nominal suffix often depends on the semantic role of the corresponding noun chunk in the sentence. With the availability of a high performance Bengali morphological analyzer and a basic Bengali parser it is possible to identify the role of each noun chunk. This information may be used for building rules for translating the ambiguous nominal suffixes. As there are some similarities between the uses of Bengali and Hindi nominal suffixes we find that the rules may be identified by linguistically analyzing corpus data. In this paper, we identify rules for the ambiguous four Bengali nominal suffixes from corpus data and evaluate their performances. This set of rules is able to resolve a majority of the nominal suffix ambiguities in Bengali to Hindi transfer based machine translation system. Using the rules, we are able to translate 98.17% Bengali nouns correctly which is much better than the baseline ILMT system's accuracy of 62.8%.