Light Weight Korean Morphological Analysis Using Left-longest-match-preference model and Hidden Markov Model

좌최장일치법과 HMM을 결합한 경량화된 한국어 형태소 분석

With the rapid evolution of the personal device environment, the demand for natural language applications is increasing. This paper proposes a morpheme segmentation and part-of-speech tagging model, which provides the first step module of natural language processing for many languages; the model is designed for mobile devices with limited hardware resources. To reduce the number of morpheme candidates in morphological analysis, the proposed model uses a method that adds highly possible morpheme candidates to the original outputs of a conventional left-longest-match-preference method. To reduce the computational cost and memory usage, the proposed model uses a method that simplifies the process of calculating the observation probability of a word consisting of one or more morphemes in a conventional hidden Markov model.

본 논문에서는 제한된 자원을 사용하는 기기에 적합한 경량화된 한국어 형태소 분석 및 품사 부착 방법을 제안한다. 관련된 초기 연구로는 규칙에 기반을 둔 방법들이 적용되었으나 최근에는 통계에 기반을 둔 방법들을 중심으로 연구되고 있다. 계산 처리 능력과 사용 가능한 메모리가 제한되는 환경에서는 규칙에 기반을 둔 방법보다 상대적으로 많은 자원을 사용하는 통계에 기반을 둔 방법을 사용하여 형태소 분석 및 품사 부착을 수행하기에는 한계가 있다. 본 논문에서는 기존의 규칙에 기반을 둔 형태소 분석 방법인 좌최장일치법을 개선하여 형태소 분석을 수행하고, 통계적인 방법인 hidden Markov model을 축소하여 형태소 품사 부착을 수행한다. 제안하는 방법은 기존의 hidden Markov model을 사용한 시스템과 유사한 성능을 보여주며 소량의 메모리 사용과 월등히 빠른 속도로 형태소 분석 및 품사 부착을 수행할 수 있다.