• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.3-8
• /
• 2016

형태소 분석기는 많은 자연어 처리 영역에서 필수적인 언어 도구로 활용되기 때문에 형태소에 대한 품사를 결정하는 것은 매우 중요하다. 최근 음절 기반으로 형태소의 품사를 태깅하는 방법에 대한 연구들이 많이 진행되고 있다. 음절 단위 형태소 분석은 음절 단위로 분리된 형태소에 대해서 기계학습을 이용하여 분리된 음절 단위로 품사를 태깅하는 단계를 가진다. 본 논문에서는 기존의 CRF를 이용한 음절 단위 품사 태깅 방법을 개선하기 위해 bi-LSTM-CRFs를 이용한 방법을 제안한다. 또한, bi-LSTM-CRFs의 입력을 음절의 품사 분포 벡터를 이용해 확장함으로써 음절 단위 품사 태깅의 성능을 향상 시켰다.

• 한국어정보학회:학술대회논문집
• /
• 2016.10a
• /
• pp.3-8
• /
• 2016

형태소 분석기는 많은 자연어 처리 영역에서 필수적인 언어 도구로 활용되기 때문에 형태소에 대한 품사를 결정하는 것은 매우 중요하다. 최근 음절 기반으로 형태소의 품사를 태깅하는 방법에 대한 연구들이 많이 진행되고 있다. 음절 단위 형태소 분석은 음절 단위로 분리된 형태소에 대해서 기계학습을 이용하여 분리된 음절 단위로 품사를 태깅하는 단계를 가진다. 본 논문에서는 기존의 CRF를 이용한 음절 단위 품사 태깅 방법을 개선하기 위해 bi-LSTM-CRFs를 이용한 방법을 제안한다. 또한, bi-LSTM-CRFs의 입력을 음절의 품사 분포 벡터를 이용해 확장함으로써 음절 단위 품사 태깅의 성능을 향상 시켰다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2002.05a
• /
• pp.131-136
• /
• 2002

한국어 CVC 음절의 하위 단위는 초성자음과 모음을 포함하는 음절체(body)와 종성자음(coda)으로 이루어져 있고, 영어 음절은 초성(onset)과, 모음과 종성자음을 포함하는 각운(rime)으로 이루어져 있다고 한다. 본 연구에서는 한국인이 영어의 음절을 한국어 음절 정보처리 방법으로 정보처리 하는지를 알아보고자 하였다 실험 조건으로는 음절체 일치 조건(예, 각-감, cap-cat), 각운 일치 조건(예, 남감, pat-cat), 그리고 두 자음 일치 통제조건(예, 김-감, cut-cat)과 무관련 통제 조건(예, ***-감, ***-cat)이 사용되었다. 실험 과제로는 점화 어휘판단 과제(primed lexical decision task)를 수행하였다. 만약 음절체 일치 조건에서의 점화효과가 각운 일치 조건에서의 점화효과보다 크다면 한국인의 음절분절 단위가 음절체-종성(body-coda) 구조일 것으로 예상할 수 있고 각운 조건에서의 점화효과가 더 크다면 그 단위가 초성-각운(onset-rime)구조일 것으로 예상할 수 있다. 실험 결과, 한국어 음절의 경우 각운 일치 조건의 점화 효과가 음절체 일치 조건의 점화 효과보다 크게 나타나 음절체-종성 구조로의 하위 단위 분석을 지지했다. 그러나 영어의 경우에는 각운 일치 조건의 점화 효과가 음절체 일치 조건의 점화 효과보다 크게 나타나 초성-각운 구조로의 분석을 지지하였다. 따라서 한국인이 시각 단어를 재인할 때에는 언어 특정적인 분석을 수행한다는 결과를 얻었다.

• KIPS Transactions on Software and Data Engineering
• /
• v.7 no.4
• /
• pp.121-128
• /
• 2018

A Korean morphological analyzer adopts sequence-to-sequence (seq2seq) model, which can generate an output sequence of different length from an input. In general, a seq2seq based Korean morphological analyzer takes a syllable-unit based sequence as an input, and output a syllable-unit based sequence. Syllable-based morphological analysis has the advantage that unknown words can be easily handled, but has the disadvantages that morpheme-based information is ignored. In this paper, we propose a reranking model as a post-processor of seq2seq model that can improve the accuracy of morphological analysis. The seq2seq based morphological analyzer can generate K results by using a beam-search method. The reranking model exploits morpheme-unit embedding information as well as n-gram of morphemes in order to reorder K results. The experimental results show that the reranking model can improve 1.17% F1 score comparing with the original seq2seq model.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.175-182
• /
• 1997

지금까지의 한글 문자인식 후처리 연구분야에서 미등록어와 비문맥적 오류 문제는 아직까지 잘 해결하지 못하고 있는 문제이다. 본 논문에서는 단어로서 가능한지를 결정하는 기준으로 확률적 음절 결합 정보를 사용하여 형태소 분석 기법만을 사용했을 때 발생할 수 있는 미등록어 문제를 해결하고, 통사적 기능의 어말 어휘를 고려한 문맥 결합 정보를 이용함으로써 다수의 후보 어절 가운데에서 최적의 후보 어절을 선택하는 방법을 제안한다. 제안된 시스템은 인식기에서 내보낸 후보 음절과 학습된 혼동 음절을 조합하여 하나 이상의 후보 어절을 생성하는 모듈과 통계적 언어 정보를 이용하여 최적의 후보 어절을 선정하는 모듈로 구성되었다. 실험은 1000만 원시 코퍼스에서 추출한 음절 결합 정보와 17만 태깅된 코퍼스에서 추출한 어절 결합 정보를 사용하였으며, 실제 인식 결과에 적용한 결과 문자 단위에서는 94.1%의 인식률을 97.4%로, 어절 단위에서는 87.6%를 96.6%로 향상시켰다. 교정률과 오교정률은 각각 문자 단위에서 56%와 0.6%, 어절 단위에서 83.9%와 1.66%를 보였으며, 전체 실험 어절의 3.4%를 차지한 미등록어 중 87.5%를 올바로 인식하는 한편, 전체 오류의 20.3%인 비문맥 오류에 대해서 91.6%를 올바로 교정하는 후처리 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.331-339
• /
• 1993

본 논문에서는 한국어의 음절 특성을 이용한 한국어 형태소 분석기를 제시하였다. 이 형태소 분석기는 품사별 음절 정보, 불규칙 음절 정보, 활용어절 음절 정보, 선어말 어미 음절 정보 등을 이용하여 음절 단위로 형태소 분석을 한다. 음절 단위의 형태소 분석 방법은 음소 단위의 방법보다 형태소 분석시에 생성될 수 있는 잘못된 중간 분석 결과를 크게 감소시켜, 사전 탐색 부담을 최소화한다. 시스템의 사전은 품사별 결합 특성과 사전 표제어의 길이별 분포 특성을 이용하여 구성하였으며, 그 규모는 약 16만 어휘이다. 이러한 사전 구성은 효율적인 사전검색을 제공하며, 특히 철자 검색기와 자동 인덱싱 등의 다양한 응용 시스템 요구를 곧바로 수용할 수 있는 유연성과 효율성을 갖고 있다.

• Korean Journal of Cognitive Science
• /
• v.1 no.2
• /
• pp.221-239
• /
• 1989

The purpose of this study was to explore the processing unit in Korean word.Three experiments were conducted to examine this question.Preliminary experiment and Enperiment I were executed to delineate the processing unit in singles syllable word and Experiment 2,for words two or more syllables.The major finding of the preliminary experiment showed that the effect of the consonant type was not significant but that of the letter position was.Reaction time increased as the position of letter increased.The difference in reaction time between the first and the second position was not significant.However,the difference between the second and third was.In the Experiment 1, the effect of the number of letter was significant: reaction time increased as the number of letters increased.The size of the position effect both in the preliminary experiment and Experiment 1was comparable.Result of Experiment 2 was such that regardless of the presence of the final consonant(s),the reaction time incresased linearly as the number of svllables increased from two to four. The findings of the present study suggest that:(1)processing unit in single syllable Korean words is a syllable without the final consonant(s):(2) but in words of two or more syllables,the unit is likely to be a syllable with the final consonant(s).

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.719-720
• /
• 2018

복합명사 분해 문제를 태그열 부착 문제로 정의하고 음절 임베딩과 딥러닝을 이용하여 복합명사를 분해하는 방법을 제안한다. 임베딩 방식으로는 음절 단위로 복합명사에 출현한 음절들을 벡터 공간에 표현하고 양방향 LSTM과 선형체인(linear-chain) CRF를 이용하여 복합명사 분해 태그를 부착하여 복합명사를 단위명사들로 분해하였다.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.324-326
• /
• 2017

개체명 인식은 입력 문장에서 인명, 지명, 기관명, 날짜, 시간 등과 같은 고유한 의미를 갖는 단어 열을 찾아 범주를 부착하는 기술이다. 기존의 연구에서는 단어 단위나 음절 단위를 입력으로 사용하였다. 하지만 단어 단위의 경우 미등록어 처리가 어려우며 음절 단위의 경우 단어 고유의 의미가 희석되는 문제가 발생한다. 이러한 문제들을 해결하기 위해 본 논문에서는 형태소 단위 개체명 인식기와 음절 단위 개체명 인식기를 앙상블하여 보정된 결과를 예측하는 개체명 인식기를 제안한다. 제안된 모델은 각각의 단일 입력 모델보다 향상된 F1-점수(0.8049)를 보였다.

• Annual Conference on Human and Language Technology
• /
• 1994.11a
• /
• pp.113-118
• /
• 1994

한국어 정보처리를 효율적으로 수행하기 위해서는 단어의 검색시간을 최소화하여야 한다. 그러나 기존의 방법들은 단어의 삽입과 삭제가 불가능하거나 검색시간이 길다는 단점을 가지고 있다. 본 논문에서는 탐식시간을 최소화하기 위해서 이중 배열을 가지는 이중 트라이를 이용하여 음절 및 자소단위의 검색방법에 관하여 논의한다. 검색시간에 있어서는 음절단위의 방법이 자소단위의 방법보다 빠르지만 기억장소는 자소단위의 방법이 음절단위의 방법보다 효율적이다. 자소단위의 방법에서 하나의 트라이를 여러개로 분할하여 저장함으로써 기억장소를 절반으로 줄일 수 있어 기억장소를 보다 효율적으로 이용할 수 있다.