• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.3-10
• /
• 2000

웹의 등장으로 방대한 양의 문서를 다루는 정보검색, 정보추출, 정보요약 등의 분야에서 명사 추출은 대단히 중요한 역할을 담당하는 한 모듈이다. 본 논문에서는 대량의 문서에서 효과적으로 명사를 추출하기 위해 여과기법과 분리기법을 이용한 한국어 기준명사 추출 시스템을 기술한다. 기준명사는 명사들 중에서 기본이 되는 명사로서 복합명사는 제외된다. 본 논문의 기본적인 개념은 먼저 여과기법을 이용해서 명사를 포함하지 않은 어절을 미리 제거하고, 그리고 분리기법을 이용해서 명사가 포함된 어절에서 명사어구와 조사를 분리하고, 복합명사에 해당할 경우에는 각 명사를 분리하여 기준명사를 추출한다. ETRI 말뭉치를 대상으로 실험한 결과, 재헌율과 정확률 모두 약 89% 정도의 성능을 보였으며, 제안된 시스템을 한국어 정보요약 시스템에 적용해 보았을 때, 좋은 결과를 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.20-24
• /
• 2016

Sequence-to-sequence 모델은 입력열을 길이가 다른 출력열로 변환하는 모델로, 단일 신경망 구조만을 사용하는 End-to-end 방식의 모델이다. 본 논문에서는 Sequence-to-sequence 모델을 한국어 구구조 구문 분석에 적용한다. 이를 위해 구구조 구문 트리를 괄호와 구문 태그 및 어절로 이루어진 출력열의 형태로 만들고 어절들을 단일 기호 'XX'로 치환하여 출력 단어 사전의 수를 줄였다. 그리고 최근 기계번역의 성능을 높이기 위해 연구된 Attention mechanism과 Input-feeding을 적용하였다. 실험 결과, 세종말뭉치의 구구조 구문 분석 데이터에 대해 기존의 연구보다 높은 F1 89.03%의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.379-384
• /
• 1993

본 논문은 효율적인 한국어 형태소분석 방법을 제안한다. 기존의 형태소분석 방법에서는 분석속도와 분석정도가 상호보상 관계에 있으므로 형태소분석기가 이용되는 분야에 따라서 다른 분석방법이 사용되고 있다. 본 논문에서 제안한 형태소 분석 알고리즘은 하나의 어절을 이루는 형태소들 사이의 구성원리를 이용하여 각 어절 타입을 예측하고 각 타입에 적합한 분석을 함으로써 적은 회수의 형태소 분할로도 정확한 형태소분석이 가능하게 한다. 본 알고리즘은 많은 문장으로 형태소 분석실험을 하였고 그 실험 결과는 기존의 방법 보다 우수하여 분석속도와 분석정도에 있어서 범용성이 입증되었다. 본 논문은 효율적인 형태소분석 방법을 제시하고 이를 반영한 형태소분석 시스템의 설계 및 구현에 관하여 기술한다.

• Journal of KIISE
• /
• v.42 no.1
• /
• pp.68-75
• /
• 2015

This paper proposes a method for the automatic word spacing of unsegmented Korean sentences. In our method, eojeol monograms are used for word spacing as opposed to the syllable n-grams that have been used in previous studies. The use of a Korean morphological analyzer is limited to the correction of typical word spacing errors. Our method gives a 98.06% syllable accuracy and a 94.15% eojeol recall, when 10-fold cross-validated with the Sejong corpus, after filtering out non-hangul eojeols. The processing rate is 250K eojeols or 1.8 MB per second on a typical personal computer. Syllable accuracy and eojeol recall are related to the size of the eojeol dictionary, better performance is expected with a bigger corpus.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.376-380
• /
• 2000

본 논문에서는 규칙 정보와 통계 정보의 상호 보완적 특성을 이용한 혼합형 방법을 기반으로 규칙 정보와 통계 정보의 추출 및 적용 시에 어절간 문맥 정보를 보다 효율적으로 이용하는 혼합형 품사 태깅 시스템을 제안한다. 먼저 규칙이 적용되는 중의성들에 대해서 높은 정확률로 태깅을 수행한 후, 규칙으로 해결할 수 없는 중의성들에 대해서는 통계 정보를 이용하여 태깅을 수행한다. 규칙 정보는 중의성을 갖는 어절과 주변 어절들의 형태소 및 태그를 이용하여 정의하고 통계 정보는 문맥에 영향을 많이 미치고 많은 중의성의 원인이 되는 조사와 어미의 형태를 그대로 활용하여 추출함으로써 어절간 문맥을 보다 효율적으로 이용한다.

• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.29-34
• /
• 2012

본 연구는 한국어 어순재배치(scrambling) 문장의 이해 과정에서 발생되는 대뇌 활동을 사건관련전위(event-related Potentials; ERPs) 이용하여 살펴보기 위하여 실시되었다. 네 개의 어절로 구성된 표준 어순 문장(일년만에 마님이 영감을 만났어요.)과 어순재배치 문장(일년만에 영감을 마님이 만났어요.)을 어절별로 제시하고 첫 번째 명사구(NP1), 두 번째 명사구(NP2), 동사(Verb)의 시작점(onset)에서 측정한 뇌파를 비교하였다. 뇌파의 분석은 대뇌 영역을 중심선(midline), 중앙(medial), 편측(lateral)로 나누어 전후 분포(anterior-posterior distribution)와 정중선(midline)의 열에 의해 좌우 반구(hemisphere)로 분리하여 분석하였다. 분석 결과 중심선 영역에서 표준 어순에 비해 뒤섞기 어순에서 300-500ms 시간 창(time window)에서 큰 부적 전위(negative potential)가 관찰되었으며 이는 어순재배치로 인한 N400효과로 해석되며 P600효과는 관찰되지 않았다. 특히 첫 번째 명사구에서 문장유형(표준 어순 vs. 어순재배치)의 차이가 가장 크게 관찰되었으며 두 번째 명사구에서는 중앙에서 문장유형과 반구(좌우반구)의 상호작용이 관찰되었고, 동사에서는 문장유형과 반구, 문장유형과 전극 위치의 전후 분포와의 상호작용이 관찰되었다. 본 연구 결과에서 관찰된 N400효과는 독일어와 일본어를 대상으로 한 어순재배치 연구 결과와 유사하며 한국어 어순재배치 문장에 관한 사건관련 전위를 고찰하였다는 점에서 의의가 있다.

• Journal of KIISE:Software and Applications
• /
• v.30 no.5_6
• /
• pp.476-486
• /
• 2003

There is no explicit spelling change information in part-of-speech tagged corpora of Korean. It causes some difficulties in acquiring the data to study Korean morphology, i.e. automatically in constructing a dictionary for morphological analysis and systematically in collecting the phenomena of the spelling changes from the corpora. To solve this problem, this paper presents a method to recognize spelling changes between morphemes of a Korean word in tagged corpora, only using a string matching, without using a dictionary and phonological rules. This method not only has an ability to robustly recognize the spelling changes because it doesn't use any phonological rules, but also can be implemented with few cost. This method has been experimented with a large tagged corpus of Korean, and recognized the 100% of spelling changes in the corpus with accuracy.

• Korean Journal of Cognitive Science
• /
• v.18 no.4
• /
• pp.325-350
• /
• 2007

This study investigated global and local characteristics of eye movement while 16 college students read 48 easy Korean sentences. It was found that readers lusted for about 225ms at the word cluster(eojeol), made a forward saccade of about 3.6 characters to the next word, skipped short and high-frequent words about 25% during the first-pass reading, and regressed backward at 19%. There were also individual differences in readers' pattern of fixation and saccade. In addition, the effects of word cluster length and word frequency and the effects related to landing position were examined. The eyes landed on the center of a word cluster more frequently than on the boundaries. When the eyes landed at the boundaries, the eyes fixated the word cluster again more frequently. The word clusters with high-frequency words were read faster than those with low-frequency words.

• Annual Conference on Human and Language Technology
• /
• 2003.10d
• /
• pp.63-68
• /
• 2003

본 논문에서는 형태소 분석 대상 어절의 좌우 어절내의 대표 형태소 어휘 문맥 정보에 기반한 형태소 오류 정정 방안을 제안한다. 현재까지 주변의 품사열 문맥 정보에만 의존하는 기존의 품사 태깅 모델과 달리 주변 어휘를 반영할 수 있는 좌우 어절 문맥을 이용해 형태소 태거의 성능을 향상시킬 수 있는 방법들이 제시되었다. 그러나 이러한 어절 문맥에 의한 지속적인 성능 향상을 위해서는 대량의 품사 태킹 문맥 정보를 필요로 한다. 따라서 본 논문에서는 이러한 자료 부족 문제를 해결하기 위하여 기존의 분석 대상 어절 좌우의 어절 단위의 어휘 문맥 정보가 아닌 좌우 어절내의 대표 형태소 단위의 형태소 어휘 문맥을 이용한 품사 태깅 오류 정정 방안을 제안한다. 실험을 통해, 형태소 어휘 단위의 문맥 정보의 적용성(Coverage)의 높고 기존의 품사 문맥 정보 기반의 형태소 분석기의 태깅 오류를 정정하여 그 정확성을 크게 향상시킬 수 있음을 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.11-15
• /
• 2006

본 논문은, 긍정적 가중치와 부정적 가중치를 통해 표현되는 규칙에 기반을 둔 품사 태깅 모델과, 형태 소 unigram 정보와 어절 내의 카테고리 패턴에 기반하여 어절 확률을 추정하는 품사 태깅 모델의 장점을 취하고 단점을 보완할 수 있는 혼합 품사 태깅 모델을 제안한다. 이 혼합 모델은 먼저, 규칙에 기반한 품사 태깅을 적용한 후, 규칙이 해결하지 못한 결과에 대해서 통계적인 기법을 사용하여 품사 태깅을 한다. 본 연구는 어절 내 카테고리 패턴정보에 따른 파라미터 set과 형태소 unigram만을 이용해 어절 확률을 계산해 내므로 다른 통계기반 접근방법에서와는 달리 작은 크기의 통계사전만을 필요로 하며, 카테고리 패턴 정보를 사용함으로써 통계기반 접근 방법의 가장 큰 문제점인 data sparseness 문제 또한 줄일 수 있다는 이점이 있다. 특히, 본 논문에서 사용할 통계 모델은 어절 확률에 기반을 두고 있기 때문에 한국어의 특성을 잘 반영할 수 있다. 본 논문에서 제안한 혼합 모델은 규칙이 적용된 후에도 후보열이 둘 이상 남아 오류로 반환되었던 어절 중 24%를 개선한다.