• Annual Conference on Human and Language Technology
• /
• 2006.10e
• /
• pp.156-163
• /
• 2006

본 연구는 형용사 '크다'를 예로 들어 기존 사전의 의의 기술과 비교하여 실제 코퍼스에서 나타나는 의의를 비교 분석하고자 하였다. 기존 사전들이 기술하고 있는 '크다' 의 의의는 사전마다 다르게 기술되어 있으므로, 공통적인 의의들과 서로 차이가 나는 의의들을 구분하여 비교 제시한다. 이 중에서 조사된 실제 코퍼스를 근거로 하여, '크다'의 의의를 다섯 가지로 설정하였다. 이것은 코퍼스 기반의 의의 구분 방법이 기존의 사전적 구분법보다 더 많은 객관성을 부여해 주는 방법이라 할 수 있다.

• Asia Pacific Journal of Corpus Research
• /
• v.2 no.2
• /
• pp.43-48
• /
• 2021

The aim of this study is to analyze the trends of corpus driven research in Korean education. For this purpose, a total of 14 papers was searched online with the keywords including Korean corpus and Korean education. The data was categorized into three: vocabulary education, grammar education and corpus data construction methods. The analysis results suggest that the number of corpus studies in the field of Korean education is not large enough but continues to increase, especially in the research on data construction tools. This suggests there is a significant demand in corpus driven studies in Korean education field.

• The Journal of the Korea Contents Association
• /
• v.4 no.4
• /
• pp.133-139
• /
• 2004

This paper proposes a Korean sentence boundary detection system which employs k-nearest neighbor algorithm. We proposed three scoring functions to classify sentence boundary and performed comparative analysis. We uses domain independent linguistic features in order to make a general and robust system. The proposed system was trained and evaluated on the two kinds of corpus; ETRI corpus and KAIST corpus. As experimental results, the proposed system shows about $98.82\%$ precision and $99.09\%$ recall rate even though it was trained on relatively small corpus.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.5 s.43
• /
• pp.75-86
• /
• 2006

Target word selection is one of the most important and difficult tasks in English-Korean Machine Translation. It effects on the translation accuracy of machine translation systems. In this paper, we present a new approach to select Korean target word for an English noun with translation ambiguities using multiple knowledge such as verb frame patterns, sense vectors based on collocations, statistical Korean local context information and co-occurring POS information. Verb frame patterns constructed with dictionary and corpus play an important role in resolving the sparseness problem of collocation data. Sense vectors are a set of collocation data when an English word having target selection ambiguities is to be translated to specific Korean target word. Statistical Korean local context Information is an N-gram information generated using Korean corpus. The co-occurring POS information is a statistically significant POS clue which appears with ambiguous word. The experiment showed promising results for diverse sentences from web documents.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.08a
• /
• pp.99-104
• /
• 1998

한국어의 자연스러운 음성합성을 위해 280문장에 대하여 남성화자 1명이 발성한 문음성 데이터를 음운 세그먼트, 음운 라벨링, 음운별 품사 태깅하여 음성 코퍼스를 구축하였다. 이 문 음성 코퍼스를 사용하여 음운환경, 품사 뿐만 아니라 구문 구조에 이하여 음운으 lwlthrtlrks이 어떻게 변화하는가에 대하여 xhdrPwjrdfmh 분석하였다. 음운 지속시간을 보다 정교하게 예측하기 위하여, 각 음운의 고유 지속시간의 영향이 배제된 정규화 음운지속시간을 회귀트리를 이용하여 모델화하였다. 평가결과, 기존의 회귀트리를 이용한 음운지속시간 모델에 의한 예측오차는 87%정도가 20ms 이내 이었지만, 정규화 음운 지속시간 모델에 의한 예측 오차는 89% 정도가 20ms 이내로 더욱 정교하게 예측되었다.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.60-63
• /
• 2017

자연어처리에 딥 러닝을 적용하기 위해 사용되는 Word embedding은 단어를 벡터 공간상에 표현하는 것으로 차원축소 효과와 더불어 유사한 의미의 단어는 유사한 벡터 값을 갖는다는 장점이 있다. 이러한 word embedding은 대용량 코퍼스를 학습해야 좋은 성능을 얻을 수 있기 때문에 기존에 많이 사용되던 word2vec 모델은 대용량 코퍼스 학습을 위해 모델을 단순화 하여 주로 단어의 등장 비율에 중점적으로 맞추어 학습하게 되어 단어의 위치 정보를 이용하지 않는다는 단점이 있다. 본 논문에서는 기존의 word embedding 학습 모델을 단어의 위치정보를 이용하여 학습 할 수 있도록 수정하였다. 실험 결과 단어의 위치정보를 이용하여 word embedding을 학습 하였을 경우 word-analogy의 syntactic 성능이 크게 향상되며 어순이 바뀔 수 있는 한국어에서 특히 큰 효과를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.120-125
• /
• 2013

본 연구는 대량의 특정 도메인 한영 병렬 말뭉치에서 통계 기반 기계 번역 시스템을 이용하여 병렬어휘를 효과적으로 추출해 낼 수 있는 방법에 관한 것이다. 통계 번역 시스템에서 어족이 다른 한국어와 영어간의 문장은 길이 및 어순의 차이로 인해 용어 번역 시 구절 번역 정확도가 떨어지는 문제점이 발생할 수 있다. 또한 문장 길이가 길어짐에 따라 이러한 문제는 더욱 커질 수 있다. 본 연구는 이러한 조건에서 문장의 길이가 축소된 코퍼스를 통해 한정된 코퍼스 자원 내 구 번역 테이블의 병렬어휘 추출 성능이 향상될 수 있도록 하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.437-440
• /
• 2020

최근 자연어 처리에서는 사전 학습과 전이 학습을 통하여 다양한 과제에 높은 성능 향상을 성취하고 있다. 사전 학습의 대표적 모델로 구글의 BERT가 있으며, 구글에서 제공한 다국어 모델을 포함해 한국의 여러 연구기관과 기업에서 한국어 데이터셋으로 학습한 BERT 모델을 제공하고 있다. 하지만 이런 BERT 모델들은 사전 학습에 사용한 말뭉치의 특성에 따라 이후 전이 학습에서의 성능 차이가 발생한다. 본 연구에서는 소셜미디어에서 나타나는 구어체와 신조어, 특수문자, 이모지 등 일반 사용자들의 문장에 보다 유연하게 대응할 수 있는 한국어 뉴스 댓글 데이터를 통해 학습한 KcBERT를 소개한다. 본 모델은 최소한의 데이터 정제 이후 BERT WordPiece 토크나이저를 학습하고, BERT Base 모델과 BERT Large 모델을 모두 학습하였다. 또한, 학습된 모델을 HuggingFace Model Hub에 공개하였다. KcBERT를 기반으로 전이 학습을 통해 한국어 데이터셋에 적용한 성능을 비교한 결과, 한국어 영화 리뷰 코퍼스(NSMC)에서 최고 성능의 스코어를 얻을 수 있었으며, 여타 데이터셋에서는 기존 한국어 BERT 모델과 비슷한 수준의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.352-357
• /
• 2018

본 논문에서는 한국어 프레임넷 분석기를 구축하기 위하여 한국어 프레임넷 데이터를 가공하여 공개하고, 한국어 프레임 분류 및 논항의 의미역 분류 문제를 해결하기 위한 방법을 제안한다. 프레임넷은 단어 단위가 아닌 단어들의 범위로 구성된 범위에 대해 어노테이션된 코퍼스라는 점에 착안하여, 어휘 및 논항의 내부 의미 정보와 외부 의미 정보, 그리고 프레임과 각 의미역들의 임베딩을 학습한 중첩 분할된 양방향 LSTM 모델을 사용하였다. 이를 통해 한국어 프레임 분류에서 72.48%, 논항의 의미역 분류에서 84.08%의 성능을 보였다. 또한 본 연구를 통해 한국어 프레임넷 데이터의 개선 방안을 논의한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.257-260
• /
• 2020

사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.