• The Transactions of the Korea Information Processing Society
• /
• v.2 no.6
• /
• pp.839-846
• /
• 1995

In this paper, the spelling errors which are made by human being in the real word processors are collected and analyzed. Based on these data, we make a prototype which can perform spell aid function providing candidate words. The number of candidate characters are minimized by the frequency of Jaso and character, so the number of candidate words could be minimized. The average number of candidate words presented are 3.2 to 8, and 62.1 % to 84.1% of the correct words are presented in the candidate words.

• Annual Conference on Human and Language Technology
• /
• 2003.10d
• /
• pp.47-53
• /
• 2003

본 논문은 정제된 대용량 말뭉치로부터 얻은 음절 n-gram과 어절 통계를 이용한 한국어 자동 띄어쓰기 시스템을 제안한다. 한 문장 내에서 최적의 띄어쓰기 위치는 Viterbi 알고리즘에 의해 결정된다. 통계 기반 연구에 고유한 문제인 데이터 부족 문제, 학습 말뭉치 의존 문제를 개선하기 위하여 말뭉치를 확장하고 실험을 통해 얻은 매개변수를 사용하고 최장 일치 Viable Prefix를 찾아 어절 목록에 추가한다. 본 연구에 사용된 학습 말뭉치는 33,641,511어절로 구성되어 있으며 구어와 문어를 두루 포함한다.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.359-367
• /
• 1999

형태소를 공유하고 있는 어휘가 심성 어휘집(mental lexicon)에 어떻게 저장되어 있고 어떻게 어휘 접근되는지에 관하여 여러 설명이 제기되었다 첫 번째 가설은 형태소 공유 어휘는 심성 어휘집에 모두 같은 어근 혹은 어간을 중심으로 저장되어 있다는 것이다. 두 번째 가설은 어간이나 어근으로의 분석을 통해 활용된 단어를 이해하는 것이 아니라 일단 활용된 형태의 어휘를 심성 어휘집에서 찾고, 만일 해당되는 것이 발견되면, 그 활용된 어절의 이해가 끝나게 되고, 만일에 해당되는 것이 심성 어휘집에 존재하지 않는 경우에만 부수적인 과정으로 구성 형태소로의 분석이 이루어진다는 것이다. 세 번째 가설은 어휘의 품사, 어휘의 빈도, 형태소 활용의 규칙성 등에 따라 구성 형태소로의 분석을 통해 활용된 단어를 이해하거나 아니면 활용된 어휘의 직접적인 접근을 통해 활용된 단어를 이해한다는 것이다. 본 연구에서는 이 세 종류의 가설 중에 어느 가설이 옳은 것인지를 조사하기 위해, "먹은" 흑은 "쥐어"와 같은 한국어 어절을 이용하여 형태소 표상 양식과 이해 과정을 다루었다. 본 연구의 목적을 위해 점화 어휘 판단 과제(primed-lexical decision task)를 사용하였다. 실험 1은 "먹은"처럼 동사 "먹다"로도 해석이 가능하고 명사 "먹"으로도 가능한 중의적 어절을 점화 문자열로 제시하고 이 문자열이 두 의미와 관련된 목표 단어 재인에 어떤 영향을 끼치는지를 조사하였다. 만일에 "먹"이라는 어근 혹은 어간으로의 분석을 통해 이 어절을 이해한다면 두 종류의 의미와 관련된 조건 모두에서 촉진적 점화 효과(facilitatory priming effect)가 나타날 것이고, 어절 전체로의 어휘 접근 과정이 일어난다면 사용빈도에서 높은 동사 뜻과 관련된 조건에서만 촉진적 점화 효과가 나타날 것이다. 실험 1의 결과는 두 종류의 의미가 모두 활성화되는 것을 보여 주었다. 즉, "먹은"과 간은 어절 이해는 구성 형태소로의 분석과 구성 형태소 어휘 접근을 통해 어절 이해가 이루어진다는 가설을 지지하고 있다. 실험 2에서는 실험 1과 다르게 한 뜻으로만 안일 수밖에 없는 "쥐어"와 같은 어절을 사용하여 이런 경우에도(즉, 어절의 문맥이 특정 뜻으로 한정하는 경우) 구성 형태소로의 분석 과정이 일어나는지를 조사하였다. 실험 2의 결과는 실험 1의 결과와는 다르게 어간의 한가지 의미와 관련된 조건만 촉진적 점화 효과가 나타나는 것을 보여주었다. 특히, 실험 2에서 SOA가 1000msec일 경우, 두 의미의 활성화가 나타나는 것을 보여주었는데, 이 같은 결과는 어절 문맥이 특정한 의미로 한정시킬 경우는 심성어휘집에 활용형태로 들어있다는 것이다. 또한 명칭성 실어증 환자의 경우에는 즉시적 점화과제에서는 일반인과 같은 형태소 처리과정을 보였으나, 그이후의 처리과정이 일반인과 다른 형태를 보였다. 실험 1과 실험 2의 결과는 한국어 어절 분석이 구문분석 또는 활용형태를 통해 어휘 접근되는 가설을 지지하고 있다. 또 명칭성 실어증 환자의 경우에는 지연된 점화과제에서 형태소 처리가 일반인과 다르다는 것이 밝혀졌다. 이 결과가 옳다면 한국의 심성 어휘집은 어절 문맥에 따라서 어간이나 어근 또는 활용형 그 자체로 이루어져 있을 것이다.

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.12
• /
• pp.881-888
• /
• 2013

A pre-analyzed dictionary is used to increase the speed and the accuracy of morphological analyzers and to decrease the over-generation. However, if the dictionary includes 'Insufficiently-analyzed word-phrases', which do not include all the possible analysis of the word-phrase, it may cause the decrease of the analysis accuracy. In this paper, we measure the accuracy changes according to the number of word-phrase frequency and the size changes of corpus by Sejong corpus. And performance of integrate system(SMA with pre-dictionary) is highest when sufficient analysis rate of pre-dictionary is more than 99.82%. Also pre-dictionary is constructed with word-phrase that frequency more than 32(64) when size of corpus is 1,600,000(6,300,000) word-phrase.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.05a
• /
• pp.615-618
• /
• 2006

언어 기반의 형태소 분석에 따라 언어 지식을 국부 문법을 이용하여 그래픽적으로 기술하여 이를 기반으로 한 어휘 정보와 연결 정보를 함께 가지는 어절 사전을 구축하였다.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.479-483
• /
• 1999

본 논문에서는 사전 구조와 탐색알고리즘을 개선하여 형태소분석기의 분석 속도를 향상시켰다. 형태소분석기의 분석시간은 사전탐색과 제약검사의 비중이 크다. 따라서 형태소분석기의 처리속도는 사전 탐색 기법에 많은 영향을 받는다. 본 논문에서는 한국어 형태소분석기에서 사용되는 사전의 탐색속도 향상과 한 문서에 나타나는 동일한 어절에 대해서 cache를 사용하여 형태소분석기의 처리 속도를 빠르게 하였다. 또한 기존의 형태소분석기에서 속도 증가를 위해 사용하는 어절-형태소분석결과 사전을 활용하여 더 발전시켰다. 본 논문에서는 어절-형태소분석결과 사전을 사용할 때, 분석 속도향상을 위한 새로운 가속기법인 '하이브리드(HyBrid)'방법을 사용하여 어절-형태소분석결과 사전의 적중률을 높였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.43-48
• /
• 2019

본 논문에서는 한국어 챗봇에서의 문장 분류 시스템에 대하여 서술한다. 텍스트를 입력으로 받는 한국어 챗봇의 경우, 때때로 입력 문장에 오타나 띄어쓰기 오류 등이 포함될 수 있고, 이러한 오류는 잘못된 형태소 분석 결과로 이어지게 된다. 잘못된 형태소 분석 결과로 인한 문장 분류의 오류를 줄이기 위하여, 본 논문에서는 새로운 통합 어절 임베딩 방식을 제안한다. 통합 어절 임베딩 방식의 단점을 보완하고 성능을 향상시키기 위하여, 두 가지의 말뭉치 노이즈 추가 방법이 별도로 제안되었다. 실험 결과에 따르면, 본 논문에서 제안된 시스템은 오류를 포함한 한국어 문장 분류 문제에서 기존 시스템과 비교하여 문장 단위 정확률 기준으로 23 %p의 성능 향상을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.486-488
• /
• 2003

한국어 문서에서 가장 많이 나타나는 띄어쓰기 오류는 의미적이고 통사적인 중의성이나 오류를 야기한다. 이 논문은 부산대 인공지능 연구실에서 개발한 부분 문장 분석을 기반으로 하는 한국어 걸자 및 운법 검사기(2.2)에 구현되어 있는 어절 내 한 번 띄어쓰기 오류 교정 기법 및 어절 간 띄어쓰기 오류 교점 기법을 확장하고 개선하며 어절 내 여러 번 띄어쓰기 기법을 개발함을 목표로 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06b
• /
• pp.270-272
• /
• 2012

본 논문에서는 띄어쓰기가 완전히 무시된 한국어 문장의 띄어쓰기 문제를 위해 structural SVM을 이용한 한국어 띄어쓰기 방법을 제안한다. Structural SVM은 기존의 이진 분류 SVM을 sequence labeling 등의 문제에 적용할 수 있도록 확장된 것으로, 이 분야에 띄어난 성능을 보이는 것으로 알려진 CRF와 비슷하거나 더 높은 성능을 보이고 있다. 본 논문에서는 약 2,600만 어절의 세종 코퍼스 원문을 학습 데이터로 사용하고, 약 29만 어절의 ETRI 품사 부착 코퍼스를 평가 데이터로 사용하였다. 평가 결과 음절단위의 정확도는 99.01%, 어절단위의 정확도는 95.47%를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.311-316
• /
• 2007

현대국어 기초말뭉치는 방법론 및 표준화 연구, 그리고 소프트웨어 개발과 더불어 21세기 세종계획 국어기초자료 구축 사업의 일환으로 개발되었다. 현대국어 기초말뭉치 개발에서는 세종말뭉치 통합분 12,000만 어절을 후처리하고, 원시말뭉치 6,200만 어절, 형태분석 말뭉치 1,500만 어절, 형태의미분석 말뭉치 1,250만 어절, 구문분석 말뭉치 80만 어절을 신규 구축 완료하였으며, 이 중 일부 말뭉치에 대한 정제 작업이 2007년 말까지 완료될 예정이다. 방법론 및 표준화 연구에서는 말뭉치 구축 방법론과 분석표지 표준화, 말뭉치 활용 연구가 진행되었고, 이 밖에도 소프트웨어 개발 사업에서는 말뭉치 구축 및 활용에 필요한 도구를 개발하였다. 이 논문은 21세기 세종계획 국어기초자료 구축 사업의 연구 성과를 현대 국어 기초말뭉치를 중심으로 소개하고 향후 전망을 논의하는 것이 목적이다.