• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.389-396
• /
• 1999

본 연구에서는 이미 만들어진 양국어 단일 언어 어휘 분류체계를 이용하여 양국어 어휘 분류등급 간의 개념유사도에 의한 양국어 분류체계간의 연관 관계를 구축하고자 한다. 중국어 유의어사전과 한국어 분류어휘표를 이용하여 양국어 어휘 분류체계에서의 분류등급 간의 개념유사성 및 양국어간의 어휘 유사성에 의하여 어휘분류망을 자동 구축한다. 자동 구축된 어휘분류망을 통하여 한국어 분류어휘표의 어휘 구성 및 분류체계에 대한 분석 평가를 진행할 것이며 나아가 한국어 분류어휘표에 대한 어휘 및 분류체계에 대한 보완을 시도하고자 한다. 본 연구는 한국어 자체 어휘 분류체계의 구축 방법론의 연구에도 어느 정도 도움될 것으로 기대한다.

• The KIPS Transactions:PartB
• /
• v.18B no.5
• /
• pp.325-332
• /
• 2011

Social Network Services(SNS) such as Twitter, Facebook and Myspace have gained popularity worldwide. Especially, sentiment analysis of SNS users' sentence is very important since it is very useful in the opinion mining. In this paper, we propose a new sentiment classification method of sentences which contains formal and informal vocabulary such as emoticons, and newly coined words. Previous methods used only formal vocabulary to classify sentiments of sentences. However, these methods are not quite effective because internet users use sentences that contain informal vocabulary. In addition, we construct suggest to construct domain sentiment vocabulary because the same word may represent different sentiments in different domains. Feature vectors are extracted from the sentiment vocabulary information and classified by Support Vector Machine(SVM). Our proposed method shows good performance in classification accuracy.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.265-271
• /
• 2019

본 논문은 어휘가 비슷한 문장들을 효과적으로 분류하는 BERT 기반 유사 문장 분류기의 학습 자료 구성 방법을 제안한다. 기존의 유사 문장 분류기는 문장의 의미와 상관 없이 각 문장에서 출현한 어휘의 유사도를 기준으로 분류하였다. 이는 학습 자료 내의 유사 문장 쌍들이 유사하지 않은 문장 쌍들보다 어휘 유사도가 높기 때문이다. 따라서, 본 논문은 어휘 유사도가 높은 유사 의미 문장 쌍들과 어휘 유사도가 높지 않은 의미 문장 쌍들을 학습 자료에 추가하여 BERT 유사 문장 분류기를 학습하여 전체 분류 성능을 크게 향상시켰다. 이는 문장의 의미를 결정짓는 단어들과 그렇지 않은 단어들을 유사 문장 분류기가 학습하였기 때문이다. 제안하는 학습 데이터 구축 방법을 기반으로 학습된 BERT 유사 문장 분류기들의 학습된 self-attention weight들을 비교 분석하여 BERT 내부에서 어떤 변화가 발생하였는지 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.37-39
• /
• 2001

현재 이용가능한 대부분의 자동문서분류 시스템의 가장 큰 문제는 문서에 포함된 단어 사이의 통사 정보는 무시한 채, 각 단어의 분포만 고려한다는 점이다. 하지만, 통사 정보도 문서 분류를 위해 매우 중요한 정보 중의 하나이다. 본 논문에서는 문서에 나타난 어휘 정보와 함께 통사 정보를 함께 고려하는 자동문서분류 방법을 제시한다. Reuters-21578 말뭉치에 대한 문서분류 실험결과 제시된 방법은 어휘정보만 사용하는 방법과 통사정보만 사용하는 방법 모두보다 높은 성능을 보인다 이 말뭉치에 대해서, 어휘정보만으로 학습된 Support Vector Machine으로 약 77%의 매우 높은 정확도를 얻을 수 있음에도 약 0.63%의 추가적인 성능 향상이 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.04a
• /
• pp.443-446
• /
• 2010

질의 분류에서 어휘의 다양한 표현으로 인한 어휘 불일치문제는 성능저하의 주요 원인이다. 본 논문에서는 야후!앤써 질의응답 아카이브를 이용해서 같은 카테고리의 질의-질의쌍들에 대해 어휘-어휘 번역확률을 계산하는 방법을 제안한다. 정보검색에서 우수한 성능을 보인 어휘 사이의 번역확률을 반영하는 번역기반 언어모델이 질의 분류에서 유효함을 확인하였고 언어모델과의 비교실험을 통해 성능향상을 보였다. 어휘관계를 측정하는 방법에서 번역확률 계산방법에 따른 성능측정에서 전체 질의-대답쌍들에 대해 번역확률을 계산하는 것보다 같은 카테고리에 속하는 질의-질의쌍들에 대해 번역확률을 계산하는 것이 분류를 위해 더 좋은 번역확률임을 확인하였다.

• The KIPS Transactions:PartB
• /
• v.17B no.4
• /
• pp.327-332
• /
• 2010

Word mismatch is the most significant problem that causes low performance in question classification, whose questions consist of only two or three words that expressed in many different ways. So, it is necessary to apply word association in question classification. In this paper, we propose question classification method using translation-based language model, which use word translation probabilities for question-question pair that is learned in the same category. In the experiment, we prove that translation probabilities of question-question pairs in the same category is more effective than question-answer pairs in total collection.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2000.08a
• /
• pp.169-172
• /
• 2000

본 연구에서는 청각장애인용 통신보조기기에 적용하기 위한 어휘예측 시스템의 기본구조를 제안한다. 통신보조기기의 어휘는 사용자의 환경을 고려한 어휘이므로, 어휘 예측 시스템도 사용자의 환경과 실생활에서 쉽게 이용할 수 있는 방향으로 고안되어야 한다. 따라서 어휘예측 시스템은 사용자의 환경을 정의하고, 중심어휘와 장소별 도메인에서의 어휘를 발췌한다. 발췌된 어휘는 말뭉치와 의미함축의 원리를 이용하여 분류한다. 분류된 어휘는 문법적 지식을 바탕으로 가상 네트워크를 구성한다. 가상네트워크에서의 어휘는 명사, 조사, 동사의 3부분으로 나눈 후 의미함축과 말뭉치로부터 파생된 어휘를 근접한 거리에 위치시킨다. 동일한 네트워크상에서 어휘의 위치는 문법적 연관성, 빈도수 등을 이용하여 정한다. 따라서 본 연구에서는 어휘예측은 명사, 조사, 동사에서 가장 근접한 어휘를 연결하여 간단한 문장을 작성할 수 있는 어휘 예측 시스템의 기본구조를 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2015.01a
• /
• pp.11-14
• /
• 2015

많은 블로그 제공 사이트는 블로그 포스트 작성자에게 미리 정의된 범주 (category)에 따라 포스트의 주제에 대하여 범주를 선택할 수 있는 환경을 제공한다. 그러나 블로거들은 작성한 포스트의 범주를 매번 수동으로 선택해야 하는 불편함이 있다. 이러한 불편함의 해결을 위해 블로그 포스트를 자동으로 분류해주는 기능을 제공한다면 블로그의 활용성이 증가할 것이다. 기존의 블로그 문서 분류의 연구는 각 범주의 고유 정보를 반영하는 것에 한계가 있었다. 이러한 문제를 해결하기 위해, 본 논문에서는 범주별 고유 정보를 반영한 어휘 가중치를 제안한다. 어휘 가중치의 분석을 위하여 범주별로 블로그 문서를 수집하고, 수집한 문서에서 어휘의 빈도와 문서의 빈도, 범주별 어휘빈도 등을 고려하여 새로운 지표인 CTF, CDF, IECDF를 개발하였다. 이러한 지표를 기반으로 기존의 Naive Bayes 알고리즘으로 학습하여, 블로그 포스트를 자동으로 분류하였다. 실험에서는 본 논문에서 제안한 가중치 방법인 TF-CTF-CDF-IECDF를 사용한 분류가 가장 높은 성능을 보였다.

• Journal of Advanced Marine Engineering and Technology
• /
• v.39 no.1
• /
• pp.58-62
• /
• 2015

Most blog sites provide predefined classes based on contents or topics, but few bloggers choose classes for their posts because of its cumbersome manual process. This paper proposes an automatic blog post classification method that variously combines term frequency, document frequency and class frequency from each classes to find appropriate weighting scheme. In experiment, combination of term frequency, category term frequency and inversed (excepted category's) document frequency shows 77.02% classification precisions.

• Proceedings of the Korea Contents Association Conference
• /
• 2003.11a
• /
• pp.185-189
• /
• 2003

고성능의 질의 응답 시스템을 구현하기 위해서는 질의 유형 분류기의 성능이 중요하다. 본 논문에서는 복잡한 분류규칙이나 대용량의 사전 정보를 이용하지 않고 질의문에서 의문사에 해당하는 어휘들을 이용하여 질의 유형을 결정하고, 의문사 주변에 출현하는 명사들의 의미 정보를 이용하여 세부적인 정답유형을 결정할 수 있는 질의 유형분류기를 제안한다. 의문사에 해당하는 어휘가 생략된 경우는 질의문의 마지막 어절의 의미 정보를 이용하여 질의유형을 분류한다. 의문사 주변의 명사들이 마지막 어절에 출현하는 명사들에 대해 동의어 정보와 접미사 정보를 이용하여 질의 유형 분류의 성능을 향상시킨다. 본 논문에서 제안한 시스템은 질의 유형에 대한 분류는 97.4%의 정확도를 보였다.