• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.424-429
• /
• 1996

본 논문에는 일반문서를 대상으로 하여 그 문사를 하이퍼텍스트(hypertext)로 자동변환하는 기법을 제안하고자 한다. 자동변환의 과정은 대상 문서에서 키워드(keyword)의 인식, 문서를 노드(node) 단위로 분리, 키워드로부터 노드로의 링크(ink) 생성의 3 단계로 이루어 진다. 기존의 연구에서는 문서에서 노드를 분리하는데 구문적 유사도만을 이용하는데, 본 논문에서는 양질의 하이퍼텍스트를 생성하기 위하여 구문적 유사도(syntactic similarity)뿐만 아니라 의미적 유사도(semantic similarity)를 사용한다. 구문적 유사도는 tf*idf와 벡터 곱(vector product)을 이용하고, 의미적 유사도는 시소러스(thesaurus)와 부분부합(partial match)을 이용하여 계산되어 진다. 또 링크 생성시 잘못된 링크의 생성을 막기 위하여 시소러스를 이용하여 시소러스에 존재하는 용어에 한해서 링크를 생성한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.265-267
• /
• 2000

본 논문에서는 텍스트 문서의 주제어를 추출하고 문서를 주제별로 분류하기 위해 확률적 그래프 모델을 사용하는 방법을 제안하였다. 텍스트 문서 데이터를 문서와 단어의 쌍으로(dyadic)표현하여 확률적 생성 모델을 학습하였다. 확률적 그래프 모델의 학습에는 정의된 likelihood를 최대화하기 위한 EM(Expected Maximization)알고리즘을 사용하였다. TREC-8 AdHoc 텍스트 에이터에 대하여 학습된 확률 그래프 모델의 성능을 실험적으로 평가하였다. 이로부터 찾아 낸 문서에 대한 주제어가 사람이 제시한 주제어와 유사한 지와, 사람이 각 주제에 대해 분류한 문서가 이 확률모델로부터의 분류와 유사한 지를 실험적으로 검토하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.475-477
• /
• 2002

자동 문서 분류는 범주 특성 벡터와 입력 문서 벡터의 유사도 비교에 의해 가장 유사한 범주를 선택하는 방법이다. 문서 분류 시스템을 구현하기 위하여 각 범주의 특성 벡터를 정보 검색 시스템의 역파일 형태로 구축하였으며, 용어 가중치를 계산하는 방법을 달리하여 문서 분류 시스템의 정확도를 실험하였다. 실험 문서는 일간지의 신문기사들을 무작위로 추출한 문서 집합을 대상으로 하였으며, 정보 검색 모델에서 보편적으로 사용되는 TF-lDF 방식이 변형된 방식에 비해 더 나은 성능을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10a
• /
• pp.195-197
• /
• 1999

본 연구에서는 인터넷 상의 많은 문서들 중에서 사용자에게 보다 적합한 문서를 제공하기 위해 퍼지 관계성을 이용하여 검색 결과 집합의 문서에서 추출한 키워드간의 유사클래스를 생성한다. 또한, 기존의 키워드 직접 매칭에 의한 검색 방법의 단점이라 할 수 있는 의미적 관계를 가지는 문서에 대한 검색 방법도 제안한다. 생성된 유사 클래스는 사용자의 질의를 확장하여 사용자의 관심도를 보다 많이 반영하게 되고, 그 질의어가 포함된 단어나 구의 발생 빈도수가 높은 문서에 대해 의미적으로 서로 연결시켜 분류한다. 본 연구에서 제안한 알고리즘에 의해 문서를 사용자 관심 정도로 분류, 카테고리를 생성하여 검색 효율을 증대시키고 사용자의 요구에 적합한 결과를 제공하고자 한다.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.130-135
• /
• 2010

문장 정렬은 두 개의 문서 간의 대응이 되는 문장을 찾는 작업이다. 이 방법은 통계적 기계 번역의 학습 문서인 병렬 말뭉치를 자동으로 구축하는데 필수적인 방법이다. 본 연구에서는 길이 정보에 추가적으로 유사도 정보를 반영하는 한영 문장 정렬 방법을 제안한다. 먼저 한국어로 된 문서를 기계번역 시스템에 적용하여 영어 문서로 변환한다. 그리고 번역된 영어로 된 문서 결과와 영어로 된 대상 문서 간의 정렬 작업을 수행한다. 정렬 완료된 결과와 원시 문서, 대상 문서로부터 최종적인 결과를 생성해낸다. 본 논문에서는 기계 번역을 이용하는 방법과 더불어 기존의 길이 기반 문장 정렬 프로그램에 문장 유사도 정보를 추가하여 단어 정렬의 성능 향상을 꾀하였다. 그 결과 "21세기 세종기획"의 최종 배포본 내에 포함된 한영 병렬 말뭉치에 대해 한영 문장 정렬 F-1 자질의 결과가 89.39%를 보였다. 이 수치는 기존의 길이 기반의 단어 정렬의 성능 평가 결과와 비교했을 때 약 8.5% 가량 성능이 향상되었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.1538-1541
• /
• 2011

본 논문은 군집 주제의 유의어와 유사도를 이용하여 문서군집의 성능을 향상시키는 방법을 제안한다. 제안된 방법은 비음수행렬분해의 의미특징을 이용하여 군집 주제(topic)의 용어들을 선택함으로서 문서 군집 집합의 내부구조를 잘 표현할 수 있으며, 군집 주제의 용어들에 워드넷의 유의어를 사용하여서 확장함으로써 문서를 용어집합(bag-of-words)으로 표현하는 문제를 해결할 수 있다. 또한 확장된 군집 주제의 용어와 문서집합에 코사인 유사도를 이용하여서 군집의 주제에 적합한 문서를 잘 군집하여서 성능을 높일 수 있다. 실험결과 제안방법을 적용한 문서군집방법이 다른 문서군집 방법에 비하여 좋은 성능을 보인다.

• The KIPS Transactions:PartB
• /
• v.10B no.7
• /
• pp.743-750
• /
• 2003

In this paper, we propose a query expansion and weighting method for document filtering to increase precision of the result of Web search engines. Query expansion for document filtering uses ConceptNet, encyclopedia and documents of 10% high similarity. Term weighting method is used for calculation of query-documents similarity. In the first step, we expand an initial query into the first expanded query using ConceptNet and encyclopedia. And then we weight the first expanded query and calculate the first expanded query-documents similarity. Next, we create the second expanded query using documents of top 10% high similarity and calculate the second expanded query- documents similarity. We combine two similarities from the first and the second step. And then we re-rank the documents according to the combined similarities and filter off non-relevant documents with the lower similarity than the threshold. Our experiments showed that our document filtering method results in a notable improvement in the retrieval effectiveness when measured using both precision-recall and F-Measure.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.10 no.12
• /
• pp.2335-2342
• /
• 2006

The current web is accumulating abundant information. In particular, text based documents are a type used very easily and frequently by human. So, numerous researches are progressed to retrieve the text documents using many methods, such as probability, statistics, vector similarity, Bayesian, and so on. These researches however, could not consider both subject and semantic of documents. So, to overcome the previous problems, we propose the document similarity method for semantic retrieval of document users want. This is the core method of document clustering. This method firstly, expresses a hierarchy semantically of document content ut gives the important hierarchy domain of document to weight. With this, we could measure the similarity between documents using both the domain weight and concepts coincidence in the domain hierarchies.

• The Journal of the Korea Contents Association
• /
• v.14 no.3
• /
• pp.40-51
• /
• 2014

Owing to importance of document copyright the need to detect document duplication and plagiarism is increasing. Many studies have sought to meet such need, but there are difficulties in document duplication detection due to technological limitations with the processing of natural language. This thesis designs and implements a discriminator of similar documents with natural language processing technique. This system discriminates similar documents using morphological analysis, syntactic analysis, and weight on low frequency and idiom. To evaluate the system, we analyze the correlation between human discrimination and term-based discrimination, and between human discrimination and proposed discrimination. This analysis shows that the proposed discrimination needs improving. Future research should work to define the document type and improve the processing technique appropriate for each type.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.262-264
• /
• 2002

하이퍼링크 환경에서의 정보검색은 주로 문서에 존재하는 링크정보를 이용하여 이루어진다. 본 논문은 하나의 문서에 존재하는 여러 개의 하이퍼링크마다 연결되는 문서와의 유사성을 측정하여 차등적으로 링크의 연결정보를 부여하여 기존의 알고리즘을 개선하였고, 관련이 없는 문서로의 하이퍼링크로 인해 발생되는 topic drift현상을 제거하기 위해 문서와 확장된 질의와의 유사성을 측정하여 문서의 가중치를 계산에 적용하도록 알고리즘을 개선하였다. 개선한 알고리즘의 성능을 확인하고자 TREC10의 web tree부분에 적용하여 향상된 검색 결과를 얻었다.