• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06b
• /
• pp.291-293
• /
• 2012

SNS, 블로그의 이용이 늘어나면서, 문서의 복제와 재생산이 빈번하게 발생함에 따라 대용량 문서에서의 유사중복문서 검출이 큰 이슈로 제기되고 있다. 본 논문에서는 한국어 문서를 대상으로 이러한 문제를 해결하기 위해 품질을 유지하면서 신속하게 문서집합 중 유사중복문서를 검출하는 방법에 대해 제안한다. 제안하는 알고리즘에서는 문서를 대표하는 고빈도 Unigram Token을 활용하여 문서를 군집화함으로써 비교 대상을 최소화 하였다. 실험결과, 76만 문서에서 기존 방법 대비 평균 0.88의 Recall을 유지하면서도 중복을 검출하는데 있어서 십수초내에 처리가 가능함을 보였다. 향후 대용량 검색시스템 및 대용량 이미지, 동영상 유사중복 검출에도 활용할 수 있을 것으로 기대한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.275-278
• /
• 2010

문서 표절과 관련된 이슈가 급증함에 따라 유사 문서 탐색과 관련한 연구가 활발히 진행되고 있다. 특히 인터넷의 발달로 인해 일반 사용자가 수많은 전자 문서에 쉽게 접근할 수 있게 됨에 따라 대용량 문서 집합에 대한 탐색 속도와 정확성의 중요성도 커지고 있다. 대용량 문서 집합 내에서 빠른 시간 내에 유사 문서를 탐색하는 방법에는 전역 사전을 이용하여 후보 문서 쌍(유사할 가능성이 높은 문서의 쌍)를 추출한 후 찾아낸 후보 문서 쌍에만 정밀한 검사를 수행함으로써 검사 시간을 줄이는 방법이 존재한다. 이 때, 후보 문서를 찾아내기 위하여 전역 사전(Global DICtionary, GDIC)이라는 자료 구조를 이용하게 되는데, 이 전역 사전을 효과적으로 사용하면 후보 문서 쌍을 찾아내는 시간을 기존보다 더욱 줄일 수 있다. 본 논문에서는 전역 사전을 더욱 효과적으로 활용하여 후보 문서 쌍 검색 시간을 대폭 줄이는 방법에 대해 기술하며, 어느 정도의 성능 향상이 있는지 실험을 통해 측정하였다. 20,000건의 실험용 말뭉치 자료와 6263건의 실존하는 보고 문서에 대해 실험한 결과, GDIC 생성에서 2.5~4,6%, 후보 문서 쌍 탐색에서 1%~15.4% 정도의 성능이 향상된 것을 확인할 수 있었다. 추후 update query를 최소화하여 GDIC 생성시간을 추가로 줄이는 방법에 대해 연구할 계획이다.

• The Journal of the Korea Contents Association
• /
• v.15 no.10
• /
• pp.636-646
• /
• 2015

In information society, the need to detect document duplication and plagiarism is increasing. Many studies have progressed to meet such need, but there are limitations in increasing document duplication detection quality due to technological problem of natural language processing. Recently, some studies tried to increase the quality by applying syntatic-semantic analysis technique. But, the studies have the problem comparing syntactic-semantic trees. This paper develops a syntactic-semantic tree comparator, designs and implements a discriminator of similar documents using the comparator. To evaluate the system, we analyze the correlation between human discrimination and system discrimination with the comparator. This analysis shows that the proposed discrimination has good performance. We need to define the document type and improve the processing technique appropriate for each type.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06c
• /
• pp.228-231
• /
• 2011

최근 표절에 대한 사회적 관심이 꾸준히 높아지고 있는 가운데, 기계적으로 유사한 문서를 탐색하는 방법에 대한 많은 연구가 이루어지고 있다. 이 중 생물정보학에서 유전자 서열을 분석하기 위해 사용되는 '지역 정렬(local alignment)' 기법은 문서 간 유사 영역을 탐색하는 데에 유용하다. 한편 한글에는 조사가 존재하는데, 이 때문에 한글 문장은 각 품사의 순서에 큰 영향을 받지 않는다. 이러한 한글의 특성을 이용해 기존 문서의 어순만 바꾼 문장을 생성할 경우, 지역 정렬을 이용한 탐색 방법으로는 이를 찾아내기 힘들다. 본 논문에서는 한글의 특성을 고려하여 어순과 관계없이 해당 영역의 유사성을 찾아내는 새로운 한글 유사 문서 탐색 방법을 제시한다. 이를 위하여, 성분 정렬(composition alignment) 기법을 적용한다. 성분 정렬 기법은 생물학에서 생물의 진화 과정이나 돌연변이 DNA 등 서열의 순서가 일부 뒤바뀌는 것을 허용하면서 유사한 시퀀스를 찾는 기법으로 기존의 방법보다 더욱 유연하고 민감한 방법이라 할 수 있다. 이를 적용하여 한글 문서를 탐색한 결과, 일반적인 문장 및 거의 동일한 문장 간의 유사도 점수는 큰 변화가 없었으나, 어순을 바꾼 문장의 경우 기존의 방법보다 평균 35.34% 가량 민감하게 탐색할 수 있었다. 추후 한글에 대한 초성 추출 및 성분 정렬 방법을 응용하여 다단계 구조의 유사 문서 탐색 방법에 대해 연구할 계획이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05c
• /
• pp.1515-1518
• /
• 2003

XML의 대표적인 특징은 기존의 다른 컨텐츠와는 달리 문서의 구조를 기술할 수 있다는 것이다. 구조적 정보는 활용 방법에 파라 XML문서의 다양한 처리에 있어 성능을 향상시키는 핵심적인 요소가 될 수 있다. 그러나 XML 태그의 자기 서술적인 특성에서 비롯되는 구조적 표현의 차이는 오히려 문서의 식별을 어렵게 하는 원인이 된다. 본 논문에서는 기존의 비트맵 인덱스(Bitmap Index)를 이용한 XML 문서 검색 시스템이 다양한 구조적 유사성을 판별할 수 없는 단점을 보완 가능하도록 경로 중심의 유사 문서 인식 기법을 제안한다. 이 기법은 '경로 구성 유사도'와 '유사 경로 테이블'을 통해 기존의 비트맵 인덱스가 갖는 유사 경로를 인식하지 못하는 단점을 해결하고 검색의 유연성을 부여함으로써 보다 양질의 검색 결과를 도출할 수 있다. 또 이것은 기존 시스템의 Bit-wise 연산에 완전히 이식됨으로써 비트맵 인덱스의 장점인 빠른 성능을 그대로 유지할 수 있게 된다.

• Journal of KIISE:Databases
• /
• v.31 no.6
• /
• pp.699-709
• /
• 2004

XML is increasingly important in data exchange and information management. Starting point for retrieving the structure and integrating the documents efficiently is clustering the documents that have similar structure. The reason is that we can retrieve the documents more flexible and faster than the method treating the whole documents that have different structure. Therefore, in this paper, we propose the similar structure-based incremental clustering method useful for retrieving the structure of XML documents and integrating them. As a novel method, we use a clustering algorithm for transactional data that facilitates the large number of data, which is quite different from the existing methods that measure the similarity between documents, using vector. We first extract the representative structures of XML documents using sequential pattern algorithm, and then we perform the similar structure based document clustering, assuming that the document as a transaction, the representative structure of the document as the items of the transaction. In addition, we define the cluster cohesion and inter-cluster similarity, and analyze the efficiency of the Proposed method through comparing with the existing method by experiments.

• Journal of Korea Multimedia Society
• /
• v.11 no.8
• /
• pp.1043-1050
• /
• 2008

XML has become a standard for data representation and exchange on the Internet. With a large number of XML documents on the Web, there is an increasing need to automatically process those structurally rich documents for information retrieval, document management, and data mining applications. In this paper, we propose a new method to measure the similarity between XML documents by considering their structures and contents. The similarity of document's structure is found by a simple string matching technique and that of document's contents is found by weights taking into account of the names and positions of elements. The overall algorithm runs in time that is linear in the combined size of the two documents involved in comparison evaluation.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10a
• /
• pp.7-9
• /
• 2003

최근 인터넷을 대상으로 하는 정보검색의 방법 중 하이퍼링크 정보를 이용한 방법이 각광받고 있다. 그리고 하이퍼링크 정보이외에 문서내에 존재하는 다양한 정보를 이용하여 검색 성능을 향상시키고자 하는 시도가 지속적으로 이루어지고 있다. 본 연구에서는 문서와 문서 사이의 유사도를 이용하여 하이퍼링크의 가중치를 부설하여 검색 성능을 향상시킨 방법을 개선하여 문서내의 주제정보를 추출하고 주제 단위의 유사도를 이용하여 하이퍼링크의 가중치를 새롭게 부여하여 링크분석 알고리즘에 적용하였다. 본 연구에서 제안한 방법이 문서사이의 유사도를 이용한 방법보다 뛰어난 성능을 나타내고 있음이 입증되었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.232-234
• /
• 2004

XML 문서의 요소는 의미적인 정보와 트리기반의 구조적인 정보를 포함하고 있기 때문에 요소의 구조적인 유사성이 곧 XML 문서의 유사성으로 연구되어 왔다. 그러나 구조적이고 순차적인 유사성만을 고려한 순차패턴 유사성 검색 방법은 의미적인(sementic) 유사성을 제대로 반영을 할 수가 없다. 이것은 정보 검색에 있어 재현율(recall)을 낮을 수밖에 없는 원인을 제공한다. 따라서 본 논문에서는 기존에 사용되었던 순차패턴을 기반으로 한 유사성의 계산 방법과 각각의 연구 방법이 의미적인 유사성에 대하여 한계가 있음을 찾아보았다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.16 no.5
• /
• pp.626-630
• /
• 2010

Since the paper plagiarism has become one of important social issues, it is necessary to develop system for measuring the similarity between papers. The speed and accuracy of the system are very important features. So many researchers are studying the features. In this paper, we propose a preprocessing method using 'Global Dictionary' model to enhance performance of the system. The global dictionary includes information of all words in the document repository. The system uses the model to find similar papers with low computing time. Finally our experiment showed that a set of more than 20,000 documents could be reduced to about 50 documents drastically by our filtering techniques, which proves the excellence of our system.