패턴매칭을 이용한 유사도 비교 분석

A Similarity Valuating System using The Pattern Matching

본 논문에서는 서로 다른 두 개의 문서에 등장하는 패턴 매칭을 이용하여 유사도를 평가하는 시스템을 제안한다. 기존의 문서들의 유사도를 평가하는 방법에는 지문법과 같은 통계적 방법을 주로 이용하였다. 하지만 이 방법은 관련이 없는 두 문서에서 우연히 유사한 단어가 많이 등장 할 때 유사성이 높게 나오는 정확성의 문제점이 있다. 이러한 문제점은 단순히 두 문서의 통계적인 수치를 비교하기 때문에 발생한다. 하지만 본 논문에서 제시하는 패턴을 이용한 방법은 일치하는 패턴을 검색하여 유사성을 판별하기 때문에 이러한 문제를 해결하였다. 하지만 패턴을 검색하는 시간이 오래 걸리는 단점이 있는데 이를 개선하는 알고리즘 또한 본문에서 소개한다.

This research suggests that valuate similarities by using the matches of patterns which is appeared on different two documents. Statistical ways such as fingerprint method are mainly used for evaluate similarities of existing documents. However, this method has a problem of accuracy for the high similarity which is occurred when many similar words are appeared from two irrelevant documents. These issues are caused by simple comparing of statistical parameters of two documents. But the method using patterns suggested on this research solved those problems because it judges similarity by searching same patterns. This method has a defect, however, that takes long time to search patterns, but this research introduce the algorithms complement this defect.