• Journal of Information Processing Systems
• /
• 제15권6호
• /
• pp.1503-1516
• /
• 2019

In this paper, to improve the accuracy of long sentence similarity calculation, we proposed a sentence similarity calculation method based on a system similarity function. The algorithm uses word2vector as the system elements to calculate the sentence similarity. The higher accuracy of our algorithm is derived from two characteristics: one is the negative effect of penalty item, and the other is that sentence similar function (SSF) based on word2vector similar elements doesn't satisfy the exchange rule. In later studies, we found the time complexity of our algorithm depends on the process of calculating similar elements, so we build an index of potentially similar elements when training the word vector process. Finally, the experimental results show that our algorithm has higher accuracy than the word mover's distance (WMD), and has the least query time of three calculation methods of SSF.

• Journal of Information Processing Systems
• /
• 제19권5호
• /
• pp.631-640
• /
• 2023

Short-text similarity calculation is one of the hot issues in natural language processing research. The conventional keyword-overlap similarity algorithms merely consider the lexical item information and neglect the effect of the word order. And some of its optimized algorithms combine the word order, but the weights are hard to be determined. In the paper, viewing the keyword-overlap similarity algorithm, the short English text similarity algorithm based on lexical chunk theory (LC-SETSA) is proposed, which introduces the lexical chunk theory existing in cognitive psychology category into the short English text similarity calculation for the first time. The lexical chunks are applied to segment short English texts, and the segmentation results demonstrate the semantic connotation and the fixed word order of the lexical chunks, and then the overlap similarity of the lexical chunks is calculated accordingly. Finally, the comparative experiments are carried out, and the experimental results prove that the proposed algorithm of the paper is feasible, stable, and effective to a large extent.

• 한국소프트웨어감정평가학회 논문지
• /
• 제15권1호
• /
• pp.25-35
• /
• 2019

우리나라에서 컴퓨터프로그램의 실질적 유사성 여부 판단은 정량적인 유사도를 산출하여 그 결과를 활용하는 방식이 일반적으로 이용된다. 실질적 유사성은 유사한 부분의 양과 질을 고려하여 판단되어야 하는데, 실무에서는 정량적인 유사도 계산 과정에서 가중치를 곱함으로써 유사한 부분의 질을 고려하는 모습을 보인다. 그런데 실질적 유사성 판단과 관련하여 유사한 부분의 양적, 질적인 고려는 동일한 지위에서 순차적으로 이루어져야 한다는 본질적 특징을 고려할 때, 현재와 같은 실무 방식은 적절하다고 할 수 없다. 이에 이와 같은 가중치 활용의 문제를 지적하고, 실질적 유사성 판단을 위한 유사 부분의 질적 평가는 정량적 유사도 판단에 후행하여 그와 동일한 지위에서 이루어져야 함을 제시 및 이를 위한 적절한 실무적 방안을 제언하였다.

• 정보처리학회논문지B
• /
• 제19B권4호
• /
• pp.243-248
• /
• 2012

정보검색 분야에서 벡터 모델, 문서 클러스터링 등은 입력 문서 개수가 증가할수록 유사도 계산 속도가 시스템의 성능에 많은 영향을 미치고 있다. 본 논문에서는 문서 유사도 계산 성능을 향상시키기 위하여 유사도를 계산하는 연산을 CPU 대신에 GPU를 이용하는 CUDA 프레임워크에서 병렬처리 기법으로 구현하는 방법을 제안하였다. 이 방법은 보편적인 방식인 CPU 환경에서 구현했을 때와 비교할 때 최대 15배까지 성능이 향상되었다. 또한, 기존의 CUDA 라이브러리인 CUBLAS와 Thrust를 사용한 방법보다도 각각 5.2배, 3.4배의 성능 개선 효과가 있음을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제11권7호
• /
• pp.579-583
• /
• 2001

In the area of data clustering in high dimensional space, one of the difficulties is the time-consuming process for computing vector similarities. It becomes worse in the case of the agglomerative algorithm with the group-average link and mean centroid method, because the cluster similarity must be recomputed whenever the cluster center moves after the merging step. As a solution of this problem, we present an incremental method of similarity computation, which substitutes the scalar calculation for the time-consuming calculation of vector similarity with several measures such as the squared distance, inner product, cosine, and minimum variance. Experimental results show that it makes clustering speed significantly fast for very high dimensional data.

• Journal of information and communication convergence engineering
• /
• 제17권2호
• /
• pp.135-141
• /
• 2019

Collaborative filtering algorithms often encounter data sparsity issues. To overcome this issue, auxiliary information of relevant items is analyzed and an item attribute matrix is derived. In this study, we combine the user-item attribute preference with the traditional similarity calculation method to develop an improved similarity calculation approach and use weights to control the importance of these two elements. A collaborative filtering algorithm based on user-item attribute preference is proposed. The experimental results show that the performance of the recommender system is the most optimal when the weight of traditional similarity is equal to that of user-item attribute preference similarity. Although the rating-matrix is sparse, better recommendation results can be obtained by adding a suitable proportion of user-item attribute preference similarity. Moreover, the mean absolute error of the proposed approach is less than that of two traditional collaborative filtering algorithms.

• 한국융합학회논문지
• /
• 제4권3호
• /
• pp.35-41
• /
• 2013

Grouping problem with similarities between DNA sequences are studied. The similaritymeasure and the distance measure showed the complementary characteristics. Distance measure can be obtained by complementing similarity measure, and vice versa. Similarity measure is derived and proved. Usefulness of the proposed similarity measure is applied to grouping problem of 25 cockroach DNA sequences. By calculation of DNA similarity, 25 cockroaches are clustered by four groups, and the results are compared with the previous neighbor-joining method.

• 한국멀티미디어학회논문지
• /
• 제23권12호
• /
• pp.1552-1564
• /
• 2020

As various styles of fonts were used, there were problems such as output errors due to uninstalled fonts and difficulty in font recognition. To solve these problems, research on font recognition and recommendation were actively conducted. However, Hangul font research remains at the basic level. Therefore, in order to automate the comparison on Hangul font similarity in the future, we analyze the influence of each stroke element property. First, we select seven representative properties based on Hangul stroke shape elements. Second, we design a calculation model to compare similarity between fonts. Third, we analyze the effect of each stroke element through the cosine similarity between the user's evaluation and the results of the model. As a result, there was no significant difference in the individual effect of each representative property. Also, the more accurate similarity comparison was possible when many representative properties were used.

• 정보보호학회논문지
• /
• 제22권6호
• /
• pp.1325-1336
• /
• 2012

과거 일 평균 10종 내외로 발견되었던 악성코드가 최근 10년 동안 급격히 증가하여 오늘날에는 55,000종 이상의 악성코드가 발견되고 있다. 하지만 발견되는 다수의 악성코드는 새로운 형태의 신종 악성코드가 아니라 과거 악성코드에서 일부 기능이 추가되거나 백신탐지를 피하기 위해 인위적으로 조작된 변종 악성코드가 다수이다. 따라서 신종과 변종이 포함된 다수의 악성코드를 효과적으로 대응하기 위해서는 과거의 악성코드와 유사도를 비교하여 신종과 변종을 분류하는 과정이 필요하게 되었다. 기존의 악성코드를 대상으로 한 유사도 산출 기법은 악성코드가 사용하는 IP, URL, API, 문자열 등의 외형적 특징을 비교하거나 악성코드의 코드단계를 서로 비교하는 방식이 사용되었다. 하지만 악성코드의 유입량이 증가하고 비교대상이 많아지면서 유사도를 확인하기 위해 많은 계산이 필요하게 되자 계산량을 줄이기 위해 최근에는 퍼지해시가 사용되고 있다. 하지만 퍼지해시에 제한사항들이 제시되면서 기존의 퍼지해시를 이용한 유사도 비교방식의 문제점이 제시되고 있다. 이에 본 논문에서는 퍼지해시를 이용하여 유사도 성능을 높일 수 있는 새로운 악성코드간 유사도 비교기법을 제안하고 이를 활용한 악성코드 분류기법을 제시하고자 한다.

• 한국정보통신학회논문지
• /
• 제14권4호
• /
• pp.875-885
• /
• 2010

사례기반추론(CBR:Case-Based Reasoning)은 기존 데이터와 사례 데이터들의 관계성을 추론하는 기법으로 유사도(Similarity)와 유클리디안(Euclidean) 거리 계산 방법이 가장 많이 사용되고 있다. 그러나 이 방법들은 기존 데이터와 사례 데이터를 모두 비교하기 때문에 데이터 검색과 필터링에 많은 시간이 소요되는 단점이 있다. 따라서 이를 해결하기 위한 다양한 연구들이 진행되고 있다. 본 논문에서는 기존의 유사도와 유클리디안 계산과정에서 발견된 패턴을 활용한 SE(Speed Euclidean-distance) 계산방법을 제안한다. SE 계산방법은 새로운 사례입력에 발견된 패턴과 가중치를 적용하여 빠른 데이터 추출과 수행시간 단축으로 시간적 공간적 제약사항에 대한 연산 속도를 향상시키고 불필요한 연산 수행을 배제하는 것이다. 실험을 통해 유사도나 유클리디안 방법으로 데이터를 추출하는 기존의 방법보다 제안하는 방법이 다양한 컴퓨터 환경과 처리 속도에서 성능이 향상됨을 확인할 수 있었다.