• 제목/요약/키워드: Similarity Algorithm

검색결과 1,152건 처리시간 0.022초

Research on Keyword-Overlap Similarity Algorithm Optimization in Short English Text Based on Lexical Chunk Theory

  • Na Li;Cheng Li;Honglie Zhang
    • Journal of Information Processing Systems
    • /
    • 제19권5호
    • /
    • pp.631-640
    • /
    • 2023
  • Short-text similarity calculation is one of the hot issues in natural language processing research. The conventional keyword-overlap similarity algorithms merely consider the lexical item information and neglect the effect of the word order. And some of its optimized algorithms combine the word order, but the weights are hard to be determined. In the paper, viewing the keyword-overlap similarity algorithm, the short English text similarity algorithm based on lexical chunk theory (LC-SETSA) is proposed, which introduces the lexical chunk theory existing in cognitive psychology category into the short English text similarity calculation for the first time. The lexical chunks are applied to segment short English texts, and the segmentation results demonstrate the semantic connotation and the fixed word order of the lexical chunks, and then the overlap similarity of the lexical chunks is calculated accordingly. Finally, the comparative experiments are carried out, and the experimental results prove that the proposed algorithm of the paper is feasible, stable, and effective to a large extent.

Design of Solving Similarity Recognition for Cloth Products Based on Fuzzy Logic and Particle Swarm Optimization Algorithm

  • Chang, Bae-Muu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권10호
    • /
    • pp.4987-5005
    • /
    • 2017
  • This paper introduces a new method to solve Similarity Recognition for Cloth Products, which is based on Fuzzy logic and Particle swarm optimization algorithm. For convenience, it is called the SRCPFP method hereafter. In this paper, the SRCPFP method combines Fuzzy Logic (FL) and Particle Swarm Optimization (PSO) algorithm to solve similarity recognition for cloth products. First, it establishes three features, length, thickness, and temperature resistance, respectively, for each cloth product. Subsequently, these three features are engaged to construct a Fuzzy Inference System (FIS) which can find out the similarity between a query cloth and each sampling cloth in the cloth database D. At the same time, the FIS integrated with the PSO algorithm can effectively search for near optimal parameters of membership functions in eight fuzzy rules of the FIS for the above similarities. Finally, experimental results represent that the SRCPFP method can realize a satisfying recognition performance and outperform other well-known methods for similarity recognition under considerations here.

SSF: Sentence Similar Function Based on word2vector Similar Elements

  • Yuan, Xinpan;Wang, Songlin;Wan, Lanjun;Zhang, Chengyuan
    • Journal of Information Processing Systems
    • /
    • 제15권6호
    • /
    • pp.1503-1516
    • /
    • 2019
  • In this paper, to improve the accuracy of long sentence similarity calculation, we proposed a sentence similarity calculation method based on a system similarity function. The algorithm uses word2vector as the system elements to calculate the sentence similarity. The higher accuracy of our algorithm is derived from two characteristics: one is the negative effect of penalty item, and the other is that sentence similar function (SSF) based on word2vector similar elements doesn't satisfy the exchange rule. In later studies, we found the time complexity of our algorithm depends on the process of calculating similar elements, so we build an index of potentially similar elements when training the word vector process. Finally, the experimental results show that our algorithm has higher accuracy than the word mover's distance (WMD), and has the least query time of three calculation methods of SSF.

Community Discovery in Weighted Networks Based on the Similarity of Common Neighbors

  • Liu, Miaomiao;Guo, Jingfeng;Chen, Jing
    • Journal of Information Processing Systems
    • /
    • 제15권5호
    • /
    • pp.1055-1067
    • /
    • 2019
  • In view of the deficiencies of existing weighted similarity indexes, a hierarchical clustering method initialize-expand-merge (IEM) is proposed based on the similarity of common neighbors for community discovery in weighted networks. Firstly, the similarity of the node pair is defined based on the attributes of their common neighbors. Secondly, the most closely related nodes are fast clustered according to their similarity to form initial communities and expand the communities. Finally, communities are merged through maximizing the modularity so as to optimize division results. Experiments are carried out on many weighted networks, which have verified the effectiveness of the proposed algorithm. And results show that IEM is superior to weighted common neighbor (CN), weighted Adamic-Adar (AA) and weighted resources allocation (RA) when using the weighted modularity as evaluation index. Moreover, the proposed algorithm can achieve more reasonable community division for weighted networks compared with cluster-recluster-merge-algorithm (CRMA) algorithm.

상대유사도를 이용한 새로운 무감독학습 신경망 및 경쟁학습 알고리즘 (A New Unsupervised Learning Network and Competitive Learning Algorithm Using Relative Similarity)

  • 류영재;임영철
    • 한국지능시스템학회논문지
    • /
    • 제10권3호
    • /
    • pp.203-210
    • /
    • 2000
  • 본 논문에서는 패턴분류문제를 해결하기 위한 새로운 무감독학습 신경망 및 경쟁학습 알고리즘을 제한한다. 제아하는 신경망은 입력 데이터의 군집을 분류하기 위한 거리측도로서 군집들 상호간의 상대유사도(relative similarity)를 기반으로 하고 있다. 이러한 까닭에 제안하는 신경망과 알고리즘을 상대유사 신경망 (relative similarity network; RSN)및 학습 알고리즘이라 이름한다. 상대유사도를 정의하고 가중벡터 학습 규칙을 구성함으로써, RSN의 구조를 설계하고 학습알고리즘을 구현하기 의한 의사코드를 기술한다. 일반적인 패턴분류에 RSN을 적용한 결과, 초기 학습률이 없음에도 불구하고 기존이 경쟁학습 신경망인 WTAdlsk SOM고 동등한 성능을 나타내었다. 반면 기존 경쟁학습 신경망의 분류성능이 저하되었던 군집이 경걔가 불분명한 패턴, 그리고 군집이 밀집도와 군집의 크기가 다른 패턴들에 대한 실험에서는 기존의 경쟁학습망보다 효과적인 분류결과를 나타내었다.

  • PDF

Top-${\kappa}$ 유사도 조인을 위한 샘플링 기반 알고리즘 (A Sampling-based Algorithm for Top-${\kappa}$ Similarity Joins)

  • 박종수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제41권4호
    • /
    • pp.256-261
    • /
    • 2014
  • Top-${\kappa}$ 유사도 조인 문제는 두 개의 입력 레코드 집합들에서 유사도를 기준한 상위 ${\kappa}$ 개의 레코드 쌍을 찾는 것이다. 샘플링 기법을 이용하여 상위 ${\kappa}$ 개의 유사도 조인 쌍을 반환하는 효율적인 알고리즘을 제안한다. 입력 레코드들의 표본에서 집합 유사도 조인들의 히스토그램을 구성하고, 상위 ${\kappa}$ 개의 조인 쌍을 위한 추정 유사도 한계치를 통계 추론으로 95% 신뢰 구간의 오차 한계 내에서 계산한다. 상위 ${\kappa}$ 개의 유사도 조인을 얻기 위하여 최소-히프 구조를 사용하는 일반 유사도 조인 알고리즘에 이 추정 한계치를 적용한다. 대 용량의 실제 데이터집합에서의 실험결과는 제안된 알고리즘의 좋은 성능을 보여준다.

화소간 유사도 측정 기법을 이용한 하이퍼스펙트럴 데이터의 무감독 변화탐지에 관한 연구 (A Study on the Unsupervised Change Detection for Hyperspectral Data Using Similarity Measure Techniques)

  • 김대성;김용일
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2006년도 춘계학술발표회 논문집
    • /
    • pp.243-248
    • /
    • 2006
  • In this paper, we propose the unsupervised change detection algorithm that apply the similarity measure techniques to the hyperspectral image. The general similarity measures including euclidean distance and spectral angle were compared. The spectral similarity scale algorithm for reducing the problems of those techniques was studied and tested with Hyperion data. The thresholds for detecting the change area were estimated through EM(Expectation-Maximization) algorithm. The experimental result shows that the similarity measure techniques and EM algorithm can be applied effectively for the unsupervised change detection of the hyperspectral data.

  • PDF

유사도 평가를 위한 트리 비교 알고리즘 (A Tree-Compare Algorithm for Similarity Evaluation)

  • 김영철;유재우
    • 정보처리학회논문지A
    • /
    • 제11A권2호
    • /
    • pp.159-164
    • /
    • 2004
  • 기존의 트리 비교에 관한 연구는 대부분 노드에 가중치가 있거나 레이블이 있는 트리(장식이 있는 트리)에 대해서 연구되었다. 그러나 본 연구에서는 장식이 없는 서로 다른 두개의 트리를 비교하여 유사도를 평가하는 알고리즘을 제시하고 구현한다. 본 시스템에서 제시한 트리 유사도 평가 알고리즘은 비교할 두 개의 트리를 언파서에 의해 노드 스트링으로 변환된 후, 유사도 알고리즘에 의해서 평가되며, 0.0-1.0 사이의 유사 값을 돌려준다. 본 논문의 실험 부분에서는 여러 형태의 트리를 비교 분석하였으며, 두 트리 사이에 일치되는 노드와 불일치 되는 노드를 시각적으로 표현하였다. 본 연구를 활용하면, 특정한 프로그램이나 문서의 유사도 및 중복 코드 발견 등에 활용할 수가 있다.

그룹 테크놀러지에서의 기계 및 부품군을 형성하기 위한 발견적 해법 (A heuristic algorithm for forming machine cells and part families in group technology)

  • 이백
    • 대한산업공학회지
    • /
    • 제22권4호
    • /
    • pp.705-718
    • /
    • 1996
  • A similarity coefficient based algorithm is proposed to solve the machine cells and part families formation problem in group technology. Similarity coefficients are newly designed from the machine-part incidence matrix. Machine cells are formed using a recurrent neural network in which the similarity coefficients are used as connection weights between processing units. Then parts are assigned to complete the cell composition. The proposed algorithm is applied to 30 different kinds of problems appeared in the literature. The results are compared to those by the GRAFICS algorithm in terms of the grouping efficiency and efficacy.

  • PDF

이미지 데이터베이스 유사도 순위 매김 알고리즘 (A Similarity Ranking Algorithm for Image Databases)

  • 차광호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권5호
    • /
    • pp.366-373
    • /
    • 2009
  • 이 논문은 이미지 데이터베이스를 위한 유사도 순위 매김 알고리즘을 제시한다. 이미지 검색의 문제점 중 하나가 이미지로부터 자동적으로 계산한 하위 레벨 특성과 인간 지각과의 의미 차이이며, 검색시에 이미지 유사도 측정을 위해 많은 알고리즘에서는 민코프스키 측정법($L_p$-norm)을 사용하고 있다. 그러나 민코프스키 측정법은 인간 시각 시스템의 비선형적 특성과 문맥 정보를 반영하지 못한다. 본 알고리즘에서는 인간 지각의 비선형성과 문맥 정보를 반영하는 유사도와 탐색 알고리즘을 통해 이 문제를 해결한다. 본 알고리즘을 필기체 숫자 이미지 데이터베이스에 적용하여 성능의 우수성과 효과를 증명하였다.