• 제목/요약/키워드: Cosine similarity

검색결과 189건 처리시간 0.022초

An Incremental Similarity Computation Method in Agglomerative Hierarchical Clustering

  • Jung, Sung-young;Kim, Taek-soo
    • 한국지능시스템학회논문지
    • /
    • 제11권7호
    • /
    • pp.579-583
    • /
    • 2001
  • In the area of data clustering in high dimensional space, one of the difficulties is the time-consuming process for computing vector similarities. It becomes worse in the case of the agglomerative algorithm with the group-average link and mean centroid method, because the cluster similarity must be recomputed whenever the cluster center moves after the merging step. As a solution of this problem, we present an incremental method of similarity computation, which substitutes the scalar calculation for the time-consuming calculation of vector similarity with several measures such as the squared distance, inner product, cosine, and minimum variance. Experimental results show that it makes clustering speed significantly fast for very high dimensional data.

  • PDF

군집 주제의 유의어와 유사도를 이용한 문서군집 향상 방법 (Enhancing Document Clustering Method using Synonym of Cluster Topic and Similarity)

  • 박선;김경준;이진석;이성로
    • 대한전자공학회논문지SP
    • /
    • 제48권5호
    • /
    • pp.30-38
    • /
    • 2011
  • 본 논문은 군집 주제의 유의어와 유사도를 이용하여 문서군집의 성능을 향상시키는 방법을 제안한다. 제안된 방법은 비음수 행렬분해의 의미특징을 이용하여 군집 주제(topic)의 용어들을 선택함으로서 문서 군집 집합의 내부구조를 잘 표현할 수 있으며, 군집 주제의 용어들에 워드넷의 유의어를 사용하여서 확장함으로써 문서를 용어집합(BOW, bag-of-words)으로 표현하는 문제를 해결할 수 있다. 또한 확장된 군집 주제의 용어와 문서집합에 코사인 유사도를 이용하여서 군집의 주제에 적합한 문서를 잘 군집하여서 성능을 높일 수 있다. 실험결과 제안방법을 적용한 문서군집방법이 다른 문서군집 방법에 비하여 좋은 성능을 보인다.

이웃 선정 조건에 따른 협력 필터링의 성능 향상 분석 (Analysis of Performance Improvement of Collaborative Filtering based on Neighbor Selection Criteria)

  • 이수정
    • 컴퓨터교육학회논문지
    • /
    • 제18권4호
    • /
    • pp.55-62
    • /
    • 2015
  • 협력 필터링을 통한 추천 시스템은 정보 검색 편의성을 제공함으로써 다방면에서 성공적으로 활용되어왔다. 유사도 측정은 추천인들의 범위를 결정하는 기준이 되기 때문에 이러한 시스템의 성능을 좌우하는 결정적 요소이다. 본 연구에서는 기존의 유사도 측정 공식에서 산출되는 유사도값의 분포를 분석하고, 유사도값과 공통평가항목수와의 관계를 조사하였다. 이를 통해 발견된 문제점을 보완하기 위하여 유사도값의 제한을 통하여 신뢰할 만한 추천인들을 선정하는 방법을 제시하였다. 실험 결과, 유사도의 상한값과 하한값을 동시에 제한하는 방법이 기존보다 월등한 성능 향상을 가져왔다. 특히 적은 수의 최인접이웃을 참조했을 때 두드러졌는데, 코사인 유사도에 대해서는 최대 0.047, 피어슨에 대해서는 최대 0.03의 추천 성능 향상을 보였다. 이 결과는 피어슨과 코사인 유사도를 이용하는 협력필터링 시스템에서 매우 높거나 낮은 유사도의 이웃의 평가 등급은 참조하지 않는 것이 바람직함을 암시한다.

사용자 인식을 위한 가상 심전도 신호 생성 기술에 관한 연구 (A Study on the Synthetic ECG Generation for User Recognition)

  • 김민구;김진수;반성범
    • 스마트미디어저널
    • /
    • 제8권4호
    • /
    • pp.33-37
    • /
    • 2019
  • 심전도 신호는 시간 및 환경 변화에 따라 측정되는 시계열 데이터로 매번 등록 데이터와 동일한 크기의 비교 데이터를 취득해야 하는 문제점이 발생한다. 본 논문에서는 신호 크기 부적합 문제를 해결하기 위해 가상 생체신호 생성을 위한 보조 분류기 기반 적대적 생성 신경망(Auxiliary Classifier Generative Adversarial Networks)의 네트워크 모델을 제안한다. 생성된 가상 생체신호의 유사성을 확인하기 위해 코사인 각도와 교차 상관관계를 이용하였다. 실험 결과, 코사인 유사도 측정 결과로 평균 유사도는 0.991의 결과를 나타냈으며, 교차 상관관계를 이용한 유클리디언 거리 기반 유사성 측정 결과는 평균 0.25 유사도 결과를 나타냈다. 이는 등록 데이터와 실험 데이터간의 크기가 일치하지 않더라도 가상 생체신호 생성을 통해 신호 크기 부적합 문제를 해결함을 확인하였다.

사용자 기반의 협력필터링 시스템을 위한 유사도 측정의 최적화 (Optimization of the Similarity Measure for User-based Collaborative Filtering Systems)

  • 이수정
    • 컴퓨터교육학회논문지
    • /
    • 제19권1호
    • /
    • pp.111-118
    • /
    • 2016
  • 협력 필터링 기반의 추천시스템에서 유사도 측정은 시스템의 성능에 큰 영향을 미치는데, 이는 유사한 다른 사용자들로부터 항목을 추천받기 때문이다. 본 연구에서는 전통적인 유사도 측정 방법의 가장 큰 문제인 데이터 희소성을 극복하기 위해, 기존의 유사도 측정값과 공통평가항목수의 반영값을 최적으로 결합하는 새로운 유사도 측정방식을 제안한다. 제안 방식의 성능 평가를 위해 다양한 조건으로 실험한 결과 기존 방식들보다 우수한 예측 정확도를 나타냈으며, 구체적으로 전통적인 피어슨 상관보다 최대 약 7%, 코사인 유사도보다는 최대 약 4% 향상된 결과를 보였다.

한글 글꼴 유사성 판단을 위한 획 요소 속성의 영향력 분석 (A Study on Influence of Stroke Element Properties to find Hangul Typeface Similarity)

  • 박동연;전자연;임서영;임순범
    • 한국멀티미디어학회논문지
    • /
    • 제23권12호
    • /
    • pp.1552-1564
    • /
    • 2020
  • As various styles of fonts were used, there were problems such as output errors due to uninstalled fonts and difficulty in font recognition. To solve these problems, research on font recognition and recommendation were actively conducted. However, Hangul font research remains at the basic level. Therefore, in order to automate the comparison on Hangul font similarity in the future, we analyze the influence of each stroke element property. First, we select seven representative properties based on Hangul stroke shape elements. Second, we design a calculation model to compare similarity between fonts. Third, we analyze the effect of each stroke element through the cosine similarity between the user's evaluation and the results of the model. As a result, there was no significant difference in the individual effect of each representative property. Also, the more accurate similarity comparison was possible when many representative properties were used.

Nonlinear damage detection using linear ARMA models with classification algorithms

  • Chen, Liujie;Yu, Ling;Fu, Jiyang;Ng, Ching-Tai
    • Smart Structures and Systems
    • /
    • 제26권1호
    • /
    • pp.23-33
    • /
    • 2020
  • Majority of the damage in engineering structures is nonlinear. Damage sensitive features (DSFs) extracted by traditional methods from linear time series models cannot effectively handle nonlinearity induced by structural damage. A new DSF is proposed based on vector space cosine similarity (VSCS), which combines K-means cluster analysis and Bayesian discrimination to detect nonlinear structural damage. A reference autoregressive moving average (ARMA) model is built based on measured acceleration data. This study first considers an existing DSF, residual standard deviation (RSD). The DSF is further advanced using the VSCS, and then the advanced VSCS is classified using K-means cluster analysis and Bayes discriminant analysis, respectively. The performance of the proposed approach is then verified using experimental data from a three-story shear building structure, and compared with the results of existing RSD. It is demonstrated that combining the linear ARMA model and the advanced VSCS, with cluster analysis and Bayes discriminant analysis, respectively, is an effective approach for detection of nonlinear damage. This approach improves the reliability and accuracy of the nonlinear damage detection using the linear model and significantly reduces the computational cost. The results indicate that the proposed approach is potential to be a promising damage detection technique.

천리안해양관측위성을 활용한 해양 재난 검출 시스템 (Ocean Disaster Detection System(OD2S) using Geostationary Ocean Color Imager(GOCI))

  • 양현;유정미;한희정;유주형;박영제
    • 한국IT서비스학회지
    • /
    • 제11권sup호
    • /
    • pp.177-189
    • /
    • 2012
  • We developed the ocean disaster detection system(OD2S) which copes with the occurrences of ocean disasters (e. g. the red and green tide, the oil spill, the typhoon, and the sea ice) by converging and integrating the ocean color remote sensing using the satellite and the information technology exploiting the mass data processing and the pattern recognitions. This system which is based on the cosine similarity detects the ocean disasters in real time. The existing ocean color sensors which are operated in the polar orbit platforms cannot conduct the real time observation of ocean environments because they support the low temporal resolutions of one observation a day. However, geostationary ocean color imager(GOCI), the first geostationary ocean color sensor in the world, produces the ocean color images(e. g. the chlorophyll, the colored dissolved organic matter(CDOM), and the total suspended solid(TSS)), with high temporal resolutions of hourly intervals up to eight observations a day. The evaluation demonstrated that the OD2S can detect the excessive concentration of chlorophyll, CDOM, and TSS. Based on these results, it is expected that OD2S detects the ocean disasters in real time.

An Innovative Approach of Bangla Text Summarization by Introducing Pronoun Replacement and Improved Sentence Ranking

  • Haque, Md. Majharul;Pervin, Suraiya;Begum, Zerina
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.752-777
    • /
    • 2017
  • This paper proposes an automatic method to summarize Bangla news document. In the proposed approach, pronoun replacement is accomplished for the first time to minimize the dangling pronoun from summary. After replacing pronoun, sentences are ranked using term frequency, sentence frequency, numerical figures and title words. If two sentences have at least 60% cosine similarity, the frequency of the larger sentence is increased, and the smaller sentence is removed to eliminate redundancy. Moreover, the first sentence is included in summary always if it contains any title word. In Bangla text, numerical figures can be presented both in words and digits with a variety of forms. All these forms are identified to assess the importance of sentences. We have used the rule-based system in this approach with hidden Markov model and Markov chain model. To explore the rules, we have analyzed 3,000 Bangla news documents and studied some Bangla grammar books. A series of experiments are performed on 200 Bangla news documents and 600 summaries (3 summaries are for each document). The evaluation results demonstrate the effectiveness of the proposed technique over the four latest methods.

Deep Learning Framework with Convolutional Sequential Semantic Embedding for Mining High-Utility Itemsets and Top-N Recommendations

  • Siva S;Shilpa Chaudhari
    • Journal of information and communication convergence engineering
    • /
    • 제22권1호
    • /
    • pp.44-55
    • /
    • 2024
  • High-utility itemset mining (HUIM) is a dominant technology that enables enterprises to make real-time decisions, including supply chain management, customer segmentation, and business analytics. However, classical support value-driven Apriori solutions are confined and unable to meet real-time enterprise demands, especially for large amounts of input data. This study introduces a groundbreaking model for top-N high utility itemset mining in real-time enterprise applications. Unlike traditional Apriori-based solutions, the proposed convolutional sequential embedding metrics-driven cosine-similarity-based multilayer perception learning model leverages global and contextual features, including semantic attributes, for enhanced top-N recommendations over sequential transactions. The MATLAB-based simulations of the model on diverse datasets, demonstrated an impressive precision (0.5632), mean absolute error (MAE) (0.7610), hit rate (HR)@K (0.5720), and normalized discounted cumulative gain (NDCG)@K (0.4268). The average MAE across different datasets and latent dimensions was 0.608. Additionally, the model achieved remarkable cumulative accuracy and precision of 97.94% and 97.04% in performance, respectively, surpassing existing state-of-the-art models. This affirms the robustness and effectiveness of the proposed model in real-time enterprise scenarios.