• 제목/요약/키워드: Cosine Similarity Function

검색결과 10건 처리시간 0.024초

An Extended Work Architecture for Online Threat Prediction in Tweeter Dataset

  • Sheoran, Savita Kumari;Yadav, Partibha
    • International Journal of Computer Science & Network Security
    • /
    • 제21권1호
    • /
    • pp.97-106
    • /
    • 2021
  • Social networking platforms have become a smart way for people to interact and meet on internet. It provides a way to keep in touch with friends, families, colleagues, business partners, and many more. Among the various social networking sites, Twitter is one of the fastest-growing sites where users can read the news, share ideas, discuss issues etc. Due to its vast popularity, the accounts of legitimate users are vulnerable to the large number of threats. Spam and Malware are some of the most affecting threats found on Twitter. Therefore, in order to enjoy seamless services it is required to secure Twitter against malicious users by fixing them in advance. Various researches have used many Machine Learning (ML) based approaches to detect spammers on Twitter. This research aims to devise a secure system based on Hybrid Similarity Cosine and Soft Cosine measured in combination with Genetic Algorithm (GA) and Artificial Neural Network (ANN) to secure Twitter network against spammers. The similarity among tweets is determined using Cosine with Soft Cosine which has been applied on the Twitter dataset. GA has been utilized to enhance training with minimum training error by selecting the best suitable features according to the designed fitness function. The tweets have been classified as spammer and non-spammer based on ANN structure along with the voting rule. The True Positive Rate (TPR), False Positive Rate (FPR) and Classification Accuracy are considered as the evaluation parameter to evaluate the performance of system designed in this research. The simulation results reveals that our proposed model outperform the existing state-of-arts.

코사인 유사도를 이용한 이주패턴 변화의 정량적 측정 (Quantitative Measure of the Changes of Migration Patterns Using Cosine Similarity)

  • 한이철
    • 농촌계획
    • /
    • 제23권2호
    • /
    • pp.67-74
    • /
    • 2017
  • Migration is defined as the movement of people between residential places, and represents interactions between regions. Changes in migration involve changes in both the number of migrants toward/from regions and migration patterns across regions. However, most migration studies have focused only on the change in migrants, while no empirical study captures changes in migration patterns. In this paper, I present a function using the cosine similarity to measure changes in migration patterns, and apply it to 2001-2016 migration data of Korea. The results show that the migration patterns of Korea shifted in 2007, resulting in two distinct clusters. Local areas experienced various migration pattern changes despite few changes in the number of migrants.

코사인 유사도 기반의 인터넷 댓글 상 이상 행위 분석 방법 (Measures of Abnormal User Activities in Online Comments Based on Cosine Similarity)

  • 김민재;이상진
    • 정보보호학회논문지
    • /
    • 제24권2호
    • /
    • pp.335-343
    • /
    • 2014
  • 인터넷의 발달로 대중의 여론에 영향을 주는 인터넷 매체의 신뢰성이 중요해지는 반면 최근의 익명성을 이용한 리뷰 조작 등의 사례는 대중들에게 막연한 의구심을 들게 한다. 본 연구에서는 이러한 사이버 여론 조작과 관련된 현상이 인터넷 게시판 등 웹사이트에도 존재하는지 여부를 수치적으로 살펴보기 위하여 댓글의 요소를 분석하고 내용을 코사인 유사도를 이용하여 비교하였다. 분석 결과 첫째, 댓글 내용의 유사성은 댓글 순위에 의한 게시글의 랭킹과 상관관계가 있었으며 분석 대상 2개 웹사이트에 대해서는 14.1%와 2.6%가 유사한 댓글로 구성되어 있었다. 둘째, 사이버 여론 조작에 일반적으로 이용되는 기법인 과다한 중복 게시 행위와 실제로는 동일인이지만 여러 명으로 위장한 것으로 추정되는 사용자를 파악 할 수 있었다.

멀티모달 기반 악성코드 유사도 계산 기법 (Multi-Modal Based Malware Similarity Estimation Method)

  • 유정도;김태규;김인성;김휘강
    • 정보보호학회논문지
    • /
    • 제29권2호
    • /
    • pp.347-363
    • /
    • 2019
  • 사람의 DNA가 변하지 않는 것과 같이 사이버상의 악성코드도 변하지 않는 고유의 행위 특징을 갖고 있다. APT(Advanced Persistent Threat) 공격에 대한 방어수단을 사전에 확보하기 위해서는 악성코드의 악성 행위 특징을 추출해야 한다. 이를 위해서는 먼저 악성코드 간의 유사도를 계산하여 유사한 악성코드끼리 분류할 수 있어야 한다. 본 논문에서는 Windows OS 상에서 동작하는 악성코드 간의 유사도 계산 방법으로 'TF-IDF 코사인 유사도', 'Nilsimsa 유사도', '악성코드 기능 유사도', 'Jaccard 유사도'를 사용해 악성코드의 유형을 예측해보고, 그 결과를 보인다. 실험결과, 유사도 계산 방식마다 악성코드 유형에 따라 예측률의 차이가 매우 컸음을 발견할 수 있었다. 모든 결과에 월등한 정확도를 보인 유사도는 존재하지 않았으나, 본 실험결과를 이용하여 특정 패밀리의 악성코드를 분류할 때 어떤 유사도 계산 방식을 활용하는 것이 상대적으로 유리할지를 결정할 때 도움이 될 것으로 판단된다.

비지역적 평균 필터 기반의 개선된 커널 함수를 이용한 가우시안 잡음 제거 기법 (Gaussian Noise Reduction Technique using Improved Kernel Function based on Non-Local Means Filter)

  • 임월기;최현호;정제창
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 추계학술대회
    • /
    • pp.73-76
    • /
    • 2018
  • A Gaussian noise is caused by surrounding environment or channel interference when transmitting image. The noise reduces not only image quality degradation but also high-level image processing performance. The Non-Local Means (NLM) filter finds similarity in the neighboring sets of pixels to remove noise and assigns weights according to similarity. The weighted average is calculated based on the weight. The NLM filter method shows low noise cancellation performance and high complexity in the process of finding the similarity using weight allocation and neighbor set. In order to solve these problems, we propose an algorithm that shows an excellent noise reduction performance by using Summed Square Image (SSI) to reduce the complexity and applying the weighting function based on a cosine Gaussian kernel function. Experimental results demonstrate the effectiveness of the proposed algorithm.

  • PDF

다차원 데이터에 대한 심층 군집 네트워크의 성능향상 방법 (Performance Improvement of Deep Clustering Networks for Multi Dimensional Data)

  • 이현진
    • 한국멀티미디어학회논문지
    • /
    • 제21권8호
    • /
    • pp.952-959
    • /
    • 2018
  • Clustering is one of the most fundamental algorithms in machine learning. The performance of clustering is affected by the distribution of data, and when there are more data or more dimensions, the performance is degraded. For this reason, we use a stacked auto encoder, one of the deep learning algorithms, to reduce the dimension of data which generate a feature vector that best represents the input data. We use k-means, which is a famous algorithm, as a clustering. Sine the feature vector which reduced dimensions are also multi dimensional, we use the Euclidean distance as well as the cosine similarity to increase the performance which calculating the similarity between the center of the cluster and the data as a vector. A deep clustering networks combining a stacked auto encoder and k-means re-trains the networks when the k-means result changes. When re-training the networks, the loss function of the stacked auto encoder and the loss function of the k-means are combined to improve the performance and the stability of the network. Experiments of benchmark image ad document dataset empirically validated the power of the proposed algorithm.

문장구조 유사도와 단어 유사도를 이용한 클러스터링 기반의 통계기계번역 (Clustering-based Statistical Machine Translation Using Syntactic Structure and Word Similarity)

  • 김한경;나휘동;이금희;이종혁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권4호
    • /
    • pp.297-304
    • /
    • 2010
  • 통계기계번역에서 번역성능의 향상을 위해서 문장의 유형이나 장르에 따라 클러스터링을 수행하여 도메인에 특화된 번역을 시도하는 방법이 있다. 그러나 기존의 연구 중 문장의 유형 정보와 장르에 따른 정보를 동시에 사용한 경우는 없었다. 본 논문에서는 각 문장의 문법적 구조 유사도에 따른 유형별분류 기법과, 단어 유사도 정보를 사용한 장르 구분법을 적용하여 기존의 두 기법을 통합하였다. 이렇게 분류된 말뭉치에서 추출한 도메인 특화 모델과 전체 말뭉치에서 추출된 모델에서 보간법(interpolation)을 사용하여 통계기계번역의 성능을 향상하였다. 문장구조 유사도와 단어 유사도의 계산 방법으로는 각각 커널과 코사인 유사도를 적용하였으며, 두 유사도를 적용하여 말뭉치를 분류하는 과정에서는 K-Means 알고리즘과 유사한 기계학습 기법을 사용하였다. 이를 일본어-영어의 특허문서에서 실험한 결과 최선의 경우 약 2.5%의 상대적인 성능 향상을 얻었다.

한글 저자명 군집화를 위한 계층적 기법 비교 (Exploration of Hierarchical Techniques for Clustering Korean Author Names)

  • 강인수
    • 정보관리연구
    • /
    • 제40권2호
    • /
    • pp.95-115
    • /
    • 2009
  • 저자식별은 학술문헌에 출현한 동명저자명들을 실세계의 서로 다른 사람들로 대응시키는 것이다. 이를 위해 임의의 동명저자명쌍의 유사도를 계산하고 이를 바탕으로 동명저자명 개체들을 군집화하는 단계를 거친다. 저자명의 군집화 기법으로 주로 계층적 군집법이 사용되었으나 다양한 계층적 군집법에 대한 비교 평가는 미흡했다. 이 연구는 다이스계수, 코사인유사도, 유클리디안 거리, 자카드계수, 피어슨 상관계수 등의 다양한 개체거리/유사도수식과 계층적 군집법들의 상관관계와 계층적 군집기법들의 한글 저자식별 성능에 대한 비교/분석을 다룬다.

대규모 IoT 환경에서의 중복 및 비정상 데이터 처리 기법 (Redundant and Abnormal Data Processing Scheme in Large-scale IoT Environment)

  • 김민우;이태호;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
    • /
    • pp.109-110
    • /
    • 2019
  • 최근 IoT 환경에서는 고밀도로 노드가 분포되어진다. 이러한 센서 노드들은 데이터 전송 시 혼잡을 초래하는 중복 데이터를 생성하여 데이터의 정확도를 저하시킨다. 이에 따라 본 연구에서는 데이터 집중으로 인해 발생하는 네트워크의 정체 문제를 해결하기 위해 제안 기법은 사 분위(Interquatile, IRQ) 분석과 코사인 유사도 함수를 통해 데이터의 이상치와 중복성을 측정하여 중복 데이터 및 특이치를 제거한다. 본 연구를 통하여 최적의 데이터 전송을 통하여 IoT의 통신 성능을 향상시킬 수 있으며 결과적으로 데이터 감소율, 네트워크 수명 및 에너지의 효율성을 높일 수 있다.

  • PDF

WSN 환경을 위한 자체 조직 지도 기법 기반 클러스터링 (Self Organized Map based Clustering for WSN Environment)

  • 김민우;이태호;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
    • /
    • pp.113-114
    • /
    • 2019
  • 다수의 센서 노드로 구성된 IoT 환경에서는 네트워크 수명, 센서 노드의 통신 범위 제한과 같은 제약 사항들이 있다. 이러한 한계점을 해결하기 위해 밀집된 센서 노드 간의 협력이 필요하다. 이때, 밀집된 센서 노드들은 에너지 낭비 및 전송 데이터의 정확도를 저하시킨다. 본 연구에서는 데이터 집중으로 인해 발생하는 네트워크의 에너지 낭비 및 전송 데이터의 정확도 문제를 해결하기 위해 자체조직지도(Self Organized Map, SOM)를 기반으로 한 클러스터링 기법을 제안한다. 결과적으로 제안된 기법을 통하여 클러스터링 된 노드들은 다른 클러스터링 기법과 비교했을 때 밀도 기반의 정확한 예측 값을 얻을 수 있다.

  • PDF