• 제목/요약/키워드: Jaccard similarity

검색결과 50건 처리시간 0.025초

Improving Performance of Jaccard Coefficient for Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제21권11호
    • /
    • pp.121-126
    • /
    • 2016
  • In recommender systems based on collaborative filtering, measuring similarity is very critical for determining the range of recommenders. Data sparsity problem is fundamental in collaborative filtering systems, which is partly solved by Jaccard coefficient combined with traditional similarity measures. This study proposes a new coefficient for improving performance of Jaccard coefficient by compensating for its drawbacks. We conducted experiments using datasets of various characteristics for performance analysis. As a result of comparison between the proposed and the similarity metric of Pearson correlation widely used up to date, it is found that the two metrics yielded competitive performance on a dense dataset while the proposed showed much better performance on a sparser dataset. Also, the result of comparing the proposed with Jaccard coefficient showed that the proposed yielded far better performance as the dataset is denser. Overall, the proposed coefficient demonstrated the best prediction and recommendation performance among the experimented metrics.

협력필터링의 데이터 희소성 해결을 위한 자카드 지수 반영의 유사도 성능 분석 (Performance Analysis of Similarity Reflecting Jaccard Index for Solving Data Sparsity in Collaborative Filtering)

  • 이수정
    • 컴퓨터교육학회논문지
    • /
    • 제19권4호
    • /
    • pp.59-66
    • /
    • 2016
  • 협력 필터링 시스템에서 데이터 희소성 문제의 해결을 위해 공통평가항목수를 반영하는 방법이 연구되었다. 이러한 방법으로 널리 알려진 자카드 지수는 기존의 유사도 척도와 결합되어 성능을 개선할 수 있었다. 그러나, 다양한 데이터 환경에서 여러 유사도 척도들과 각각 결합했을 때의 성능 개선 효과에 대한 분석 연구는 미미하므로, 본 연구는 이에 대한 분석을 목적으로 한다. 우선 자카드 지수 자체를 유사도 척도로 사용했을때 희소한 데이터셋 상에서 전통적인 척도들보다 월등한 예측 성능을 보였고 추천 성능도 매우 우수하였다. 자카드 지수를 결합함으로써 기존 유사도 척도는 데이터 특성에 상관없이 성능이 대개 향상되었고, 특히 코사인 유사도는 희소한 데이터셋에서 가장 큰 향상을 이루었으나, 평균차이 제곱(Mean Squared Difference)의 유사도는 밀집된 데이터셋에서 오히려 저하된 예측 성능을 보였다. 따라서, 자카드 지수를 결합하여 사용하기 위해 데이터 환경 특성과 유사도 척도를 고려할 필요가 있다.

Applying Different Similarity Measures based on Jaccard Index in Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권5호
    • /
    • pp.47-53
    • /
    • 2021
  • 희소한 평가 데이터는 사용자들 간의 신뢰할만한 유사도 산출을 저해하기 때문에 추천 시스템을 위한 메모리 기반의 협력 필터링 기법의 성능을 저하시킨다. 기존 연구의 많은 결과물은 이 데이터 희소성 문제를 해결하기 위해 개발되었으며, 가장 단순하고 대표적인 업적은 자카드 계수를 활용하는 방법들이다. 이 계수는 두 사용자의 공통 평가 항목수를 반영하며, 그들 간의 유사도를 보다 정확하게 계산하기 위해 전통적인 유사도 척도와 통합된다. 그러나, 그러한 통합은 데이터 희소성의 정도를 고려하지 않은 매우 단순한 방법이다. 본 연구는 두 사용자의 자카드 계수값에 의거하여 다른 유사도 척도를 적용하는 새로운 아이디어를 제시한다. 제안 방법에서 사용하는 파라미터의 최적값을 구하기 위하여 성능 실험을 진행하였고, 다른 관련된 방법들과 비교 평가하였다. 결과로서, 제안 방법은 예측 정확도와 추천 정확도에 있어서 가장 우수하거나 대등한 성능을 보였다.

멀티모달 기반 악성코드 유사도 계산 기법 (Multi-Modal Based Malware Similarity Estimation Method)

  • 유정도;김태규;김인성;김휘강
    • 정보보호학회논문지
    • /
    • 제29권2호
    • /
    • pp.347-363
    • /
    • 2019
  • 사람의 DNA가 변하지 않는 것과 같이 사이버상의 악성코드도 변하지 않는 고유의 행위 특징을 갖고 있다. APT(Advanced Persistent Threat) 공격에 대한 방어수단을 사전에 확보하기 위해서는 악성코드의 악성 행위 특징을 추출해야 한다. 이를 위해서는 먼저 악성코드 간의 유사도를 계산하여 유사한 악성코드끼리 분류할 수 있어야 한다. 본 논문에서는 Windows OS 상에서 동작하는 악성코드 간의 유사도 계산 방법으로 'TF-IDF 코사인 유사도', 'Nilsimsa 유사도', '악성코드 기능 유사도', 'Jaccard 유사도'를 사용해 악성코드의 유형을 예측해보고, 그 결과를 보인다. 실험결과, 유사도 계산 방식마다 악성코드 유형에 따라 예측률의 차이가 매우 컸음을 발견할 수 있었다. 모든 결과에 월등한 정확도를 보인 유사도는 존재하지 않았으나, 본 실험결과를 이용하여 특정 패밀리의 악성코드를 분류할 때 어떤 유사도 계산 방식을 활용하는 것이 상대적으로 유리할지를 결정할 때 도움이 될 것으로 판단된다.

Jaccard Index Reflecting Time-Context for User-based Collaborative Filtering

  • Soojung Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권10호
    • /
    • pp.163-170
    • /
    • 2023
  • 추천 시스템의 구현 방식들 중 하나인 사용자 기반의 협력 필터링 기법은 유사한 평가 이력을 가진 이웃 사용자들의 산출을 기반으로 하여, 이들의 선호 항목들을 추천한다. 그러나 공통된 평가 이력이 적을 경우에 추천의 질이 현저히 저하되는 데이터 희소성 문제를 근본적으로 갖고 있다. 이러한 문제의 해결을 위하여 많은 기존 연구에서 자카드 계수를 유사도 척도와 접목하는 다양한 방법들을 제안해 왔다. 본 연구에서는 자카드 계수에 시간 인지 개념을 도입하여 공통 항목의 평가 시간에 따라 다른 비중으로 가중합하는 방안을 제시한다. 다양한 성능 척도와 시간 주기를 활용하여 실험을 수행한 결과, 제안 방법이 대부분의 척도에서 원래의 자카드 계수에 비해 가장 우수한 성능을 보였으며, 최적의 시간 주기는 성능 척도의 종류에 따라 다름을 확인하였다.

OPAC에서 자동분류 열람을 위한 계층 클러스터링 연구 (Hierarchic Document Clustering in OPAC)

  • 노정순
    • 정보관리학회지
    • /
    • 제21권1호
    • /
    • pp.93-117
    • /
    • 2004
  • 본 연구는 OPAC에서 계층 클러스터링을 응용하여 소장자료를 계층구조로 분류하여 열람하는데 사용될 수 있는 최적의 계층 클러스터링 모형을 찾기 위한 목적으로 수행되었다. 문헌정보학 분야 단행본과 학위논문으로 실험집단을 구축하여 다양한 색인기법(서명단어 자동색인과 통제어 통합색인)과 용어가중치 기법(절대빈도와 이진빈도), 유사도 계수(다이스, 자카드, 피어슨, 코싸인, 제곱 유클리드), 클러스터링 기법(집단간 평균연결, 집단내 평균연결, 완전연결)을 변수로 실험하였다. 연구결과 집단간 평균연결법과 제곱 유클리드 유사도를 제외하고 나머지 유사도 계수와 클러스터링 기법은 비교적 우수한 클러스터를 생성하였으나, 통제어 통합색인을 이진빈도로 가중치를 부여하여 완전연결법과 집단간 평균연결법으로 클러스터링 하였을 때 가장 좋은 클러스터가 생성되었다. 그러나 자카드 유사도 계수를 사용한 집단간 평균연결법이 십진구조와 더 유사하였다.

Comparison of Plant Diversity of Natural Forest and Plantations of Rema-Kalenga Wildlife Sanctuary of Bangladesh

  • Sobuj, Norul-Alam;Rahman, Mizanur
    • Journal of Forest and Environmental Science
    • /
    • 제27권3호
    • /
    • pp.127-134
    • /
    • 2011
  • The purpose of the study was to assess and compare the diversity of plant species (trees, shrubs, herbs) of natural forest and plantations. A total of 52 plant species were recorded in the natural forest, of which 16 were trees, 15 were shrubs and 21 were herbs. On the contrary, 31 species of plants including 11 trees, 8 shrubs and 12 herbs were identified in plantation forest. Shannon-Wiener diversity index were 2.70, 2.72 and 3.12 for trees, shrubs and herbs respectively in the natural forest. However, it was 2.35 for tree species, 2.31 for shrub species and 2.81 for herb species in the plantation forest. Jaccard's similarity index showed that 71% species of trees, 44% species of shrubs and 43% species of herbs were same in plantations and natural forest.

자카드 유사도 기법을 이용한 채용 매칭 멘토링 시스템 (Recruitment matching mentoring system using Jaccard Similarity)

  • 장승훈;최봉준
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.699-700
    • /
    • 2023
  • 최근 국내 기업에서는 블라인트 테스트나 포트폴리오와 같은 자료를 활용하여 채용하는 추세이다. 지원자마다 개인의 역량이 다를 뿐만 아니라 기업에서 요구하는 기술/경험, 지원 자격, 특정 기술에 대한 경험을 요구한다. 따라서 본 논문에서는 국내 기업의 채용 공고에 기재된 지원 자격, 우대 기술, 우대 사항 등의 데이터와 지원자의 개인 역량(기술 스택, 전공 역량, 진행 프로젝트 등) 데이터를 활용하여 키워드를 추출한다. 지원자와 기업이 입력한 데이터를 통해 추출한 키워드들을 두 개의 집합으로 나눈 뒤 각각의 키워드를 할당한다. 할당받은 집합들을 비교하여 지원자의 정보가 기업의 채용 조건에 얼마나 부합하는지 계산한 후, 해당확률을 지원자에게 제공하는 방식의 시스템이다.

  • PDF

비디오 영상에서 사전정보 기반의 도로 추적 (Road Tracking based on Prior Information in Video Sequences)

  • 이창우
    • 한국산업정보학회논문지
    • /
    • 제18권2호
    • /
    • pp.19-25
    • /
    • 2013
  • 본 논문에서는 실 도로 환경에서 획득한 영상으로부터 도로 영역을 추적하는 방법을 제안한다. 제안된 방법은 이전 처리 결과로부터 미리 알려진 정보를 이용하여 현재 영상에서 도로를 검출하고 추적하는 방법이다. 제안된 방법은 시스템의 효율을 위해 연속적인 입력 영상에서 하위 60%이내에 도로가 있다고 가정하여 관심의 대상이 되는 영역(Region of Interest, ROI)을 설정하고 이 영역에서만 도로를 검출하고 추적한다. 최초 분할은 플러드필 알고리즘(Flood-fill algorithm)을 수행한 결과로부터 주위 영역과의 유사성을 평가한 후 병합하여 분할한다. 사전 정보로 사용되는 이전 영상에서 분할 결과에서 시드점(Seed Point)을 추출하고 이 시드점을 기준으로 현재 영상을 분할한다. 이전 영상에서 분할된 도로 영역과 현재 영상에서 분할된 결과를 변형된 자카드 계수(Jaccard coefficient)를 이용한 유사도 측정 결과에 따라 다음 영상에서 도로영역을 정제하고 추적한다. 연속적인 입력 영상을 대상으로 실험한 결과는 잡음이 존재하는 영상에서도 도로를 추적하는데 효과적임을 보여준다.

Development of a Personalized Similarity Measure using Genetic Algorithms for Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권12호
    • /
    • pp.219-226
    • /
    • 2018
  • Collaborative filtering has been most popular approach to recommend items in online recommender systems. However, collaborative filtering is known to suffer from data sparsity problem. As a simple way to overcome this problem in literature, Jaccard index has been adopted to combine with the existing similarity measures. We analyze performance of such combination in various data environments. We also find optimal weights of factors in the combination using a genetic algorithm to formulate a similarity measure. Furthermore, optimal weights are searched for each user independently, in order to reflect each user's different rating behavior. Performance of the resulting personalized similarity measure is examined using two datasets with different data characteristics. It presents overall superiority to previous measures in terms of recommendation and prediction qualities regardless of the characteristics of the data environment.