• 제목/요약/키워드: Similarity filtering

검색결과 281건 처리시간 0.024초

메모리 기반 협력필터링을 위한 평가 등급 범위를 이용한 유사도 척도 (A Similarity Measure Using Rating Ranges for Memory-based Collaborative Filtering)

  • 이수정
    • 정보교육학회논문지
    • /
    • 제17권4호
    • /
    • pp.375-382
    • /
    • 2013
  • 협력 필터링은 사용자가 선호했던 항목들의 기록을 토대로 항목을 추천하는 방법으로서 상업 사이트에서 매우 널리 사용되어 왔다. 이 방식의 기본 개념은 유사한 사용자들을 찾아서 그들의 평가등급을 통합하여 새로운 항목 추천에 이용하는 것이다. 따라서 유사도의 정확한 측정은 추천 성능에 매우 중요한 일이다. 본 논문에서는 사용자가 과거에 부여했던 평가등급들을 기준으로 하여 상대적으로 각 평가치를 다루는 새로운 유사도 공식을 제안한다. 광범위한 실험을 통해 제안된 공식이 기존 공식들보다 더 신뢰할 수 있음을 밝혔는데, 이는 극단적인 유사도값의 발생이 현저히 감소하였고, 유사도가 큰 이웃들만을 참조하였을 때 성능이 개선되었기 때문이다. 특히 실험 결과, 제안 공식은 평가 범위가 큰 데이터셋에 대해 기존 공식들보다 우수한 성능을 나타냈다.

Similarity Measure based on Utilization of Rating Distributions for Data Sparsity Problem in Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권12호
    • /
    • pp.203-210
    • /
    • 2020
  • 메모리 기반의 협력 필터링은 추천 시스템의 대표적인 타입이지만 데이터 희소성이라는 본질적인 문제를 갖고 있다. 이 문제를 해결하기 위해 많은 연구 업적들이 이루어졌으나, 보다 체계적인 접근 방법은 여전히 요구된다. 본 연구는 사용자 간의 유사도를 산출하기 위하여 항목들에 대한 사용자 평가치 분포를 활용한다. 따라서 제안 방법은 사용자의 모든 평가치를 이용하므로, 공통 항목에 대한 평가치만을 이용하는 기존 방법들과 대비된다. 더욱이, 각 항목에 대한 다른 사용자들의 평가치들을 유사도 계산에 반영함으로써 항목 평가치의 광역적인 관점을 취한다. 제안 방법의 성능은 실험을 통하여 평가하였고, 연관된 다른 방법들과 비교하였다. 그 결과, 제안 방법은 예측과 순위 정확도 측면에서 우수한 성능을 보였다. 이러한 예측 정확도의 향상은 전통적인 유사도 척도에 비해 최근의 방법으로 달성한 것보다 최고 2.6배 더 높다.

Utilizing Fuzzy Logic for Recommender Systems

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권8호
    • /
    • pp.45-50
    • /
    • 2018
  • Many of the current successful commercial recommender systems utilize collaborative filtering techniques. This technique recommends products to the active user based on product preference history of the neighbor users. Those users with similar preferences to the active user are typically named his/her neighbors. Hence, finding neighbors is critical to performance of the system. Although much effort for developing similarity measures has been devoted in the literature, there leaves a lot to be improved, especially in the aspect of handling subjectivity or vagueness in user preference ratings. This paper addresses this problem and presents a novel similarity measure using fuzzy logic for selecting neighbors. Experimental studies are conducted to reveal that the proposed measure achieved significant performance improvement.

Determining Absolute Interpolation Weights for Neighborhood-Based Collaborative Filtering

  • Kim, Hyoung-Do
    • Management Science and Financial Engineering
    • /
    • 제16권2호
    • /
    • pp.53-65
    • /
    • 2010
  • Despite the overall success of neighbor-based CF methods, there are some fundamental questions about neighbor selection and prediction mechanism including arbitrary similarity, over-fitting interpolation weights, no trust consideration between neighbours, etc. This paper proposes a simple method to compute absolute interpolation weights based on similarity values. In order to supplement the method, two schemes are additionally devised for high-quality neighbour selection and trust metrics based on co-ratings. The former requires that one or more neighbour's similarity should be better than a pre-specified level which is higher than the minimum level. The latter gives higher trust to neighbours that have more co-ratings. Experimental results show that the proposed method outperforms the pure IBCF by about 8% improvement. Furthermore, it can be easily combined with other predictors for achieving better prediction quality.

협업 필터링을 사용한 유사도 기법 및 커뮤니티 검출 알고리즘 비교 (Comparison of similarity measures and community detection algorithms using collaboration filtering)

  • 일홈존;홍민표;박두순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.366-369
    • /
    • 2022
  • The glut of information aggravated the process of data analysis and other procedures including data mining. Many algorithms were devised in Big Data and Data Mining to solve such an intricate problem. In this paper, we conducted research about the comparison of several similarity measures and community detection algorithms in collaborative filtering for movie recommendation systems. Movielense data set was used to do an empirical experiment. We applied three different similarity measures: Cosine, Euclidean, and Pearson. Moreover, betweenness and eigenvector centrality were used to detect communities from the network. As a result, we elucidated which algorithm is more suitable than its counterpart in terms of recommendation accuracy.

PAM 행렬 모델을 이용한 음소 간 유사도 자동 계산 기법 (Automatic Inter-Phoneme Similarity Calculation Method Using PAM Matrix Model)

  • 김성환;조환규
    • 한국콘텐츠학회논문지
    • /
    • 제12권3호
    • /
    • pp.34-43
    • /
    • 2012
  • 두 문자열 간의 유사도를 계산하는 문제는 정보 검색, 오타 교정, 스팸 필터링 등 다양한 분야에 응용될 수 있다. 동적 계획법 기반의 유사도 계산 방법을 통하여 한글 문자열의 유사도 계산을 위해서는 우선 음소간의 유사도에 대한 정의가 필요하다. 그러나 기존의 방법들은 수동적 설정에 의한 유사도 점수를 사용하고 있다는 한계점이 있다. 본 논문에서는 PAM(Point Accepted Mutation) 행렬과 유사한 확률 모델을 이용하여 변형 단어 집합으로부터 음소 간의 유사도를 자동적으로 계산하는 기법을 제안한다. 제안 기법은 주어진 변형 단어의 집합 내 유사한 단어 쌍을 찾아 문자열 정렬(Text Alignment)을 수행함으로써 음소 변형 규칙을 도출하고, 이로부터 각 음소 쌍의 상호 변형 빈도에 따른 유사도 점수를 계산한다. 실험 결과 특이도(Specificity) 77.2~80.4% 수준에서 불일치 여부에 따른 단순 점수 부여 방식에 비해서는 10.4~14.1%, 수동으로 음소 간 유사도를 직접 설정하는 방식에 비해서는 8.1~11.8%의 민감도(Sensitivity) 향상이 있음을 확인하였다.

On the Study of Perfect Coverage for Recommender System

  • Lee, Hee-Choon;Lee, Seok-Jun
    • Journal of the Korean Data and Information Science Society
    • /
    • 제17권4호
    • /
    • pp.1151-1160
    • /
    • 2006
  • The similarity weight, the pearson's correlation coefficient, which is used in the recommender system has a weak point that it cannot predict all of the prediction value. The similarity weight, the vector similarity, has a weak point of the high MAE although the prediction coverage using the vector similarity is higher than that using the pearson's correlation coefficient. The purpose of this study is to suggest how to raise the prediction coverage. Also, the MAE using the suggested method in this study was compared both with the MAE using the pearson's correlation coefficient and with the MAE using the vector similarity, so was the prediction coverage. As a result, it was found that the low of the MAE in the case of using the suggested method was higher than that using the pearson's correlation coefficient. However, it was also shown that it was lower than that using the vector similarity. In terms of the prediction coverage, when the suggested method was compared with two similarity weights as I mentioned above, it was found that its prediction coverage was higher than that pearson's correlation coefficient as well as vector similarity.

  • PDF

RFM을 활용한 추천시스템 효율화 연구 (A Study on Improving Efficiency of Recommendation System Using RFM)

  • 정소라;진서훈
    • 대한설비관리학회지
    • /
    • 제23권4호
    • /
    • pp.57-64
    • /
    • 2018
  • User-based collaborative filtering is a method of recommending an item to a user based on the preference of the neighbor users who have similar purchasing history to the target user. User-based collaborative filtering is based on the fact that users are strongly influenced by the opinions of other users with similar interests. Item-based collaborative filtering is a method of recommending an item by comparing the similarity of the user's previously preferred items. In this study, we create a recommendation model using user-based collaborative filtering and item-based collaborative filtering with consumer's consumption data. Collaborative filtering is performed by using RFM (recency, frequency, and monetary) technique with purchasing data to recommend items with high purchase potential. We compared the performance of the recommendation system with the purchase amount and the performance when applying the RFM method. The performance of recommendation system using RFM technique is better.

베이지안 추정치가 부여된 유사도 가중치와 연관 사용자 군집을 이용한 선호도 예측 시스템 (Preference Prediction System using Similarity Weight granted Bayesian estimated value and Associative User Clustering)

  • 정경용;최성용;임기욱;이정현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권3_4호
    • /
    • pp.316-325
    • /
    • 2003
  • 기존의 협력적 필터링 기술을 이용한 사용자 선호도 예측 방법에서는 피어슨 상관 계수에 의해 사용자의 유사도를 구하고, 아이템에 대한 사용자의 선호도를 기반으로 이웃 선정 방법을 사용하므로 아이템에 대한 내용을 반영하지 못할 뿐만 아니라 희박성 문제를 해결하지 못하였다. 본 논문에서는 기존의 사용자 선호도 예측 방법의 문제점을 보완하기 위하여 베이지안 추정치가 부여된 유사도 가중치와 연관 사용자 군집을 이용한 선호도 예측 시스템을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서의 희박성 문제를 해결하기 위하여 Association Rule Hypergraph Partitioning 알고리즘을 사용하여 사용자를 장르별로 군집하며 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도를 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 기존의 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게 하여 예측의 정확도를 높일 수 있다. 제안된 방법의 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다. 그 결과 기존의 협력적 필터링 기술의 문제점을 해결하여 예측의 정확도를 높이는데 효과적임을 확인하였다.

콘텐츠들 간의 유의어 태그매핑을 이용한 확장된 추천기법의 연구 (A Study of Extended Recommendation Method Using Synonym Tags Mapping Between Two Types of Contents)

  • 김지연;김영창;정종진
    • 전기학회논문지
    • /
    • 제66권1호
    • /
    • pp.82-88
    • /
    • 2017
  • Recently recommendation methods need personalization and diversity as well as accuracy whereas the traditional researches have been mainly focused on the accuracy of recommendation in terms of quality. The diversity of recommendation is also important to people in terms of quantity in addition to quality since people's desire for content consumption have been stronger rapidly than past. In this paper, we pay attention to similarity of data gathered simultaneously among different types of contents. With this motivation, we propose an enhanced recommendation method using correlation analysis with considering data similarity between two types of contents which are movie and music. Specifically, we regard folksonomy tags for music as correlated data of genres for movie even though they are different attributes depend on their contents. That is, we make result of new recommendation movie items through mapping music folksonomy tags to movie genres in addition to the recommendation items from the typical collaborative filtering. We evaluate effectiveness of our method by experiments with real data set. As the result of experimentation, we found that the diversity of recommendation could be extended by considering data similarity between music contents and movie contents.