• 제목/요약/키워드: MovieLens

검색결과 74건 처리시간 0.025초

Clustering-based Hybrid Filtering Algorithm

  • Qing Li;Kim, Byeong-Man;Shin, Yoon-Sik;Lim, En-Ki
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.10-12
    • /
    • 2003
  • Recommender systems help consumers to find the useful products from the overloaded information. Researchers have developed content-based recommenders, collaborative recommenders, and a few hybrid systems. In this research, we extend the classic collaborative recommenders by clustering method to form a hybrid recommender system. Using the clustering method, we can recommend the products based on not only the user ratings but also other useful information from user profiles or attributes of items. Through our experiments on well-known MovieLens data set, we found that the information provided by the attributes of item on the item-based collaborative filter shows advantage over the information provided by user profiles on the user-based collaborative filter.

  • PDF

협업 필터링 알고리즘에 관한 비교연구 (A Comparative Study on Collaborative Filtering Algorithm)

  • 이가베;이효맹;이현창;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.151-153
    • /
    • 2017
  • 추천시스템 증 가장 대표적인 협업 필터링은 여러 아이템에 대한 사용자 평가 데이터를 이용하여 공통적 패턴을 찾고 특정 사용자이 대한 성호 아이템을 에상하여 추천하는 기법이다. 분 논문에서는 모두 5가지 알고리즘을 사용하였다. Recall-Precision, FPR-TPR, RMSE, MSE, MAE등 지표를 측정하였다. 실험 결과를 보면 MovieLens 데이터를 이용해 사용자에 기반 협업 필터링 알고리즘을 적용해 영화를 추천하는 것이 좋은 효과를 얻고 있다.

  • PDF

A Robust Bayesian Probabilistic Matrix Factorization Model for Collaborative Filtering Recommender Systems Based on User Anomaly Rating Behavior Detection

  • Yu, Hongtao;Sun, Lijun;Zhang, Fuzhi
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권9호
    • /
    • pp.4684-4705
    • /
    • 2019
  • Collaborative filtering recommender systems are vulnerable to shilling attacks in which malicious users may inject biased profiles to promote or demote a particular item being recommended. To tackle this problem, many robust collaborative recommendation methods have been presented. Unfortunately, the robustness of most methods is improved at the expense of prediction accuracy. In this paper, we construct a robust Bayesian probabilistic matrix factorization model for collaborative filtering recommender systems by incorporating the detection of user anomaly rating behaviors. We first detect the anomaly rating behaviors of users by the modified K-means algorithm and target item identification method to generate an indicator matrix of attack users. Then we incorporate the indicator matrix of attack users to construct a robust Bayesian probabilistic matrix factorization model and based on which a robust collaborative recommendation algorithm is devised. The experimental results on the MovieLens and Netflix datasets show that our model can significantly improve the robustness and recommendation accuracy compared with three baseline methods.

개인화 추천을 위한 태그 가치 측정 알고리즘 (Tag Value Measurement Algorithm for Personalized Recommendation)

  • 정광재;박건우;이상훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.1078-1081
    • /
    • 2010
  • 웹 2.0의 영향으로 인터넷 상에 범람하는 컨텐츠를 이용함에 있어 태깅 시스템은 매우 유연하고 효과적인 분류를 가능케 한다. 대부분의 웹 2.0 사이트에서는 검색된 정보에 해당하는 태그와 연관성이 있는 태그를 나타냄으로써 또 다른 관련 컨텐츠를 이용할 수 있는 서비스를 제공한다. 컨텐츠 사용자에 의해 생성되는 태그는 개인 성향에 따라 동일 컨텐츠에 다양하게 적용될 수 있으며 이로 인해 태그를 이용한 검색은 낮은 정확도를 나타낼 수 있다. 본 논문에서는 태그 선택에 있어 인간 상호작용의 특성을 파악하여 개인이 선호하고, 필요로 하는 컨텐츠에 대한 태그를 추천할 수 있는 태그 가치 측정 알고리즘을 제안한다. 컨텐츠 선택에 있어 의사결정에 영향을 미치는 요인을 식별하고 선호영화 추천 서비스인 MovieLens 사이트의 데이터 셋을 적용하여 태그 추천의 예측 정확도를 비교 평가함으로써 향상된 태그 가치 산정 결과를 제시한다.

고급 심층 강화학습 기법을 이용한 추천 시스템 구현 (Implementation of a Recommendation system using the advanced deep reinforcement learning method)

  • 펭소니;싯소포호트;일홈존;김대영;박두순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.406-409
    • /
    • 2023
  • With the explosion of information, recommendation algorithms are becoming increasingly important in providing people with appropriate content, enhancing their online experience. In this paper, we propose a recommender system using advanced deep reinforcement learning(DRL) techniques. This method is more adaptive and integrative than traditional methods. We selected the MovieLens dataset and employed the precision metric to assess the effectiveness of our algorithm. The result of our implementation outperforms other baseline techniques, delivering better results for Top-N item recommendations.

협업필터링에서 고객의 평가치를 이용한 선호도 예측의 사전평가에 관한 연구 (Pre-Evaluation for Prediction Accuracy by Using the Customer's Ratings in Collaborative Filtering)

  • 이석준;김선옥
    • Asia pacific journal of information systems
    • /
    • 제17권4호
    • /
    • pp.187-206
    • /
    • 2007
  • The development of computer and information technology has been combined with the information superhighway internet infrastructure, so information widely spreads not only in special fields but also in the daily lives of people. Information ubiquity influences the traditional way of transaction, and leads a new E-commerce which distinguishes from the existing E-commerce. Not only goods as physical but also service as non-physical come into E-commerce. As the scale of E-Commerce is being enlarged as well. It keeps people from finding information they want. Recommender systems are now becoming the main tools for E-Commerce to mitigate the information overload. Recommender systems can be defined as systems for suggesting some Items(goods or service) considering customers' interests or tastes. They are being used by E-commerce web sites to suggest products to their customers who want to find something for them and to provide them with information to help them decide which to purchase. There are several approaches of recommending goods to customer in recommender system but in this study, the main subject is focused on collaborative filtering technique. This study presents a possibility of pre-evaluation for the prediction performance of customer's preference in collaborative filtering before the process of customer's preference prediction. Pre-evaluation for the prediction performance of each customer having low performance is classified by using the statistical features of ratings rated by each customer is conducted before the prediction process. In this study, MovieLens 100K dataset is used to analyze the accuracy of classification. The classification criteria are set by using the training sets divided 80% from the 100K dataset. In the process of classification, the customers are divided into two groups, classified group and non classified group. To compare the prediction performance of classified group and non classified group, the prediction process runs the 20% test set through the Neighborhood Based Collaborative Filtering Algorithm and Correspondence Mean Algorithm. The prediction errors from those prediction algorithm are allocated to each customer and compared with each user's error. Research hypothesis : Two research hypotheses are formulated in this study to test the accuracy of the classification criterion as follows. Hypothesis 1: The estimation accuracy of groups classified according to the standard deviation of each user's ratings has significant difference. To test the Hypothesis 1, the standard deviation is calculated for each user in training set which is divided 80% from MovieLens 100K dataset. Four groups are classified according to the quartile of the each user's standard deviations. It is compared to test the estimation errors of each group which results from test set are significantly different. Hypothesis 2: The estimation accuracy of groups that are classified according to the distribution of each user's ratings have significant differences. To test the Hypothesis 2, the distributions of each user's ratings are compared with the distribution of ratings of all customers in training set which is divided 80% from MovieLens 100K dataset. It assumes that the customers whose ratings' distribution are different from that of all customers would have low performance, so six types of different distributions are set to be compared. The test groups are classified into fit group or non-fit group according to the each type of different distribution assumed. The degrees in accordance with each type of distribution and each customer's distributions are tested by the test of ${\chi}^2$ goodness-of-fit and classified two groups for testing the difference of the mean of errors. Also, the degree of goodness-of-fit with the distribution of each user's ratings and the average distribution of the ratings in the training set are closely related to the prediction errors from those prediction algorithms. Through this study, the customers who have lower performance of prediction than the rest in the system are classified by those two criteria, which are set by statistical features of customers ratings in the training set, before the prediction process.

협력적 여과 시스템에서 사용자 변동 계수를 이용한 기본 평가간 예측 (Default Voting using User Coefficient of Variance in Collaborative Filtering System)

  • 고수정
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권11호
    • /
    • pp.1111-1120
    • /
    • 2005
  • 협력적 여과 시스템에서 대부분의 사용자들은 모든 아이템에 대하여 선호도를 평가하지 않으므로 인하여 사용자~아이템 행렬은 희박성을 나타내며, 또한 사용자가 평가하지 않은 아이템으로부터 결측치가 발생한다. 일반적인 결측치 예측 방법은 특정 대상의 사용자가 평가하지 않은 결측치를 이 사용자와 비슷한 흥미를 갖는 사용자들의 평가값을 기반으로 예측하나, 기본 평가값 예측 방법은 사용자-아이템 렬의 결측치를 특정 사용자가 아닌 전체 사용자에 대하여 예측한다. 기본 평가값 예측 방법 중 가장 많이 사용되는 방법은 아이템 평균이나 사용자 평균을 이용한 방법이다. 그러나 이 방법은 아이템이나 사용자의 특성, 또한 데이타 집합의 분포 특성을 전혀 고려하지 않는다는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 해결하기 위하여 데이타 집합에 나타난 사용자의 변동 계수를 이용하는 기본 평가값 예측방법을 제안한다. 제안한 방법에서는 수식을 이용하여 자동적으로 사용자 변동 계수의 임계값을 선택하고, 그 임계값에 따라 사용자 평균에서 아이템 평균으로 전환하여 사용자들의 결측치에 대한 기본 평가값을 결정한다. 그러나 사용자 변동 계수들의 분포 정보로 인하여 사용자 변동 계수와 임계갈이 항상 일정한 관계를 유지하는 것이 아니므로, 제안된 방법에서는 임계값을 선택하기 위하여 사용자 변동 계수의 평균과 변동 계수의 분포 정보를 병합한다. 제안된 방법은 사용자가 영화에 대하여 평가한 MovieLens 데이타 집합을 대상으로 평가되었으며, 기존의 기본 평가값 예측 방법보다 그 성능이 우수함을 보인다.

링크드 오픈 데이터에서 TF-IDF를 이용한 새로운 시맨틱 거리 측정 기법 (A New Semantic Distance Measurement Method using TF-IDF in Linked Open Data)

  • 조정길
    • 한국융합학회논문지
    • /
    • 제11권10호
    • /
    • pp.89-96
    • /
    • 2020
  • 링크드 데이터는 다양한 영역의 데이터세트를 서로 연결할 수 있는 표준 방식의 구조화된 데이터를 가능하게 한다. 그리고 링크드 오픈 데이터(LOD)의 급속한 발전에 따라 연구자들은 시맨틱 유사도 평가와 같은 특정 문제를 해결하기 위해 LOD를 이용하고 있다. 이 논문에서는 LOD-기반 추천 시스템에서 사용될 수 있는 자원 간의 링크드 데이터 시맨틱 거리를 계산하기위한 방법을 제안한다. 이 논문에서 제안된 시맨틱 거리 측정 모델은 LOD-기반 시맨틱 거리와 정보 검색 분야에서 잘 알려진 TF-IDF를 이용한 새로운 링크 가중치를 결합한 유사도 측정을 기반으로 한다. 이 논문의 접근방식의 효과성을 검증하기 위하여 DBpedia와 MovieLens의 혼합 데이터를 사용하여 LOD-기반 추천 시스템의 맥락에서 성능을 평가하였다. 실험 결과는 제안된 방법이 다른 유사한 방법과 비교하여 더 높은 정확도를 나타내었다. 또한 시맨틱 거리 계산의 범위를 넓혀서 추천 시스템의 정확도 향상에 기여하였다.

장르별 협업필터링을 이용한 영화 추천 시스템의 성능 향상 (Performance Improvement of a Movie Recommendation System using Genre-wise Collaborative Filtering)

  • 이재식;박석두
    • 지능정보연구
    • /
    • 제13권4호
    • /
    • pp.65-78
    • /
    • 2007
  • 추천시스템은 개인화 서비스를 구현하는 방법 중의 하나이다. 추천시스템은 다양한 기법을 통해 구축될 수 있는데, 최근 전자상거래 분야에서 사용되는 기법들 중에서 대표적인 것이 협업필터링이다. 협업필터링은 영화나 음악 같이 명시적인 속성만으로 그 특성을 기술하는데 한계가 있는 아이템의 추천문제에 효과적으로 적용되어 왔다. 하지만, 이 기법은 희박성, 확장성 및 투명성 등의 문제점을 가지고 있는데, 본 연구에서는 희박성과 확장성 문제를 극복하는 방안으로 장르별 협업필터링 방법을 제안한다. 장르별 협업필터링 방법은 아이템을 최종적으로 추천하기 전에 아이템의 상위 카테고리, 즉 장르에 대한 정보를 활용하는 방법이다. 본 연구에서 제안하는 방법의 실용성을 보이기 위하여, 영화 추천시스템인 GenreWise_CF를 개발하여, 공개 데이터인 MovieLens Data에 적용하여 평가하였다. 실험 결과, 본 연구에서 제안한 GenreWise_CF가 전통적인 협업 필터링을 적용하여 개발한 추천시스템인 Basic_CF보다 향상된 성능을 보였다.

  • PDF

A Hybrid Recommendation System based on Fuzzy C-Means Clustering and Supervised Learning

  • Duan, Li;Wang, Weiping;Han, Baijing
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권7호
    • /
    • pp.2399-2413
    • /
    • 2021
  • A recommendation system is an information filter tool, which uses the ratings and reviews of users to generate a personalized recommendation service for users. However, the cold-start problem of users and items is still a major research hotspot on service recommendations. To address this challenge, this paper proposes a high-efficient hybrid recommendation system based on Fuzzy C-Means (FCM) clustering and supervised learning models. The proposed recommendation method includes two aspects: on the one hand, FCM clustering technique has been applied to the item-based collaborative filtering framework to solve the cold start problem; on the other hand, the content information is integrated into the collaborative filtering. The algorithm constructs the user and item membership degree feature vector, and adopts the data representation form of the scoring matrix to the supervised learning algorithm, as well as by combining the subjective membership degree feature vector and the objective membership degree feature vector in a linear combination, the prediction accuracy is significantly improved on the public datasets with different sparsity. The efficiency of the proposed system is illustrated by conducting several experiments on MovieLens dataset.