• 제목/요약/키워드: Movie Lens Data

검색결과 41건 처리시간 0.027초

Enhancing Recommender Systems by Fusing Diverse Information Sources through Data Transformation and Feature Selection

  • Thi-Linh Ho;Anh-Cuong Le;Dinh-Hong Vu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권5호
    • /
    • pp.1413-1432
    • /
    • 2023
  • Recommender systems aim to recommend items to users by taking into account their probable interests. This study focuses on creating a model that utilizes multiple sources of information about users and items by employing a multimodality approach. The study addresses the task of how to gather information from different sources (modalities) and transform them into a uniform format, resulting in a multi-modal feature description for users and items. This work also aims to transform and represent the features extracted from different modalities so that the information is in a compatible format for integration and contains important, useful information for the prediction model. To achieve this goal, we propose a novel multi-modal recommendation model, which involves extracting latent features of users and items from a utility matrix using matrix factorization techniques. Various transformation techniques are utilized to extract features from other sources of information such as user reviews, item descriptions, and item categories. We also proposed the use of Principal Component Analysis (PCA) and Feature Selection techniques to reduce the data dimension and extract important features as well as remove noisy features to increase the accuracy of the model. We conducted several different experimental models based on different subsets of modalities on the MovieLens and Amazon sub-category datasets. According to the experimental results, the proposed model significantly enhances the accuracy of recommendations when compared to SVD, which is acknowledged as one of the most effective models for recommender systems. Specifically, the proposed model reduces the RMSE by a range of 4.8% to 21.43% and increases the Precision by a range of 2.07% to 26.49% for the Amazon datasets. Similarly, for the MovieLens dataset, the proposed model reduces the RMSE by 45.61% and increases the Precision by 14.06%. Additionally, the experimental results on both datasets demonstrate that combining information from multiple modalities in the proposed model leads to superior outcomes compared to relying on a single type of information.

연관관계 군집 분할 방법을 이용한 아이템 필터링 시스템 (Item Filtering System Using Associative Relation Clustering Split Method)

  • 조동주;박양재;정경용
    • 한국콘텐츠학회논문지
    • /
    • 제7권6호
    • /
    • pp.1-8
    • /
    • 2007
  • 전자상거래에서 많은 아이템 중에 사용자에게 적합한 아이템을 추천하기 위해서는 많은 시간과 노력이 소요된다. 그러므로 추천 시스템이 사용자들을 대신하여 적합한 아이템을 추천해줄 수 있다면 만족을 얻을 수 있다. 본 논문에서는 정확성과 확장성을 향상시키기 위해서 협력적 필터링에서 연관관계 군집 분할 방법을 제안하였다. 평가한 데이터를 사용하여 연관 아이템간의 향상도를 산출하고 연관관계 군집의 효율성을 높이기 위해서 아이템으로 구성된 노드 군집을 분할하였다. 이는 군집들 중 하나의 아이템만이 연관성을 달리하고, 나머지 아이템들은 군집의 연관성이 충족되어진다면 결합하는 방법이다. 성능을 평가하기 위해서 MovieLens 데이터 집합에서 K-means와 EM에 의한 군집과 비교 평가하였다.

이웃크기를 이용한 사용자기반과 아이템기반 협업여과의 결합예측 기법 (A Combined Forecast Scheme of User-Based and Item-based Collaborative Filtering Using Neighborhood Size)

  • 최인복;이재동
    • 정보처리학회논문지B
    • /
    • 제16B권1호
    • /
    • pp.55-62
    • /
    • 2009
  • 협업여과는 추천시스템에서 널리 사용되는 기법으로 다른 사용자의 평가를 기반으로 아이템을 추천하는 기법이다. 사용자 데이터베이스를 이용하는 메모리기반 협업여과에는 사용자기반 기법과 아이템기반 기법이 있다. 사용자기반 협업여과는 유사한 선호도를 가지는 이웃사용자들의 선호도를 바탕으로 특정 아이템에 대한 선호도를 예측하는 반면, 아이템기반 협업여과는 아이템들의 유사도를 바탕으로 특정 사용자의 선호도를 예측한다. 본 논문에서는 추천의 성능을 향상시키기 위하여 이웃사용자와 이웃아이템 크기의 비율을 가중치로 하여 사용자기반 예측값과 아이템기반 예측값을 결합함으로써 최종 예측값을 생성하는 결합예측기법을 제안한다. MovieLens 데이터 셋과 BookCrossing 데이터 셋을 이용한 실험을 통해 본 논문에서 제안한 결합예측기법이 영화와 책에 대하여 사용자기반과 아이템기반보다 예측의 정확성을 향상시킴을 보인다.

모바일 기기에서 개인화 추천을 위한 실시간 선호도 예측 방법에 대한 연구 (A Study on the Real-Time Preference Prediction for Personalized Recommendation on the Mobile Device)

  • 이학민;엄종석
    • 한국멀티미디어학회논문지
    • /
    • 제20권2호
    • /
    • pp.336-343
    • /
    • 2017
  • We propose a real time personalized recommendation algorithm on the mobile device. We use a unified collaborative filtering with reduced data. We use Fuzzy C-means clustering to obtain the reduced data and Konohen SOM is applied to get initial values of the cluster centers. The proposed algorithm overcomes data sparsity since it extends data to the similar users and similar items. Also, it enables real time service on the mobile device since it reduces computing time by data clustering. Applying the suggested algorithm to the MovieLens data, we show that the suggested algorithm has reasonable performance in comparison with collaborative filtering. We developed Android-based smart-phone application, which recommends restaurants with coupons and restaurant information.

클러스터링 기반 사례기반추론을 이용한 웹 개인화 추천시스템 (A Web Personalized Recommender System Using Clustering-based CBR)

  • 홍태호;이희정;서보밀
    • 지능정보연구
    • /
    • 제11권1호
    • /
    • pp.107-121
    • /
    • 2005
  • 최근, 추천시스템과 협업 필터링에 대한 연구가 학계와 업계에서 활발하게 이루어지고 있다. 하지만, 제품 아이템들은 다중 값 속성을 가질 수 있음에도 불구하고, 기존의 연구들은 이러한 다중 값 속성을 반영하지 못하고 있다. 이러한 한계를 극복하기 위하여, 본 연구에서는 추천시스템을 위한 새로운 방법론을 제시하고자 한다. 제안된 방법론은 제품 아이템에 대한 클러스터링 기법에 기반하여 다중 값 속성을 팔용하며, 정확한 추천을 위하여 협업 필터링을 적용한다. 즉, 사용자간의 상관관계만이 아니라 아이템간의 상관관계를 고려하기 위하여, 사용자 클러스터링에 기반한 사례기반추론과 아이템 속성 클러스터링에 기반한 사례기반추론 모두가 협업 필터링에 적용되는 것이다. 다중 값 속성에 기반하여 아이템을 클러스터링 함으로써, 아이템의 특징이 명확하게 식별될 수 있다. MovieLens 데이터를 이용하여 실험을 하였으며, 제안된 방법론이 기존 방법론의 성능을 능가한다는 결과를 얻을 수 있었다.

  • PDF

연관 아이템 트리를 이용한 추천 에이전트 (A Recommender Agent using Association Item Trees)

  • 고수정
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권4호
    • /
    • pp.298-305
    • /
    • 2009
  • 협력적 여과 시스템은 내용 기반 여과 시스템과는 대조적으로 아이템에 대한 정보를 반영하지 않으며, 또한 사용자가 자신의 흥미에 대한 정보를 제공하지 않았을 경우 추천을 할 수 없다는 단점을 갖는다. 본 논문에서는 협력적 여과 시스템의 단점을 해결하기 위하여 연관 아이템 트리를 이용한 추천 에이전트를 제안한다. 제안된 방법은 벡터 공간 모델과 K-means 알고리즘을 이용하여 사용자를 군집시킨 후 그룹의 대표 평가값을 추출한다. 다음으로, 군집된 그룹별로 아이템간의 상호정보량을 계산하여 아이템간의 연관도를 파악하며, 이를 기반으로 연관 아이템 트리를 생성한다. 이와 같이 생성한 각 그룹의 연관 아이템 트리와 그룹의 대표 평가값을 이용하여 새로운 사용자에게 아이템을 추천한다. 제안된 추천 에이전트는 사용자 정보와 아이템 정보를 병합하여 새로운 사용자에게 아이템을 추천하며, 아이템간의 유사도를 계산하기 위하여 상호정보량을 사용하고 이를 기반으로 연관 아이템 트리를 생성함으로써 초기에 아이템에 대하여 평가한 정보가 부족한 사용자에게 정확도가 높은 아이템을 추천할 수 있다는 장점을 갖는다. 제안된 방법은 MovieLens 추천 시스템의 데이터 집합을 사용하여 기존의 방법과 비교하였다.

협업 필터링 추천에서 대응평균 알고리즘의 예측 성능에 관한 연구 (A study on the Prediction Performance of the Correspondence Mean Algorithm in Collaborative Filtering Recommendation)

  • 이석준;이희춘
    • 경영정보학연구
    • /
    • 제9권1호
    • /
    • pp.85-103
    • /
    • 2007
  • 본 연구의 목적은 좀 더 정확한 고객 선호도 예측을 위한 협업 필터링 알고리즘의 예측 성능을 평가하기 위한 것이다. 고객 선호도 예측의 정확도를 비교하기 위하여 이웃 기반의 협업 필터링 알고리즘과 대응평균 알고리즘에 의한 고객 선호도 예측의 MAE를 비교하였다. 예측 알고리즘의 정확성을 분석하기 위하여 MovieLens 1 Million dataset을 이용하여 실험을 하였다. 각 예측 알고리즘에 사용된 유사도 가중치는 일반적으로 이용되는 피어슨 상관계수와 벡터 유사도를 이용하였으며 분석결과 대응평균 알고리즘의 예측 정확도가 이웃 기반의 협업 필터링 알고리즘의 예측 정확도 보다 우수한 것으로 나타났다. 두 알고리즘에 사용된 유사도 가중치인 피어슨 상관계수와 벡터 유사도는 두 고객이 특정 상품에 대하여 공통으로 평가한 선호도 평가치를 이용하여 계산된다. 이때 공통으로 평가한 선호도 평가치의 개수가 적으면 계산된 유사도 가중치가 과대 평가된다. 과대 평가된 유사도 가중치를 보정하여 고객 선호도 예측의 정확도를 높이기 위하여 기존의 연구에서 고려한 공통 평가 영화의 개수 보다 확대된 범위를 적용하였으며 각 예측 방법에 따라 서로 다른 개선 경향을 파악할 수 있었다.

링크드 오픈 데이터에서 TF-IDF를 이용한 새로운 시맨틱 거리 측정 기법 (A New Semantic Distance Measurement Method using TF-IDF in Linked Open Data)

  • 조정길
    • 한국융합학회논문지
    • /
    • 제11권10호
    • /
    • pp.89-96
    • /
    • 2020
  • 링크드 데이터는 다양한 영역의 데이터세트를 서로 연결할 수 있는 표준 방식의 구조화된 데이터를 가능하게 한다. 그리고 링크드 오픈 데이터(LOD)의 급속한 발전에 따라 연구자들은 시맨틱 유사도 평가와 같은 특정 문제를 해결하기 위해 LOD를 이용하고 있다. 이 논문에서는 LOD-기반 추천 시스템에서 사용될 수 있는 자원 간의 링크드 데이터 시맨틱 거리를 계산하기위한 방법을 제안한다. 이 논문에서 제안된 시맨틱 거리 측정 모델은 LOD-기반 시맨틱 거리와 정보 검색 분야에서 잘 알려진 TF-IDF를 이용한 새로운 링크 가중치를 결합한 유사도 측정을 기반으로 한다. 이 논문의 접근방식의 효과성을 검증하기 위하여 DBpedia와 MovieLens의 혼합 데이터를 사용하여 LOD-기반 추천 시스템의 맥락에서 성능을 평가하였다. 실험 결과는 제안된 방법이 다른 유사한 방법과 비교하여 더 높은 정확도를 나타내었다. 또한 시맨틱 거리 계산의 범위를 넓혀서 추천 시스템의 정확도 향상에 기여하였다.

개인화 된 추천시스템을 위한 사용자-상품 매트릭스 축약기법 (User-Item Matrix Reduction Technique for Personalized Recommender Systems)

  • 김경재;안현철
    • Journal of Information Technology Applications and Management
    • /
    • 제16권1호
    • /
    • pp.97-113
    • /
    • 2009
  • Collaborative filtering(CF) has been a very successful approach for building recommender system, but its widespread use has exposed to some well-known problems including sparsity and scalability problems. In order to mitigate these problems, we propose two novel models for improving the typical CF algorithm, whose names are ISCF(Item-Selected CF) and USCF(User-Selected CF). The modified models of the conventional CF method that condense the original dataset by reducing a dimension of items or users in the user-item matrix may improve the prediction accuracy as well as the efficiency of the conventional CF algorithm. As a tool to optimize the reduction of a user-item matrix, our study proposes genetic algorithms. We believe that our approach may relieve the sparsity and scalability problems. To validate the applicability of ISCF and USCF, we applied them to the MovieLens dataset. Experimental results showed that both the efficiency and the accuracy were enhanced in our proposed models.

  • PDF

Clustering-based Hybrid Filtering Algorithm

  • Qing Li;Kim, Byeong-Man;Shin, Yoon-Sik;Lim, En-Ki
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.10-12
    • /
    • 2003
  • Recommender systems help consumers to find the useful products from the overloaded information. Researchers have developed content-based recommenders, collaborative recommenders, and a few hybrid systems. In this research, we extend the classic collaborative recommenders by clustering method to form a hybrid recommender system. Using the clustering method, we can recommend the products based on not only the user ratings but also other useful information from user profiles or attributes of items. Through our experiments on well-known MovieLens data set, we found that the information provided by the attributes of item on the item-based collaborative filter shows advantage over the information provided by user profiles on the user-based collaborative filter.

  • PDF