• 제목/요약/키워드: item-based filtering

검색결과 147건 처리시간 0.023초

The Effects of Content and Distribution of Recommended Items on User Satisfaction: Focus on YouTube

  • Janghun Jeong;Kwonsang Sohn;Ohbyung Kwon
    • Asia pacific journal of information systems
    • /
    • 제29권4호
    • /
    • pp.856-874
    • /
    • 2019
  • The performance of recommender systems (RS) has been measured mainly in terms of accuracy. However, there are other aspects of performance that are difficult to understand in terms of accuracy, such as coverage, serendipity, and satisfaction with recommended results. Moreover, particularly with RSs that suggest multiple items at a time, such as YouTube, user satisfaction with recommended results may vary not only depending on their accuracy, but also on their configuration, content, and design displayed to the user. This is true when classifying an RS as a single RS with one recommended result and as a multiple RS with diverse results. No empirical analysis has been conducted on the influence of the content and distribution of recommendation items on user satisfaction. In this study, we propose a research model representing the content and distribution of recommended items and how they affect user satisfaction with the RS. We focus on RSs that recommend multiple items. We performed an empirical analysis involving 149 YouTube users. The results suggest that user satisfaction with recommended results is significantly affected according to the HHI (Herfindahl-Hirschman Index). In addition, satisfaction significantly increased when the recommended item on the top of the list was the same category in terms of content that users were currently watching. Particularly when the purpose of using RS is hedonic, not utilitarian, the results showed greater satisfaction when the number of views of the recommended items was evenly distributed. However, other characteristics of selected content, such as view count and playback time, had relatively less impact on satisfaction with recommended items. To the best of our knowledge, this study is the first to show that the category concentration of items impacts user satisfaction on websites recommending diverse items in different categories using a content-based filtering system, such as YouTube. In addition, our use of the HHI index, which has been extensively used in economics research, to show the distributional characteristics of recommended items, is also unique. The HHI for categories of recommended items was useful in explaining user satisfaction.

확장된 사용자 유사도를 이용한 CF-기반 건강기능식품 추천 시스템 (A CF-based Health Functional Recommender System using Extended User Similarity Measure)

  • 홍세인;정의주;김재경
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.1-17
    • /
    • 2023
  • 정보통신기술의 발전과 디지털 기기의 대중화로 인해, 온라인 시장의 규모가 커지고 있다. 그 결과 고객들은 상품을 선택하는데 많은 시간과 비용이 소요되는 정보 과부하(Information Overload) 문제에 직면하고 있다. 따라서 고객이 선호할만한 상품을 추천해 주는 추천 시스템은 필수적인 도구가 되었으며 협업 필터링(Collaborative Filtering) 기법은 가장 널리 쓰이는 추천 방법이다. 전통적인 추천 시스템은 평점과 같은 정량적인 데이터만을 사용하기 때문에 추천의 정확도는 높지 않다. 이와 같은 문제를 해결하기 위해 요즘에는 사용자 리뷰와 같은 정성적 데이터를 반영하는 연구가 활발히 진행되고 있다. 협업 필터링의 일반적인 절차는 사용자-상품 행렬 생성, 이웃 집단 탐색, 추천 목록 생성 3단계로 구성되며 코사인 같은 사용자 유사도를 사용하여 목표 고객의 이웃을 탐색하며, 추천 상품 목록을 생성한다. 본 연구에서는 이웃 집단 탐색 및 추천 목록 생성 단계에서 사용하는 사용자 간의 유사도를 기존의 사용자 평점을 이용한 유사도에 고객의 리뷰 데이터를 사용하는 확장된 사용자 유사도를 제시한다. 리뷰를 정량화 하기 위해 본 연구에서는 텍스트 마이닝을 활용한다. 즉, 리뷰 데이터에 TF-IDF, Word2Vec, 그리고 Doc2Vec 기법을 사용하여 두 사용자 간의 리뷰 유사도를 구한 후 사용자 평점을 사용한 유사도와 리뷰 유사도를 결합한 확장된 유사도를 생성하는 것이다. 이를 검증하기 위해 전자상거래 사이트인 Amazon의 'Health and Personal Care'의 사용자 평점과 리뷰 데이터를 사용하였다. 실험 결과, 사용자 간 유사도를 산출할 때 기존의 평점에 기반한 유사도만을 사용하는 것보다, 사용자 리뷰의 유사도를 추가로 반영한 확장된 유사도를 사용하면 추천의 정확도가 높아진다는 것을 확인했다. 또한, 여러 텍스트 마이닝 기법 중에서 TF-IDF 기법을 사용한 확장된 유사도를 이웃 집단 탐색 및 추천 목록 생성단계에서 사용할 때의 성능이 가장 좋게 나타났다.

상황 정보를 이용한 개인화 추천 방법 개발 (A personalized recommendation procedure with contextual information)

  • 문현실;최일영;김재경
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.15-28
    • /
    • 2015
  • 최근 개인 단말기의 보급과 객체간의 네트워크 연결이 확산됨에 따라 방대한 양의 상황 정보들이 수집되고 있지만 역설적으로 사용자들과 서비스 제공자들은 정보의 홍수 속에서 종종 잘못된 의사결정을 내리고 있다. 이러한 정보 과부하 문제를 해결하기 위해 추천 시스템은 좋은 대안이 될 수 있지만 전통적인 추천 시스템은 다양한 형태의 상황 정보 사용에 한계를 보이고 있다. 또한 획득 가능한 상황 정보가 다양해지고 방대해짐에 따라 이를 활용한 추천 시스템은 복잡성의 문제를 해결해야 하며 지속적으로 변화되는 사용자 선호 및 상황에 부합할 수 있도록 실시간 서비스가 가능하도록 설계되어야 한다. 따라서 본 연구에서는 상황 영역의 개념을 기반으로 한 상황 인식 추천 서비스 방법론을 제안하여 추천 시스템에서 상황정보를 활용하는 한편 복잡성 및 실시간 서비스 제공의 문제를 해결하려 한다. 먼저 적절한 해석과 구조로 상황 데이터를 사용자 프로필에 반영할 수 있도록 상황 영역 개념에 기반한 프로파일링을 제안함에 따라 기존의 상황 인식 추천 시스템이 가지고 있던 복잡성의 한계를 해결하고자 한다. 다음으로 목표 사용자의 상황 영역에 기반한 이웃 집단 탐색으로 추천 시스템의 희박성과 신규 사용자 문제를 해결하는 한편 현재의 상황 정보에 대한 해석으로 도출되는 상황 지지 점수를 기반으로 한 추천 목록을 생성하여 실시간 서비스가 가능한 방법론을 제안한다. 결론적으로 본 연구에서 제안하는 방법론은 추천 시스템의 적용 영역을 확장하는 연구가 될 것으로 기대되며 새로운 기술 출현을 고려한 유연한 모델을 제안함에 따라 마케팅 담당자나 서비스 제공자들이 쉽게 본 연구에서 제안하는 방법론을 적용할 수 있으리라 판단된다.

사용자 선호도 변화에 따른 추천시스템의 다양성 적용 (Application of diversity of recommender system accordingtouserpreferencechange)

  • 나혜연;남기환
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.67-86
    • /
    • 2020
  • 추천시스템은 시간이 흐를수록 사용자와 기업에게 점점 더 큰 영향을 주고 있다. 최근 코로나(COVID-19) 팬데믹 현상이 전 세계적으로 일어나면서 세대를 뛰어넘어 E-Commerce의 중요성이 증대되었고 추천시스템은 E-Commerce 활성화의 최중심에 있다. 추천시스템이 개발된 이래로 다수의 알고리즘이 추천시스템의 정확도를 올리는 것에 집중되어 있었고, 추천시스템의 희귀성, 다양성, 우연성 등과 같은 다른 가치들이 간과되고 있다. 본 논문에서는 사용자의 만족도는 추천시스템의 정확도에만 달려있지 않고 다양한 성능을 겸비했을 때 고객에게 만족스러운 추천서비스 경험을 제공할 것이라 생각하여 다양성을 위한 그래프 기반의 추천시스템을 개발하였다. 사용자 네트워크를 구성한 뒤 카테고리를 활용한 무게중심변화를 통해 유사도가 낮은 이질적인 사용자를 찾아 추천상품의 유사성을 낮추는 방식으로 다양성을 도모하였다. 또한, 추천의 다양성은 사용자의 다양성 선호 수준에 따라 상이할 것이라는 가정에 따라 사용자의 다양성 선호 수준을 구별하였고 다양성 모델 성능이 사용자 특성별로 다름을 확인할 수 있었다. 전체 연구 결과, 추천시스템의 정확성과 다양성이 트레이드 오프 관계에 놓여있다는 것을 확인할 수 있었지만 본 연구모델을 통해 근소한 정확도 손실 대비 높은 다양성을 얻을 수 있었다. 본 연구는 그래프 기반의 추천시스템을 통해 사용자의 만족도를 향상시키는 다양성을 실현하였다는 연구적 의의와 사용자 수준을 고려한 추천의 다양성을 적용 결과를 통해 기업의 장기적 이윤을 상승시킬 수 있는 모델 개발이라는 실무적 의의를 꼽을 수 있다.

정책기반 RFID 데이터 관리 이벤트 정의 언어 (A Policy-driven RFID Data Management Event Definition Language)

  • 송지혜;김광훈
    • 인터넷정보학회논문지
    • /
    • 제12권1호
    • /
    • pp.55-70
    • /
    • 2011
  • 본 논문 에서는 기존의 대표적인 RFID 미들웨어 표준인 RFID 응용 인터페이스 표준규격1)으로 적용가능한 정책 기반의 RFID 데이터 관리 이벤트 정의 언어를 제안한다. 즉, RFID 응용인터페이스는 RFID 미들웨어의 핵심 구성요소인 데이터관리 기능, 장치관리 기능, 장치인터페이스 기능, 정보보호관리 기능을 응용 프로그램에게 제공하기 위한 표준인터페이스이며, 본 논문에서 제안하는 언어는 그 중 RFID 미들웨어의 데이터관리 기능, 즉 이벤트관리 기능을 지원하기 위한 추상화된 인터페이스를 제공하는데 그 목적이 있다. 특히, 이벤트 제약조건을 정의하기 위한 정책의 개념은 RF 리더들로부터 읽혀지는 대용량의 태그데이터를 정제 또는 여과시키기 위한 이벤트 제약조건들을 정의하는 수단으로서 RFID 미들웨어의 기능에 대한 기술적 전문지식이 부족한 응용프로그램 개발자들이 자신의 응용영역을 쉽게 표현할 수 있을 뿐 만 아니라 고수준의 추상화된 인터페이스를 제공할 수 있는 매우 효과적인 수단이라고 할 수 있다. 결과적으로, 본 논문에서는 RFID 응용인터페이스의 상세표준규격으로 제정 될 수 있는 일명 rXPDL, XML기반의 RFID 데이터 관리 이벤트 정책 정의 언어 (rXPDL: XML-based RFID Data Management Event Policy Definition Language)를 정의하며, 이는 곧 정책기반 RFID 데이터 관리 응용인터페이스 정의 언어로서 국내외 표준 규격의 기반이 될 것으로 기대한다. 또한, rXPDL의 상세표준규격들은 유비쿼터스센서네트워크 미들웨어의 데이터 관리를 위한 표준규격으로서의 확장을 기대할 수도 있다.

사용자 행동 기반의 사회적 관계를 결합한 사용자 협업적 여과 방법 (Incorporating Social Relationship discovered from User's Behavior into Collaborative Filtering)

  • 타이쎄타;하인애;조근식
    • 지능정보연구
    • /
    • 제19권2호
    • /
    • pp.1-20
    • /
    • 2013
  • 소셜 네트워크는 사용자들의 공통된 관심사, 경험, 그리고 일상 생활들을 함께 공유하기 위해 소셜 네트워크 상 사람들을 서로 연결시켜주는 거대한 커뮤니케이션 플랫폼이다. 소셜 네트워크상의 사용자들은 포스팅, 댓글, 인스턴스 메시지, 게임, 소셜 이벤트 외에도 다양한 애플리케이션을 통해 다른 사용자들과 소통하고 개인 정보 관리하는데 많은 시간을 소비한다. 소셜 네트워크 상의 풍부한 사용자 정보는 추천시스템이 추천 성능을 향상시키기 위해 필요한 큰 잠재력이 되었다. 대부분의 사용자들은 어떤 상품을 구매하기 전 가까운 관계이거나 같은 성향을 가진 사람들의 의견을 반영하여 의사 결정을 하게 된다. 그러므로 소셜 네트워크에서의 사용자 관계는 추천시스템을 위한 사용자 선호도 예측을 효율적으로 높이는데 중요한 요소라 할 수 있다. 일부 연구자들은 소셜 네트워크에서의 사용자와 다른 사용자들 사이의 상호작용 즉, 소셜 관계(social relationship)와 같은 소셜 데이터가 추천시스템에서 추천의 질에 어떠한 영향을 미치는가를 연구하고 있다. 추천시스템은 아마존, 이베이, Last.fm과 같은 큰 규모의 전자상거래 사이트 또한 채택하여 사용되는 시스템으로, 추천시스템을 위한 방법으로는 협업적 여과 방법과 내용 기반 여과 방법이 있다. 협업적 여과 방법은 사용자들의 선호도 학습에 의해 사용자가 아직 평가하지 않은 아이템 중 선호할 수 있는 아이템을 정확하게 제안하기 위한 추천시스템 방법 중 하나이다. 협업적 여과는 사용자들의 데이터에 초점을 맞춘 방법으로 유사한 배경과 선호도를 가지는 사용자들로부터 정보를 수집하여 사용자들의 선호도 예측을 자동으로 발생시킨다. 특히 협업적 여과는 근접한 이웃 사용자들에 의해서 목적 사용자가 선호할 수 있는 아이템을 제시하는 것으로 유사한 이웃 사용자를 찾는 것이 중요하다. 좋은 이웃 사용자 발견은 사용자와 아이템을 고려하는 방법이 일반적이다. 각 사용자는 아이템 즉, 영화, 상품, 책 등에 자신의 선호도를 나타내기 위하여 평가 값을 입력하고, 시스템은 이를 바탕으로 사용자-평가 행렬을 구축한다. 이 사용자-평가 행렬은 목적 사용자와 유사하게 아이템을 평가한 사용자 그룹을 찾기 위한 것으로, 목적 사용자가 아직 평가하지 않은 아이템에 대하여 사용자-평가 매트릭스를 통해 그 평가 값을 예측한다. 현재 이 협업적 여과 방법은 전자상거래와 정보 검색에서 적용되어 개인화 시스템에 효율적으로 사용되고 있다. 하지만 초기 사용자 문제, 데이터 희박성 문제와 확장성 그리고 예측 정확도 향상 등 해결해야 할 과제가 여전히 남아 있다. 이러한 문제들을 해소하기 위해 많은 연구자들은 하이브리드, 신뢰기반, 소셜 네트워크 기반 협업적 여과와 같은 다양한 방법을 제안하였다. 본 논문에서는 전통적인 협업적 여과 방식의 예측 정확도와 추천 성능을 향상시키기 위해 소셜 네트워크에 존재하는 소셜 관계를 이용한 협업적 여과 시스템을 제안한다. 소셜 관계는 소셜 네트워크 서비스 중 하나인 페이스북 사용자들이 남긴 포스팅과 사용자의 소셜 네트워크 친구와 의견 교류 중 남긴 코멘트와 같은 사용자 행동을 기반으로 정의된다. 소셜 관계를 구축하기 위해 소셜 네트워크 사용자의 포스팅과 댓글을 추출하고, 추출된 텍스트에 불용어 및 특수 기호 제거와 스테밍 등 전처리를 수행하였다. 특징 벡터는 TF-IDF를 이용하여 전처리된 텍스트에 나타난 각 단어에 대한 특징 점수를 계산함으로써 구축된다. 본 논문에서 이웃 사용자를 결정하기 위해 사용되는 사용자 간 유사도는 특징 벡터를 이용한 사용자 행동 유사도와 사용자의 영화 평가를 기반으로 한 전통적 방법의 유사도를 결합하여 계산된다. 제안하는 시스템은 목표 사용자와 제안한 방법을 통해 결정된 이웃 사용자 집단을 기반으로 목표 사용자가 평가하지 않은 아이템에 대한 선호도를 예측하고 Top-N 아이템을 선별하여 사용자에게 아이템을 추천하게 된다. 본 논문에서 제안하는 방법을 확인하고 평가하기 위하여 IMDB에서 제공하는 영화 정보 기반으로 영화 평가 시스템을 구축하였다. 예측 정확도를 평가하기 위해 MAE 값을 이용하여 제안하는 알고리즘이 얼마나 정확한 추천을 수행하는지에 대한 예측 정확도를 측정하였다. 그리고 정확도, 재현율 및 F1값 등을 활용하여 시스템의 성능을 평가하였으며, 시스템의 추천 품질은 커버리지를 이용하여 평가되었다. 실험 결과로부터 본 논문에서 제안한 시스템이 보다 더 정확하고 좋은 성능으로 사용자에게 아이템을 추천하는 것을 볼 수 있었다. 특히 소셜 네트워크에서 사용자 행동을 기반으로 한 소셜 관계를 이용함으로써 추천 정확도를 6% 향상시킴을 보였다. 또한 벤치마크 알고리즘과의 성능비교 실험을 통해 7% 향상된 추천 성능의 결과를 보여준다. 그러므로 사용자의 행동으로부터 관찰된 소셜 관계를 CF방법과 결합한 제안한 방법이 정확한 추천시스템을 위해 유용하며, 추천시스템의 성능과 품질을 향상시킬 수 있음을 알 수 있다.

영화 추천 시스템의 초기 사용자 문제를 위한 장르 선호 기반의 클러스터링 기법 (Clustering Method based on Genre Interest for Cold-Start Problem in Movie Recommendation)

  • 유띳로따낙;누르지드;하인애;조근식
    • 지능정보연구
    • /
    • 제19권1호
    • /
    • pp.57-77
    • /
    • 2013
  • 소셜 미디어는 모바일 어플리케이션과 웹에서 가장 많이 사용되는 미디어 중 하나이다. Nielsen사의 보고서에 따르면 소셜 네트워크 서비스와 블로그가 온라인 사용자의 주 활동 공간으로 사용되고 있으며, 미국인 중에서 온라인 활동이 왕성한 5명의 사용자중 4명은 매일 소셜 네트워크 서비스와 블로그를 방문하고 온라인 활동 시간의 23%를 소비한다고 집계하고 있다. 미국의 인터넷 사용자들은 야후, 구글, AOL 미디어 네트워크, 트위터, 링크드인 등과 같은 소셜 네트워크 서비스중 페이스북에서 가장 많은 시간을 소비한다. 최근에는 대부분의 회사들이 자신의 특정 상품에 대하여 "페이스북 페이지(Facebook Page)"를 생성하고 상품에 대한 프로모션을 진행한다. 페이스북에서 제공되는 "좋아요" 옵션은 페이스북 페이지를 통해 자신이 관심을 가지는 상품(아이템)을 표시하고 그 상품을 지지할 수 있도록 한다. 많은 영화를 제작하는 영화 제작사들도 페이스북 페이지와 "좋아요" 옵션을 이용하여 영화 프로모션과 마케팅에 이용한다. 일반적으로 다수의 스트리밍 서비스 제공업들도 영화와 TV 프로그램을 즐기며 볼 수 있는 서비스를 사용자들에게 제공한다. 이 서비스는 일반 컴퓨터와 TV 등의 단말기에서인터넷을 통해 영화와 TV 프로그램을 즉각적으로 제공할 수 있다. 스트리밍 서비스의 선두 주자인 넷플릭스는 미국, 라틴 아메리카, 영국 그리고 북유럽 국가 등에 3천만 명 이상의 스트리밍 사용자가 가입되어 있다. 또한 넥플릭스는 다양한 장르로 구성된 수백만 개의 영화와 TV 프로그램을 보유하고 있다. 하지만 수많은 콘텐츠로 인해 사용자들은 자신이 선호하는 장르에 관련된 영화와 TV 프로그램을 찾기 위해 많은 시간을 소비해야 된다. 많은 연구자들이 이러한 사용자의 불편함을 줄이기 위해 아이템에 대한 사용자가 보지 않은 아이템에 대한 선호도를 예측하고 높은 예측값을 갖는 아이템을 사용자에게 제공하기 위한 추천 시스템을 적용하였다. 협업적 여과 방법은 추천 시스템을 구축하기 위해 가장 많이 사용되는 방법이다. 협업적 여과 시스템은 사용자들이 평가한 아이템을 기반으로 각 사용자 간의 유사도를 측정하고 목적 사용자와 유사한 성향을 가진 사용자 그룹을 결정한다. 군집된 그룹은 이웃 사용자 집단으로 불리며 이를 이용하여 특정 아이템에 대한 선호도를 예측하고, 예측 값이 높은 아이템을 목적 사용자에게 추천해 준다. 협업적 여과 방법이 적용되는 분야는 서적, 음악, 영화, 뉴스 및 비디오 등 다양하지만 논문에서는 영화에 초점을 맞춘다. 이 협업적 여과 방법이 추천 시스템 내에서 유용하게 활용되고 있지만 아직 "희박성 문제"와 "콜드 스타트 문제" 등 해결해야 할 과제가 남아있다. 희박성 문제는 아이템의 수가 증가할수록 아이템에 대한 사용자의 로그 밀도가 감소하는 것이다. 즉, 전체 아이템 수에 비해 사용자가 아이템에 대해 평가한 정보가 충분하지 않기 때문에 사용자의 성향을 파악하기 어렵고, 이로 인해 사용자가 아직 평가하지 않은 아이템에 대해서 선호도를 추측하기 어려운 것을 말한다. 이 희박성 문제가 포함된 경우 적합한 이웃 사용자 집단을 형성하는데 어려움을 겪게 되고 사용자들에게 제공되는 아이템 추천의 질이 떨어지게 된다. 콜드 스타트 문제는 시스템 내에 새로 들어온 사용자 또는 아이템으로 지금까지 한 번도 평가를 하지 않은 경우에 발생한다. 즉, 사용자가 평가한 아이템에 대한 정보가 전혀 포함되어 있지 않거나 매우 적기 때문에 이러한 경우 또한 적합한 이웃 사용자 집단을 형성하는데 어려움을 겪게 되고 사용자가 평가하지 않은 아이템에 대한 선호도 예측의 정확성이 감소되게 된다. 본 논문에서는 영화 추천 시스템에서 발생될 수 있는 초기 사용자 문제를 해결하기 위하여 사용자가 평가한 영화와 소셜 네트워크 서비스로부터 추출된 사용자 선호 장르를 활용하여 사용자 군집을 형성하고 이를 활용하는 방법을 제안한다. 소셜 네트워크 서비스로부터 사용자가 선호하는 영화 장르를 추출하기 위해 페이스북 페이지의 '좋아요' 옵션을 이용하며, 이 '좋아요' 정보를 분석하여 사용자의 영화 장르 관심사를 추출한다. 페이스북의 영화 페이지는 각 영화를 위한 페이스북 페이지로 구성되고 있으며, 사용자는 자신의 선호도에 따라서 "좋아요" 옵션을 선택할 수 있다. 사용자의 페이스북 정보는 페이스북 그래프 API를 활용하여 추출되고 이로부터 사용자 선호 영화를 알 수 있게 된다. 시스템에서 활용되는 영화 정보는 인터넷 영화 데이터베이스인 IMDb로부터 획득한다. IMDb는 수많은 영화와 TV 프로그램을 보유하고 있으며, 각 영화에 관련된 배우 정보, 장르 및 부가 정보들을 포함한다. 논문에서는 사용자가 "좋아요" 표시를 한 영화 페이지를 이용하여 IMDb로부터 영화 장르 정보를 가져온다. 그리고 추출된 영화 장르 선호도와 본 시스템에서 제안하는 영화 평가 항목을 이용하여 유사한 이웃 사용자 집단을 구성한 후, 사용자가 평가하지 않은 아이템에 대한 선호도를 예측하고, 높은 예측 값을 갖는 아이템을 사용자에게 추천한다. 본 논문에서 제안한 사용자의 선호 장르 기반의 사용자 군집 기법을 이용한 시스템을 평가하기 위해서 IMDb 데이터 집합을 이용하여 사용자 영화 평가 시스템을 구축하였고 참가자들의 영화 평가 정보를 획득하였다. 페이스북 영화 페이지 정보는 참가자들의 페이스북 계정과 페이스북 그래프 API를 통해 획득하였다. 사용자 영화 평가 시스템을 통해 획득된 사용자 데이터를 제안하는 방법에 적용하였고 추천 성능, 품질 및 초기 사용자 문제를 벤치마크 알고리즘과 비교하여 평가하였다. 실험 평가의 결과 제안하는 방법을 적용한 추천 시스템을 통해 추천의 품질을 10% 향상시킬 수 있었고, 초기 사용자 문제에 대해서 15% 완화시킬 수 있음을 볼 수 있었다.