• 제목/요약/키워드: Distributed Collaborative Filtering

검색결과 16건 처리시간 0.025초

클러스터링 기반 협업 필터링 알고리즘을 사용한 분산 추천 시스템 (Distributed Recommendation System Using Clustering-based Collaborative Filtering Algorithm)

  • 조현제;이필규
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권1호
    • /
    • pp.101-107
    • /
    • 2014
  • 본 논문에서는 협업 필터링 알고리즘을 클러스터링 기반으로 분산 환경에서 구현하여, 추천을 위한 수행 시간을 최적화 하는 방법에 대한 제안을 한다. 하둡 기반으로 시스템을 구성하였고, 분산 Min-hash 클러스터링 기반의 협업 필터링 방법을 제안하고, 이를 기반으로 분산 추천 시스템을 구성하였다. 분산 사용자 기반 협업 필터링 기법을 사용하여 무비렌즈 (Movie Lens)의 영화 평점 데이터를 기반으로 각각의 사용자에게 알맞은 영화를 추천해주는 분산추천 시스템을 구현하고 실험을 통하여 성능의 우수성을 검증하였다.

분산 협력 필터링에 대한 에이전트 기반 접근 방법 (An Agent-based Approach for Distributed Collaborative Filtering)

  • 김병만;이경;;여동규
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권11호
    • /
    • pp.953-964
    • /
    • 2006
  • 협력 필털링은 그 유용성으로 인해 현재 학문적으로나 상업적으로 널리 사용되고 있지만 확장성 문제, 평가 데이타의 희박성 문제, 초기 평가 문제 둥을 안고 있다. 본 논문에서는 이러한 문제들을 일부 해결하기 위해 에이전트 간 협력에 기초한 분산 협력필터링 방법을 제안하였다. 제안 방법에서는 사용자의 평가정보를 에이전트가 지역 데이타베이스에 보관하고 이 정보를 친구들에게만 전파하는 방법을 사용함으로써 사용자 증가에 따른 확장성 문제를 해결하고자 하였다. 그리고 평가 데이타 부족에 따른 추천질 저하를 줄이기 위해 친구 에이전트의 의견을 반영하는 방법을 사용하였고 새로운 사용자에 대해서도 추천이 가능토록 하기 위해 사용자 프로파일을 이용한 협력필터링 방법을 사용하였다. 실험결과, 본 제안 방법이 확장성뿐만 아니라 데이타 희박성 문제 및 새로운 사용자 문제에도 도움이 됨을 확인할 수 있었다.

맵리듀스를 이용한 사용자 기반 협업 필터링 추천 기법 (User-based Collaborative Filtering Recommender Technique using MapReduce)

  • 윤소영;윤성대
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 추계학술대회
    • /
    • pp.331-333
    • /
    • 2015
  • 네트워크와 모바일 기기의 확산으로 데이터가 폭발적으로 증가하고 있으며 기존의 추천 기법으로는 급증하는 데이터를 효율적으로 처리하는데 문제가 있다. 따라서 가장 널리 사용되는 추천 기법인 협업 필터링 기법의 확장성 문제를 어떻게 해결할 것에 대한 연구들이 진행되고 있다. 본 논문에서는 협업 필터링 기법에 분산 병렬처리 방식인 MapReduce를 적용하여 확장성 문제를 줄이고 정확성을 높이는 기법을 제안한다. 제안하는 기법은 사용자 기반 협업 필터링 기법에 MapReduce와 색인기법을 적용하여 유사도 계산에 사용되는 이웃의 수와 이웃의 적합성을 개선하는 방식으로 확장성과 정확성을 개선하는 효과를 기대할 수 있다.

  • PDF

분산 환경에서의 협력적 여과를 위한 멀티 에이전트 프레임워크 (A Multi-Agent framework for Distributed Collaborative Filtering)

  • 지애띠;연철;이승훈;조근식;김흥남
    • 지능정보연구
    • /
    • 제13권3호
    • /
    • pp.119-140
    • /
    • 2007
  • 추천 시스템은 정보의 홍수 속에서 사용자로 하여금 자신에게 더욱 가치 있고 흥미로운 정보를 선별할 수 있도록 돕는 자동화된 정보 여과 시스템이다. 최근 분산 컴퓨팅 환경에 대한 연구가 활발히 진행되면서, 지금까지의 중앙 서버에서 모든 정보를 관리하는 중앙 집중 방식의 추천 시스템에서 P2P 환경의 접근 방식으로 선회하고 있다. 협력적 여과는 상업적인 추천 시스템에서 가장 많이 사용하는 정보 여과 기법이지만, 그 성공에도 불구하고 확장성(scalability)과 데이터의 희박성(sparsity), 악의적인 사용자의 공격(shilling attack)에 대한 방어 등에 관련된 여러 제약을 갖는다. 중앙 집중 방식에서 분산된 방식으로의 변화는 추천의 신뢰성과 개인 정보의 남용 가능성에 관련한 문제점을 일부 해결할 수 있으나, 조작된 사용자 프로파일을 사용하여 추천을 조작하려는 의도를 갖는 악의적인 사용자의 공격에는 중앙 집중 방식과 마찬가지로 취약할 수 있다. 본 논문에서는 개인 정보의 오남용과 악의적인 사용자의 공격에 관련된 문제점을 해결하고, 분산된 환경에서 효과적인 협력적 여과를 수행하여 추천의 성능과 정확성을 높이기 위한 멀티 에이전트 기반의 추천 프레임워크를 제안한다. 추천의 신뢰성을 높이기 위해 사용자간의 신뢰 정보를 사용하며, 각 사용자의 개인 에이전트와 이동 에이전트간의 정보교환을 통해 효과적으로 신뢰 정보를 전파하고 분산된 유사도 계산의 효율성을 높였다.

  • PDF

이미지 기반 필터링을 이용한 개인화 아이템 추천 (Personalized Item Recommendation using Image-based Filtering)

  • 정경용
    • 한국콘텐츠학회논문지
    • /
    • 제8권3호
    • /
    • pp.1-7
    • /
    • 2008
  • 유비쿼터스 컴퓨팅의 발달로 인하여 다양하고 폭넓은 정보가 디지털 형태로 빠르게 생산 및 배포되고 있다. 사용자가 이러한 정보과잉 속에서 자신이 원하는 정보를 단시간 내에 검색하는 것은 그리 쉬운 일이 아니다. 본 논문에서는 이미지 기반 필터링을 이용한 개인화 아이템 추천 기법을 제안한다. 피상적인 내용분석이라는 단점을 개선하기 위하여 사용자가 관심을 가지는 이미지 데이터로부터 특징을 추출하는 이미지 기반 필터링을 사용하였다. 제안한 방법에 대해 MovieLens 데이터에서 내용 기반 필터링과 협력적 필터링과의 비교 실험을 통해 성능을 평가하였다. 실험 결과, 제안한 방법이 기존의 다른 방법보다 우수함을 확인하였다.

빅 데이터 처리 기법을 적용한 추천 시스템에 관한 연구 (Recommendation System Using Big Data Processing Technique)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제21권6호
    • /
    • pp.1183-1190
    • /
    • 2017
  • 네트워크와 IT 기술의 발전으로 사용자들은 장소에 구애 받지 않고 어디서든 본인이 원하는 아이템을 검색하고 구매하고 있다. 이에 따라 추천시스템에서 급증하는 데이터로 인한 확장성 문제를 어떻게 해결할 것인가에 대한 연구들이 다양하게 진행되고 있다. 본 논문에서는 Tag 가중치를 적용한 아이템 기반 협업 필터링 기법과 분산 병렬 처리 방식인 MapReduce 방법을 적용한 추천 기법을 제안한다. 제안하는 기법은 속도 향상과 효율성을 위해 전처리 과정에서 아이템을 카테고리별로 분류하고 노드 수에 맞게 그룹지은 후 사용한다. 각 분산 노드에서 4번의 Map-Reduce 단계를 통해 데이터 처리를 진행하는데 사용자에게 더 나은 아이템을 추천하기 위해 유사도 계산에서 아이템 Tag 가중치를 사용한다. 마지막 Reduce 단계를 거쳐 출력된 예측값 중 상위 N개의 아이템을 추천에 사용한다. 실험을 통해 제안 하는 기법이 대량의 데이터를 효율적으로 처리하며 기존의 아이템 기반 기법보다 추천의 적합성도 향상되는 것을 확인하였다.

Spark를 이용한 항목 추천 기법에 관한 연구 (Item Recommendation Technique Using Spark)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제22권5호
    • /
    • pp.715-721
    • /
    • 2018
  • 모바일 기기의 확산으로 소셜 네트워크 서비스나 전자상거래 사이트의 사용자 수가 급증하고 있고 사용자들이 남긴 데이터의 양도 기하급수적으로 증가하고 있다. 그로 인해 전자 상거래 기업들은 사용자들이 남긴 방대한 양의 데이터로부터 어떻게 유용한 정보를 추출할 것인가 하는 과제를 갖게 되었다. 이러한 문제를 해결하기 위해 추천 시스템에 빅 데이터 처리 기법을 적용한 다양한 연구들이 이루어지고 있다. 본 논문에서는 Apache Spark 플랫폼에서 Tag 가중치를 적용한 협업 필터링 기법을 사용한 추천방식을 제안한다. 제안하는 기법은 추천의 정확성을 높이기 위해 전처리 과정에서 Tag 데이터를 정제하고 아이템을 분류한 후 아이템 평가값에 기간 정보와 Tag 가중치를 적용하여 사용한다. RDD(Resilient Distributed Dataset)를 생성한 후 아이템 유사도와 예측값을 구하고 사용자에게 아이템을 추천한다. 실험을 통해 제안 하는 기법이 대량의 데이터를 빠르게 처리하고 추천의 적합성도 향상되는 것을 확인하였다.

Addressing the New User Problem of Recommender Systems Based on Word Embedding Learning and Skip-gram Modelling

  • Shin, Su-Mi;Kim, Kyung-Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제21권7호
    • /
    • pp.9-16
    • /
    • 2016
  • Collaborative filtering(CF) uses the purchase or item rating history of other users, but does not need additional properties or attributes of users and items. Hence CF is known th be the most successful recommendation technology. But conventional CF approach has some significant weakness, such as the new user problem. In this paper, we propose a approach using word embedding with skip-gram for learning distributed item representations. In particular, we show that this approach can be used to capture precise item for solving the "new user problem." The proposed approach has been tested on the Movielens databases. We compare the performance of the user based CF, item based CF and our approach by observing the change of recommendation results according to the different number of item rating information. The experimental results shows the improvement in our approach in measuring the precision applied to new user problem situations.

멀티미디어 컨텐트 유통 e-Business를 위한 P2P 플랫폼의 구조 (An Architecture of the P2P based e-Business Platform for Multimedia Content Distribution)

  • 조대연;이경전
    • 한국IT서비스학회지
    • /
    • 제2권2호
    • /
    • pp.53-62
    • /
    • 2003
  • Current P2P (Peer-to-Peer) applications have the limited functions such as file search and transfer between peers and have the limitations such as trust problem on search results, copyright problem, and profitable business model problem. For a P2P application to be used as a business platform for the distribution of various multimedia contents, this paper proposes an extended P2P application architecture and its prototype system including distributed collaborative filtering, automated price negotiation system, and payment mechanism.

공유가상공간에서 다중경로샘플링을 이용한 동적 이벤트 필터링 기법 (A Dynamic Event Filtering Technique using Multi-Level Path Sampling in a Shared Virtual Environment)

  • 유석종;최윤철;고견
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권11호
    • /
    • pp.1306-1313
    • /
    • 1999
  • 본 연구는 인터넷 기반 공유가상공간에서 시스템의 확장성을 유지하기 위하여 이동객체를 대상으로 하는 이벤트 필터링 기법을 제안하고자 한다. 제안된 다중격자 모델 기법은 이동객체의 경로 상에서 대표적인 이벤트를 샘플링하는 방식을 사용한다. 이 방식은 메시지 트래픽의 양을 동적으로 조절하기 위하여 이동객체 간의 관심정도 정보를 수치적으로 변환하여 이벤트 갱신빈도에 반영한다. 대량의 이동객체를 생성하여 제안된 기법을 적용한 성능평가 실험에서 기존의 방식에 비하여 평균 메시지 전송량이 50%이상 감소하는 것으로 확인할 수 있었다. 다중격자 모델은 참여자의 수와 메시지 트래픽 상황에 따라 가상환경의 공유 QoS를 동적으로 조절할 수 있으며, 인터넷 상에서 다수 사용자를 위한 3차원 가상사회 구축 및 온라인 네트워크 게임 개발 등에 활용될 수 있을 것이다.Abstract This paper proposes an event filtering technique that can dynamically control a large amount of event messages produced by moving objects like avatars or autonomous objects in a distributed virtual environment. The proposed multi-level grid model technique uses the method that extracts the representative events from the paths of moving objects. For dynamic control of message traffics, this technique digitizes the DOIs of the avatars and reflects the interest information controlling the frequency of message transmission. For the performance evaluation, a large number of moving objects were created and the model was applied to these avatar groups. In the experiments, more than 50% of messages have been reduced in comparison with the existing AOI-based filtering techniques. The proposed technique can dynamically control the QoS in proportion to the number of users and the amount of messages where a large number of users share a virtual space. This model can be applied to the development of 3D collaborative virtual societies and multi-user online games in the Internet.