• 제목/요약/키워드: 데이터 희소성 문제

검색결과 57건 처리시간 0.023초

협력적 필터링에서 희소성에 따른 MAE 향상에 관한 연구 (A Study on Sparsity Effect about MAE in Collaborative Filtering)

  • 김선옥;이석준;이희춘
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2007년도 추계학술대회
    • /
    • pp.616-620
    • /
    • 2007
  • 전자상거래에서 사용되고 있는 추천시스템은 사용자들의 프로파일과 이들의 정보를 바탕으로 사용자가 선호할 만한 아이템을 추천한다. 추천시스템에서 널리 사용되고 있는 협력적 필터링 방식은 사용자들 사이의 선호도 평가치를 비교하여 유사 사용자를 선택하고, 아이템에 대한 유사 사용자의 선호도 평가치를 기반으로 하여 추천하고자 하는 아이템에 대한 사용자의 선호도를 예측하는 것이다. 하지만 사용자의 선호도가 적은 데이터로 인한 희소성 문제는 추천시스템의 성능을 저해하는 요인으로 작용하고 있다. 이러한 희소성의 문제는 선호도 평가 자료에 나타난 아이템들의 총수에 비하여 사용자가 선호한 아이템의 수가 아주 적기 때문에 발생하며, 새로운 사용자의 경우에는 아이템에 대한 선호도 평가치가 없어 유사 사용자를 선택할 수가 없어 나타나며 심한 경우에는 아이템을 전혀 추천할 수 없게 된다. 이리할 추천 시스템의 희소성문제를 해결차기 위한 방법은 희소성이 높은 데이터들에 대한 희소성을 감소시키는 것이다. 따라서 본 논문에서는 아이템에 대한 희소성을 조사하여 협력적 필터링에서 희소성 아이템이 MAE에 미치는 영향을 분석하였다. 그리고 희소성 문제를 완화하여 예측 정확도를 높이기 위한 방법으로 선호도가 적은 아이템에 대해 희소성을 최소화하는 연구와 이에 따라 희소성과 MAE의 값을 개선하는 방법을 제안한다.

  • PDF

협동적 여과를 위한 희소 데이터 변형 기법 (Modifying Sparse Data for Collaborative Filtering)

  • 김형일;김준태
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.610-612
    • /
    • 2005
  • 협동적 여과를 이용한 추천 시스템은 데이터의 희소성 문제(sparseness problem)와 초기 추천 문제 (cold-start problem)에 대해 취약점을 가지고 있다. 협동적 여과를 이용한 추천 시스템에서 사용하는 선호도 데이터에 아이템들의 전체 수량에 비해 매우 적은 양의 아이템 선호도만 존재한다면 사용자들의 유사도 측정에 문제를 발생시켜 극단적인 경우엔 협동적 추천이 불가능할 경우가 발생한다. 이와 같은 문제는 선호도 데이터에 나타난 아이템들의 총수에 비해 사용자가 선호(구매)한 아이템이 극히 적은 수량으로 존재하기 때문이며 새로운 사용자의 경우에는 아이템 선호도 정보가 전혀 없기 때문에 유사 사용자를 추출하지 못하여 아이템을 전혀 추천할 수 없는 문제가 발생한다. 본 논문에서는 희소성이 높은 선호도 데이터를 희소하지 않은 상태로 변형하는 희소 데이터 변형 기법을 제안한다. 희소 데이터 변형 기법은 희소데이터에 나타난 사용자와 아이템의 추가 속성 정보의 확률분포를 이용하여 알려지지 않은 선호도 값을 예측함으로써 희소성이 높은 선호도 데이터를 변경하고, 변경된 선호도 데이터를 협동적 추천에 적용하여 추천 성능을 향상시킨다. 이와 같은 선호도 데이터 변경 기법을 데이터 블러링(data blurring)이라 한다. 몇가지 실험 결과를 통해 제안된 기법의 효과를 확인하였다.

  • PDF

추천 시스템에서의 데이터 임퓨테이션 분석 (Analysis of Data Imputation in Recommender Systems)

  • 이영남;김상욱
    • 정보과학회 논문지
    • /
    • 제44권12호
    • /
    • pp.1333-1337
    • /
    • 2017
  • 추천 시스템이란 사용자가 좋아할만한 개인화된 상품을 사용자에게 제안하는 것이다. 최근 상품 수의 증가로 추천 시스템의 중요성이 날로 커지고 있지만, 데이터 희소성 문제는 여전히 추천 시스템의 대표적인 문제로 남아있다. 데이터 희소성 문제는 사용자가 전체 상품 중 일부의 상품에만 평점을 부여하여, 사용자와 상품 관계를 정확히 이해하기 힘든 것을 말한다. 이를 해결하기 위해 가장 여러 가지 접근법이 있는 그 중 대표적인 것인 데이터 임퓨테이션이다. 데이터 임퓨테이션은 사용자가 평가하지 않은 상품의 평점을 추론해 평점 행렬에 채우는 방법이다. 하지만 기존 데이터 임퓨테이션 방법은 사용자가 평가하지 않은 상품에 대한 몇 가지 특성을 놓치고 있다. 본 논문에서는 기존 방법의 한계점을 정의하고, 이를 개선하는 방안 3가지를 제안한다.

잠재적 속성 선호도를 이용한 협업 필터링의 데이터 희소성 문제 개선 방법 (Method to Improve Data Sparsity Problem of Collaborative Filtering Using Latent Attribute Preference)

  • 권형준;홍광석
    • 인터넷정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.59-67
    • /
    • 2013
  • 본 논문에서는 협업 필터링의 선호도 예측 정확성의 저하를 초래하는 전통적 문제점 중 하나인 데이터 희소성 문제에 강인한 잠재적 속성 선호도 기반 협업 필터링 방법(Latent Attribute Rating-based Collaborative Filtering, LAR_CF)을 제안한다. 기존의 협업 필터링은 객체의 유사성을 판단하기 위한 특징벡터로써 사용자가 명시적으로 평가한 선호도만을 이용하며, 해당 문제 개선을 위해 속성을 사용하는 연구들은 범용적으로 사용하기 어려웠다. 이웃 기반 필터링에 근본을 두는 LAR_CF는 기존의 명시적 선호도와 함께 유사도 평가의 대상이 되는 두 객체의 고유한 속성을 특징벡터로 삼기 때문에 명시적 선호도의 수가 적어서 발생하는 데이터 희소성 문제를 개선하여 선호도 예측 정확도를 향상시키며, 속성의 종류에 구애받지 않고 손쉽게 적용할 수 있는 장점을 가진다. LAR_CF의 유효성 평가를 위해서 MovieLens 100k 데이터세트 및 해당 데이터세트에 사용된 속성정보를 활용하여 일반적 성능 실험과 인공적 데이터 희소성 실험에서 선호도 예측 정확도를 평가한 결과, 제안하는 방법이 데이터 희소 조건에서 선호도 예측 정확도를 향상시킬 수 있음을 확인하였다.

하이퍼그래프 희소성에 따른 하이퍼그래프 임베딩 방법 성능 평가 (Evaluating the Performance of Hypergraph Embedding Methods According to Hypergraph Sparsity)

  • 정소빈;강윤석;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.641-643
    • /
    • 2024
  • 실세계에서는 두개 이상의 객체들이 서로 관계를 맺고있다. 단 두 객체 간의 관계만 표현하는 그래프와는 달리 여러 객체들 간의 관계를 표현하는 하이퍼그래프는 그룹 상호작용을 잘 표현할 수 있다. 이러한 강점으로 하이퍼그래프를 활용한 응용들이 많이 제안되고 있다. 하이퍼그래프 임베딩은 하이퍼그래프의 구조를 이용하여 노드를 저차원 벡터로 표현하는 방법이다. 이렇게 표현된 벡터들은 노드 분류, 커뮤니티 탐지, 링크예측 등 광범위한 응용에 활용된다. 하지만 하이퍼그래프는 그래프보다 희소성 문제가 훨씬 더 심해 데이터 셋의 희소성이 하이퍼그래프 임베딩 방법의 성능에 큰 영향을 미칠 수 있다. 따라서, 본 논문에서는 희소성에 따른 하이퍼그래프 임베딩 방법들의 성능을 분석하고자 한다. 우리는 8 개의 실세계 데이터셋을 이용한 실험을 통해 데이터가 희소할수록 하이퍼그래프 임베딩 방법들의 성능이 감소하는 것을 확인하였다.

영상 콘텐츠 시청 데이터를 활용한 개인 맞춤형 도서 추천 시스템 (Personalized book recommendation system using video content viewing data)

  • 임예빈;이경민;김유진;이서영;김현희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.544-545
    • /
    • 2024
  • 최근 성인 독서량은 지속적으로 감소하는데 비해 영상 콘텐츠 소비가 증가하고 있다. 이에 따라 새로운 사용자에 대한 선호도 및 행동 패턴에 대한 정보가 없고 새로운 도서에 대한 사용자 평가나 구매 정보가 부족해 콜드 스타트 문제와 데이터 희소성 문제가 발생하고 있다. 본 논문에서는 영상물 콘텐츠 기반 도서 하이브리드 추천 시스템을 제안하였다. 제안하는 추천 시스템은 영상물의 콘텐츠를 활용하여 콜드 스타트 문제와 데이터 희소성 문제를 해결할 수 있을 뿐만 아니라, 전통적인 도서 추천 시스템에 비해 성능이 향상되었고 장르, 줄거리, 평점 정보 기반 사용자 취향 정보까지 모두 반영된 질 높은 추천 결과까지 확인할 수 있었다.

사용자 정보 가중치를 이용한 추천 기법 (A Recommendation Technique using Weight of User Information)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제15권4호
    • /
    • pp.877-885
    • /
    • 2011
  • 협업 필터링은 추천시스템들 중에서 가장 널리 사용되는 기법이다. 그러나 협업 필터링은 추천의 정확성을 떨어뜨리는 희소성과 확장성 문제를 가지고 있으며 이를 해결하기 위한 다양한 연구가 이루어지고 있다. 본 논문에서는 협업필터링의 희소성과 확장성의 문제를 해결하기 위해 가중치를 사용한 기법을 제안한다. 제안한 기법은 데이터 셋에서 추천의 정확성을 높이기 위해 평가값이 4이상인 데이터들만을 사용하여 아이템을 선호하는 사용자 정보를 분석한다. 아이템의 장르 정보와 분석한 사용자 정보를 유사도 계산 시 가중치로 사용하고 임계값 이상의 유사도를 가진 데이터들만으로 예측값을 계산하여 평가되지 않은 데이터의 평가값으로 사용한다. 제안한 기법은 아이템에 대한 특성을 분석하여 예측값을 계산함으로써 희소성을 줄임과 동시에 정확성을 더 높일 수 있고 새로운 아이템과 사용자가 등록되었을 때 분석된 정보를 바탕으로 빠른 분류가 가능하다. 실험을 통해 제안한 기법이 기존의 아이템 기반, 장르 기반 기법보다 추천의 정확성이 향상되는 것을 확인하였다.

퍼지 AHP와 퍼지 연관규칙을 이용하여 고차원 데이터를 처리하는 영화 추천 시스템 (A Movie Recommendation System processing High-Dimensional Data with Fuzzy-AHP and Fuzzy Association Rules)

  • 오재택;이상용
    • 디지털융복합연구
    • /
    • 제17권2호
    • /
    • pp.347-353
    • /
    • 2019
  • 최근 추천 시스템들은 고차원 데이터를 사용할 수 있는 시스템으로 발전하고 있다. 그러나 고차원 데이터는 차원을 확장시켜 알고리즘 복잡도가 증가하여 추천 항목의 정확도를 저하시킬 수 있다. 또한 데이터의 희소성(Sparsity) 문제가 발생할 수 있어 사용자들에게 적합한 추천 항목을 제공하는 것이 어렵다. 본 연구에서는 Fuzzy-AHP를 이용하여 사용자들의 주관적 기준의 데이터를 객관적 기준으로 분류한 후, 퍼지 연관규칙 분석을 이용하여 반복적 패턴을 띄는 규칙들을 활용하는 알고리즘을 제안하였다. 본 연구에서 적용된 알고리즘이 고차원 데이터의 문제점들을 어떻게 완화하는지 확인하기 위해 사용자 수의 변화에 따른 5-fold Cross Validation을 진행하였다. 그 결과 본 알고리즘이 적용된 시스템의 정확도는 Fuzzy-AHP만을 적용한 시스템보다 12.5% 정도 정확도가 우수하였고, 데이터의 희소성 문제도 완화할 수 있다는 것을 확인하였다.

추천 시스템을 위한 웹 로그 분석 (Web Log Analysis for Recommendation Systems)

  • 강태기;김준태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.527-530
    • /
    • 2002
  • 협동적 추천은 사용자의 상품에 대한 구매 데이터를 이용하여 상품을 추천하는 방법이다. 그러나 구매 데이터가 희소한 경우 추천의 정확도가 떨어지는 문제점이 있다. 이러한 희소성 문제를 해결하기 위해서 클러스터링, SVD 등 다양한 방법이 제시되었으나, 근본적으로 사용자의 성향을 파악하기에는 부족한 점이 있다. 구매 데이터만을 이용했을 때의 문제점을 해결하기 위해서는 이를 보완할 수 있는 데이터의 활용이 필요하다. 웹 로그 분석을 통해서 구매 데이터의 희소성을 보완할 수 있으며, 사용자의 상품에 대한 부정적 반응을 구매 데이터에 반영할 수 있다. 본 논문에서는 웹 사이트에 접근하는 사용자들에 의해서 만들어진 웹 로그를 분석하여 추천 시스템의 성능을 개선하였다.

  • PDF

영상 소비 데이터를 기반으로 한 교차 도메인에서 개인 맞춤형 도서 추천 (Personalized Cross-Domain Recommendation of Books Based on Video Consumption Data)

  • 임예빈;김현희
    • 정보처리학회 논문지
    • /
    • 제13권8호
    • /
    • pp.382-387
    • /
    • 2024
  • 최근 성인 독서량은 지속적으로 감소하는데 비해 영상 콘텐츠 소비가 증가하고 있다. 이에 따라 새로운 사용자에 대한 선호도 및 행동 패턴에 대한 정보가 없고 새로운 도서에 대한 사용자 평가나 구매 정보가 부족해 콜드 스타트 문제와 데이터 희소성 문제가 발생하고 있다. 본 논문에서는 영상물 콘텐츠 기반 도서 하이브리드 추천 시스템을 제안하였다. 제안하는 추천 시스템은 영상물의 콘텐츠를 활용하여 콜드 스타트 문제와 데이터 희소성 문제를 해결할 수 있을 뿐만 아니라, 전통적인 도서 추천 시스템에 비해 성능이 향상됨을 보여주었다. 또한 장르, 줄거리, 평점 정보 등 사용자 취향 정보까지 모두 반영한 개인 맞춤형 추천 결과를 제시하였다.