• 제목/요약/키워드: 데이터 희소성

검색결과 90건 처리시간 0.027초

협력적 필터링에서 희소성에 따른 MAE 향상에 관한 연구 (A Study on Sparsity Effect about MAE in Collaborative Filtering)

  • 김선옥;이석준;이희춘
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2007년도 추계학술대회
    • /
    • pp.616-620
    • /
    • 2007
  • 전자상거래에서 사용되고 있는 추천시스템은 사용자들의 프로파일과 이들의 정보를 바탕으로 사용자가 선호할 만한 아이템을 추천한다. 추천시스템에서 널리 사용되고 있는 협력적 필터링 방식은 사용자들 사이의 선호도 평가치를 비교하여 유사 사용자를 선택하고, 아이템에 대한 유사 사용자의 선호도 평가치를 기반으로 하여 추천하고자 하는 아이템에 대한 사용자의 선호도를 예측하는 것이다. 하지만 사용자의 선호도가 적은 데이터로 인한 희소성 문제는 추천시스템의 성능을 저해하는 요인으로 작용하고 있다. 이러한 희소성의 문제는 선호도 평가 자료에 나타난 아이템들의 총수에 비하여 사용자가 선호한 아이템의 수가 아주 적기 때문에 발생하며, 새로운 사용자의 경우에는 아이템에 대한 선호도 평가치가 없어 유사 사용자를 선택할 수가 없어 나타나며 심한 경우에는 아이템을 전혀 추천할 수 없게 된다. 이리할 추천 시스템의 희소성문제를 해결차기 위한 방법은 희소성이 높은 데이터들에 대한 희소성을 감소시키는 것이다. 따라서 본 논문에서는 아이템에 대한 희소성을 조사하여 협력적 필터링에서 희소성 아이템이 MAE에 미치는 영향을 분석하였다. 그리고 희소성 문제를 완화하여 예측 정확도를 높이기 위한 방법으로 선호도가 적은 아이템에 대해 희소성을 최소화하는 연구와 이에 따라 희소성과 MAE의 값을 개선하는 방법을 제안한다.

  • PDF

협동적 여과를 위한 희소 데이터 변형 기법 (Modifying Sparse Data for Collaborative Filtering)

  • 김형일;김준태
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.610-612
    • /
    • 2005
  • 협동적 여과를 이용한 추천 시스템은 데이터의 희소성 문제(sparseness problem)와 초기 추천 문제 (cold-start problem)에 대해 취약점을 가지고 있다. 협동적 여과를 이용한 추천 시스템에서 사용하는 선호도 데이터에 아이템들의 전체 수량에 비해 매우 적은 양의 아이템 선호도만 존재한다면 사용자들의 유사도 측정에 문제를 발생시켜 극단적인 경우엔 협동적 추천이 불가능할 경우가 발생한다. 이와 같은 문제는 선호도 데이터에 나타난 아이템들의 총수에 비해 사용자가 선호(구매)한 아이템이 극히 적은 수량으로 존재하기 때문이며 새로운 사용자의 경우에는 아이템 선호도 정보가 전혀 없기 때문에 유사 사용자를 추출하지 못하여 아이템을 전혀 추천할 수 없는 문제가 발생한다. 본 논문에서는 희소성이 높은 선호도 데이터를 희소하지 않은 상태로 변형하는 희소 데이터 변형 기법을 제안한다. 희소 데이터 변형 기법은 희소데이터에 나타난 사용자와 아이템의 추가 속성 정보의 확률분포를 이용하여 알려지지 않은 선호도 값을 예측함으로써 희소성이 높은 선호도 데이터를 변경하고, 변경된 선호도 데이터를 협동적 추천에 적용하여 추천 성능을 향상시킨다. 이와 같은 선호도 데이터 변경 기법을 데이터 블러링(data blurring)이라 한다. 몇가지 실험 결과를 통해 제안된 기법의 효과를 확인하였다.

  • PDF

하이퍼그래프 희소성에 따른 하이퍼그래프 임베딩 방법 성능 평가 (Evaluating the Performance of Hypergraph Embedding Methods According to Hypergraph Sparsity)

  • 정소빈;강윤석;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.641-643
    • /
    • 2024
  • 실세계에서는 두개 이상의 객체들이 서로 관계를 맺고있다. 단 두 객체 간의 관계만 표현하는 그래프와는 달리 여러 객체들 간의 관계를 표현하는 하이퍼그래프는 그룹 상호작용을 잘 표현할 수 있다. 이러한 강점으로 하이퍼그래프를 활용한 응용들이 많이 제안되고 있다. 하이퍼그래프 임베딩은 하이퍼그래프의 구조를 이용하여 노드를 저차원 벡터로 표현하는 방법이다. 이렇게 표현된 벡터들은 노드 분류, 커뮤니티 탐지, 링크예측 등 광범위한 응용에 활용된다. 하지만 하이퍼그래프는 그래프보다 희소성 문제가 훨씬 더 심해 데이터 셋의 희소성이 하이퍼그래프 임베딩 방법의 성능에 큰 영향을 미칠 수 있다. 따라서, 본 논문에서는 희소성에 따른 하이퍼그래프 임베딩 방법들의 성능을 분석하고자 한다. 우리는 8 개의 실세계 데이터셋을 이용한 실험을 통해 데이터가 희소할수록 하이퍼그래프 임베딩 방법들의 성능이 감소하는 것을 확인하였다.

추천 시스템에서의 데이터 임퓨테이션 분석 (Analysis of Data Imputation in Recommender Systems)

  • 이영남;김상욱
    • 정보과학회 논문지
    • /
    • 제44권12호
    • /
    • pp.1333-1337
    • /
    • 2017
  • 추천 시스템이란 사용자가 좋아할만한 개인화된 상품을 사용자에게 제안하는 것이다. 최근 상품 수의 증가로 추천 시스템의 중요성이 날로 커지고 있지만, 데이터 희소성 문제는 여전히 추천 시스템의 대표적인 문제로 남아있다. 데이터 희소성 문제는 사용자가 전체 상품 중 일부의 상품에만 평점을 부여하여, 사용자와 상품 관계를 정확히 이해하기 힘든 것을 말한다. 이를 해결하기 위해 가장 여러 가지 접근법이 있는 그 중 대표적인 것인 데이터 임퓨테이션이다. 데이터 임퓨테이션은 사용자가 평가하지 않은 상품의 평점을 추론해 평점 행렬에 채우는 방법이다. 하지만 기존 데이터 임퓨테이션 방법은 사용자가 평가하지 않은 상품에 대한 몇 가지 특성을 놓치고 있다. 본 논문에서는 기존 방법의 한계점을 정의하고, 이를 개선하는 방안 3가지를 제안한다.

잠재적 속성 선호도를 이용한 협업 필터링의 데이터 희소성 문제 개선 방법 (Method to Improve Data Sparsity Problem of Collaborative Filtering Using Latent Attribute Preference)

  • 권형준;홍광석
    • 인터넷정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.59-67
    • /
    • 2013
  • 본 논문에서는 협업 필터링의 선호도 예측 정확성의 저하를 초래하는 전통적 문제점 중 하나인 데이터 희소성 문제에 강인한 잠재적 속성 선호도 기반 협업 필터링 방법(Latent Attribute Rating-based Collaborative Filtering, LAR_CF)을 제안한다. 기존의 협업 필터링은 객체의 유사성을 판단하기 위한 특징벡터로써 사용자가 명시적으로 평가한 선호도만을 이용하며, 해당 문제 개선을 위해 속성을 사용하는 연구들은 범용적으로 사용하기 어려웠다. 이웃 기반 필터링에 근본을 두는 LAR_CF는 기존의 명시적 선호도와 함께 유사도 평가의 대상이 되는 두 객체의 고유한 속성을 특징벡터로 삼기 때문에 명시적 선호도의 수가 적어서 발생하는 데이터 희소성 문제를 개선하여 선호도 예측 정확도를 향상시키며, 속성의 종류에 구애받지 않고 손쉽게 적용할 수 있는 장점을 가진다. LAR_CF의 유효성 평가를 위해서 MovieLens 100k 데이터세트 및 해당 데이터세트에 사용된 속성정보를 활용하여 일반적 성능 실험과 인공적 데이터 희소성 실험에서 선호도 예측 정확도를 평가한 결과, 제안하는 방법이 데이터 희소 조건에서 선호도 예측 정확도를 향상시킬 수 있음을 확인하였다.

사용자 정보 가중치를 이용한 추천 기법 (A Recommendation Technique using Weight of User Information)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제15권4호
    • /
    • pp.877-885
    • /
    • 2011
  • 협업 필터링은 추천시스템들 중에서 가장 널리 사용되는 기법이다. 그러나 협업 필터링은 추천의 정확성을 떨어뜨리는 희소성과 확장성 문제를 가지고 있으며 이를 해결하기 위한 다양한 연구가 이루어지고 있다. 본 논문에서는 협업필터링의 희소성과 확장성의 문제를 해결하기 위해 가중치를 사용한 기법을 제안한다. 제안한 기법은 데이터 셋에서 추천의 정확성을 높이기 위해 평가값이 4이상인 데이터들만을 사용하여 아이템을 선호하는 사용자 정보를 분석한다. 아이템의 장르 정보와 분석한 사용자 정보를 유사도 계산 시 가중치로 사용하고 임계값 이상의 유사도를 가진 데이터들만으로 예측값을 계산하여 평가되지 않은 데이터의 평가값으로 사용한다. 제안한 기법은 아이템에 대한 특성을 분석하여 예측값을 계산함으로써 희소성을 줄임과 동시에 정확성을 더 높일 수 있고 새로운 아이템과 사용자가 등록되었을 때 분석된 정보를 바탕으로 빠른 분류가 가능하다. 실험을 통해 제안한 기법이 기존의 아이템 기반, 장르 기반 기법보다 추천의 정확성이 향상되는 것을 확인하였다.

추천 시스템을 위한 웹 로그 분석 (Web Log Analysis for Recommendation Systems)

  • 강태기;김준태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.527-530
    • /
    • 2002
  • 협동적 추천은 사용자의 상품에 대한 구매 데이터를 이용하여 상품을 추천하는 방법이다. 그러나 구매 데이터가 희소한 경우 추천의 정확도가 떨어지는 문제점이 있다. 이러한 희소성 문제를 해결하기 위해서 클러스터링, SVD 등 다양한 방법이 제시되었으나, 근본적으로 사용자의 성향을 파악하기에는 부족한 점이 있다. 구매 데이터만을 이용했을 때의 문제점을 해결하기 위해서는 이를 보완할 수 있는 데이터의 활용이 필요하다. 웹 로그 분석을 통해서 구매 데이터의 희소성을 보완할 수 있으며, 사용자의 상품에 대한 부정적 반응을 구매 데이터에 반영할 수 있다. 본 논문에서는 웹 사이트에 접근하는 사용자들에 의해서 만들어진 웹 로그를 분석하여 추천 시스템의 성능을 개선하였다.

  • PDF

퍼지 AHP와 퍼지 연관규칙을 이용하여 고차원 데이터를 처리하는 영화 추천 시스템 (A Movie Recommendation System processing High-Dimensional Data with Fuzzy-AHP and Fuzzy Association Rules)

  • 오재택;이상용
    • 디지털융복합연구
    • /
    • 제17권2호
    • /
    • pp.347-353
    • /
    • 2019
  • 최근 추천 시스템들은 고차원 데이터를 사용할 수 있는 시스템으로 발전하고 있다. 그러나 고차원 데이터는 차원을 확장시켜 알고리즘 복잡도가 증가하여 추천 항목의 정확도를 저하시킬 수 있다. 또한 데이터의 희소성(Sparsity) 문제가 발생할 수 있어 사용자들에게 적합한 추천 항목을 제공하는 것이 어렵다. 본 연구에서는 Fuzzy-AHP를 이용하여 사용자들의 주관적 기준의 데이터를 객관적 기준으로 분류한 후, 퍼지 연관규칙 분석을 이용하여 반복적 패턴을 띄는 규칙들을 활용하는 알고리즘을 제안하였다. 본 연구에서 적용된 알고리즘이 고차원 데이터의 문제점들을 어떻게 완화하는지 확인하기 위해 사용자 수의 변화에 따른 5-fold Cross Validation을 진행하였다. 그 결과 본 알고리즘이 적용된 시스템의 정확도는 Fuzzy-AHP만을 적용한 시스템보다 12.5% 정도 정확도가 우수하였고, 데이터의 희소성 문제도 완화할 수 있다는 것을 확인하였다.

데이터방송 인터랙티브 게임 규제 및 이용자 인식에 관한 연구: 승부게임을 중심으로 (A Research on the Regulations and Perception of Interactive Game in Data Broadcasting: Special Emphasis on the TV-Betting Game)

  • 변동현;정문열;배홍섭
    • 한국언론정보학보
    • /
    • 제35권
    • /
    • pp.250-291
    • /
    • 2006
  • 본 논문은 유럽 등 해외에서 현재 활성화 되어있는 카드게임, 경마게임 등을 활용한 데이터방송 승부게임(TV-betting) 서비스를 조작하여 이를 경험한 패널집단을 대상으로 인터랙티브게임 관련 긍정적, 부정적 인식을 조사하여 국내에서 데이터방송 승부게임에 대한 규제문제와 그 도입가능성을 모색해 보았다. 조사연구를 수행하기 위해 국내 디지털케이블방송에서의 데이터방송 표준인 OCAP시스템 환경에서 데이터방송 승부게임 데모프로그램을 제작하고 패널집단이 이 프로그램의 시청경험을 하게 한 뒤에 심층적인 면접을 시행하였다. 그 결과를 정리하면 다음과 같다. 패널집단은 데이터방송 승부게임이 오락효과, 감정정화, 스트레스 해소 등 시청자에게 즐거움을 주는 긍정적 요소가 많으나 사회적 환경 때문에 외국과 같이 쉽게 도입되기는 어려울 것으로 인식하고 있었다. 그리고 데이터방송 승부게임이 도입되기 위해서는 결제에서의 안정된 보안장치를 기반으로 매체 신뢰도가 보장 되어야 하고, 승부게임을 너무 자주하지 않게끔 시간적 제약을 고려한 방송편성, 베팅(betting)한도의 제한, 다른 데이터방송 가입자들의 셋탑박스에 접속하여 게임을 하는 경우를 차단하는 등 일련의 규제적 시스템 장치를 통해서 과도한 사행성을 억제해야 한다고 판단하고 있었다. 이에 여러 가지 부작용을 최소화하는 방안 등 정부의 법적인 규제 틀 안에서 승부게임의 단계적인 도입이 검토될 수 있다고 인식하고 있었다. 정부는 이를 고려해 장기적인 관점에서 데이터방송 정책수립을 해야 하고, 이를 통해 법적인 규제 틀 안에서 안정적으로 데이터방송 승부게임을 즐길 수 있는 방안이 마련된다면 향후 국내에서 인터랙티브 TV게임이 오락적인 기능과 함께 산업적으로는 데이터방송 등 뉴미디어 산업 활성화를 도모할 수 있을 것으로 기대된다.에서 이야기하는 사회문화적, 역사적 상황이 다른 문화에서는 같은 대상에 대한 이해가 달라질 수도 있다는 예시를 보여준 것이다. 이렇듯 "한류"의 정체성을 파악하기 위해서는 우선 각 문화의 다양성과 특수성에 대한 연구가 선행되어야 하고 현재의 우리와 다른 사람들 사이에 진행되고 있는 문화적 욕구들이 어떻게 생성되고 있는지 현장에서 연구할 필요가 있다. 덧붙여 한국의 대중문화가 이러한 욕구에 잘 부합되고 있는지, 새로운 무엇을 만들어 내고 있지는 않은지 연구할 필요성을 절실히 느낀다.해 측정하였다. 실험은 4개의 집단으로 나누어져 실시하였는데 한 집단은 지각된 위험과 희소성 메시지에 동시에 노출되도록 하였고 두 번째 집단과 세 번째 집단은 각각의 두 요인 중 하나의 요인에만 노출되도록 하였다. 그리고 나머지 한 집단은 통제집단으로 지각된 위험이나 희소성 메시지를 모두 처치하지 않은 프로그램을 시청하게 하였다. 연구결과 흥미로운 사실들이 발견되었는데 이용경험에 상관없이 모든 이용자들은 지각된 위험에 부정적인 반응을 보였으며 특히 이용경험이 풍부한 홈쇼핑이용자들인 경우 이용경험이 적은 소비자에 비해 지각된 위험에 더욱 민감하게 반응함을 알 수 있었다. 또한 희소성 메시지에 대해서는 통계적으로는 유의미하지 않았지만 이용경험이 높은 소비자가 이용경험이 적은 소비자들 보다 오히려 부정적인 반응을 보임을 알 수 있었다. 또한 지각된 위험과 희소성 메시지의 상호작용효과의 경우 이용경험이 높은 집단의 소비자가 특히 제품에 대한 태도반응에서 매우 부정적인 반응을 보임을 알 수 있었다. 이러한 사실은 이용경험이 풍부한 소비자일수록 신뢰가 생기지 않는 지각된 위험의 상황에서 희소성메시지가 제시될 때 희소성메시지의 설득적 의도를 위협적인 요소로 생각한다고 해석할 수 있다. 이상의 결과는 선행

  • PDF

영상 콘텐츠 시청 데이터를 활용한 개인 맞춤형 도서 추천 시스템 (Personalized book recommendation system using video content viewing data)

  • 임예빈;이경민;김유진;이서영;김현희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.544-545
    • /
    • 2024
  • 최근 성인 독서량은 지속적으로 감소하는데 비해 영상 콘텐츠 소비가 증가하고 있다. 이에 따라 새로운 사용자에 대한 선호도 및 행동 패턴에 대한 정보가 없고 새로운 도서에 대한 사용자 평가나 구매 정보가 부족해 콜드 스타트 문제와 데이터 희소성 문제가 발생하고 있다. 본 논문에서는 영상물 콘텐츠 기반 도서 하이브리드 추천 시스템을 제안하였다. 제안하는 추천 시스템은 영상물의 콘텐츠를 활용하여 콜드 스타트 문제와 데이터 희소성 문제를 해결할 수 있을 뿐만 아니라, 전통적인 도서 추천 시스템에 비해 성능이 향상되었고 장르, 줄거리, 평점 정보 기반 사용자 취향 정보까지 모두 반영된 질 높은 추천 결과까지 확인할 수 있었다.