• 제목/요약/키워드: Sparsity Problem

검색결과 133건 처리시간 0.032초

추천시스템의 희소성이 예측 정확도에 미치는 영향에 관한 연구 (The Effect of Data Sparsity on Prediction Accuracy in Recommender System)

  • 김선옥;이석준
    • 인터넷정보학회논문지
    • /
    • 제8권6호
    • /
    • pp.95-102
    • /
    • 2007
  • 협력적 필터링을 이용한 추천시스템은 희소성의 문제로 인해 예측의 정확도에 대한 신뢰성에 문제가 있다. 이는 선호도 평가치의 희소성이 크면 이웃선정과정에 문제가 있을 뿐만 아니라 예측의 정확도를 떨어뜨린다. 본 논문에서는 사용자의 응답 희소성에 따른 MAE의 변화를 조사하였으며 희소성에 따라 집단을 분류하고 분류된 집단에 따른 MAE는 유의적인 차이가 있는 지를 분석하였다. 그리고 희소성 문제로 인한 집단 간의 예측 정확도를 높이기 위한 방법으로 희소성이 있는 아이템을 선별하여 이들 중에서 선호도 응답이 많은 사용자 고객의 선호도 평균값을 선호도 평가 치로 대치시켜 희소성을 완화하여 추천시스템의 예측 정확도가 높아졌음을 연구하였다.

  • PDF

내부점 선형계획법의 쌍대문제 전환에 대하여 (On dual transformation in the interior point method of linear programming)

  • 설동렬;박순달;정호원
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1996년도 추계학술대회발표논문집; 고려대학교, 서울; 26 Oct. 1996
    • /
    • pp.289-292
    • /
    • 1996
  • In Cholesky factorization of the interior point method, dense columns of A matrix make dense Cholesky factor L regardless of sparsity of A matrix. We introduce a method to transform a primal problem to a dual problem in order to preserve the sparsity.

  • PDF

A Simple and Effective Combination of User-Based and Item-Based Recommendation Methods

  • Oh, Se-Chang;Choi, Min
    • Journal of Information Processing Systems
    • /
    • 제15권1호
    • /
    • pp.127-136
    • /
    • 2019
  • User-based and item-based approaches have been developed as the solutions of the movie recommendation problem. However, the user-based approach is faced with the problem of sparsity, and the item-based approach is faced with the problem of not reflecting users' preferences. In order to solve these problems, there is a research on the combination of the two methods using the concept of similarity. In reality, it is not free from the problem of sparsity, since it has a lot of parameters to be calculated. In this study, we propose a combining method that simplifies the combination equation of prior study. This method is relatively free from the problem of sparsity, since it has less parameters to be calculated. Thus, it can get more accurate results by reflecting the users rating to calculate the parameters. It is very fast to predict new movie ratings as well. In experiments for the proposed method, the initial error is large, but the performance gets quickly stabilized after. In addition, it showed about 6% lower average error rate than the existing method using similarity.

Chaotic Features for Dynamic Textures Recognition with Group Sparsity Representation

  • Luo, Xinbin;Fu, Shan;Wang, Yong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권11호
    • /
    • pp.4556-4572
    • /
    • 2015
  • Dynamic texture (DT) recognition is a challenging problem in numerous applications. In this study, we propose a new algorithm for DT recognition based on group sparsity structure in conjunction with chaotic feature vector. Bag-of-words model is used to represent each video as a histogram of the chaotic feature vector, which is proposed to capture self-similarity property of the pixel intensity series. The recognition problem is then cast to a group sparsity model, which can be efficiently optimized through alternating direction method of multiplier algorithm. Experimental results show that the proposed method exhibited the best performance among several well-known DT modeling techniques.

Power Failure Sensitivity Analysis via Grouped L1/2 Sparsity Constrained Logistic Regression

  • Li, Baoshu;Zhou, Xin;Dong, Ping
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권8호
    • /
    • pp.3086-3101
    • /
    • 2021
  • To supply precise marketing and differentiated service for the electric power service department, it is very important to predict the customers with high sensitivity of electric power failure. To solve this problem, we propose a novel grouped 𝑙1/2 sparsity constrained logistic regression method for sensitivity assessment of electric power failure. Different from the 𝑙1 norm and k-support norm, the proposed grouped 𝑙1/2 sparsity constrained logistic regression method simultaneously imposes the inter-class information and tighter approximation to the nonconvex 𝑙0 sparsity to exploit multiple correlated attributions for prediction. Firstly, the attributes or factors for predicting the customer sensitivity of power failure are selected from customer sheets, such as customer information, electric consuming information, electrical bill, 95598 work sheet, power failure events, etc. Secondly, all these samples with attributes are clustered into several categories, and samples in the same category are assumed to be sharing similar properties. Then, 𝑙1/2 norm constrained logistic regression model is built to predict the customer's sensitivity of power failure. Alternating direction of multipliers (ADMM) algorithm is finally employed to solve the problem by splitting it into several sub-problems effectively. Experimental results on power electrical dataset with about one million customer data from a province validate that the proposed method has a good prediction accuracy.

항목 간 선호도 차이를 이용한 영화 추천 방법 (A Movie Recommendation Method Using Rating Difference Between Items)

  • 오세창;최민
    • 한국정보통신학회논문지
    • /
    • 제17권11호
    • /
    • pp.2602-2608
    • /
    • 2013
  • 영화 추천 문제에 대한 해법으로 사용자 기반 추천 방법과 항목 기반 추천 방법이 연구되어왔다. 그러나 이들은 각각 희박성의 문제와 사용자의 선호도를 반영하지 못한다는 문제를 안고 있다. 이러한 문제들을 해결하기 위해서 유사도의 개념을 이용해 두 가지 방법을 조합하는 연구가 있으나 계산해야 할 파라메타 수가 많아 현실적으로 희박성의 문제에서 자유롭지 못하다. 본 연구에서는 이러한 문제를 보완하기 위하여 항목 간 선호도 차이를 이용한 추천 방법을 제안한다. 이 방법은 계산해야 할 파라메타 수가 적어 희박성의 문제에서 비교적 자유롭다. 또한 파라메타 계산에 사용자들이 평가한 선호도를 반영함으로써 보다 정확한 결과를 얻을 수 있다. 실험 결과 제안된 방법은 초기에는 오류가 크지만 빠르게 성능이 안정화되는 것을 보여준다. 또한 유사도를 이용한 기존의 추천 방법과 비교하여 평균 오류를 0.0538 낮추는 결과를 보였다.

협업필터링의 신규고객추천 및 희박성 문제 해결을 위한 중심성분석의 활용 (Applying Centrality Analysis to Solve the Cold-Start and Sparsity Problems in Collaborative Filtering)

  • 조윤호;방정혜
    • 지능정보연구
    • /
    • 제17권3호
    • /
    • pp.99-114
    • /
    • 2011
  • 본 연구에서는 협업필터링의 두 가지 근본적인 문제인 신규고객 추천(cold-start recommendation)과 희박성(sparsity) 문제를 해결하고자 한다. 먼저, 사회 네트워크 분석에서 가장 많이 활용 되고 있는 세 가지 중심성 지표인 연결중심성(degree centrality), 근접중심성(closeness centrality), 매개중심성(betweenness centrality)을 결합한 다양한 중심성 지표들을 만든 후 이를 기반으로 신규고객의 잠재 이웃고객을 찾고 그 이웃고객들의 구매정보를 이용하여 신규고객에게 상품을 추천하는 새로운 방법을 제시한다. 다음으로 희박성 문제를 해결하기 위하여, 구매정보가 충분한 고객에게는 협업필터링을, 그렇지 않은 고객에게는 협업필터링 대신 제시한 신규고객 추천방법을 적용하는 하이브리드 추천 방법을 제안한다. 제시한 추천 방법의 효과성을 평가하기 위하여 국내 유명 백화점 중의 하나인 H백화점의 구매 트랜잭션 데이터를 사용하여 실험하였다. 실험결과로부터 근접중심성과 매개중심성을 결합한 지표를 신규고객 추천 시에 사용할 경우 추천 성능이 가장 우수한 것으로 판명되었으며, 제안한 하이브리드 추천 방법이 기존의 협업필터링의 성능을 상당히 개선함으로써 희박성 문제를 해결할 수 있는 새로운 대안임이 입증되었다.

잠재적 속성 선호도를 이용한 협업 필터링의 데이터 희소성 문제 개선 방법 (Method to Improve Data Sparsity Problem of Collaborative Filtering Using Latent Attribute Preference)

  • 권형준;홍광석
    • 인터넷정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.59-67
    • /
    • 2013
  • 본 논문에서는 협업 필터링의 선호도 예측 정확성의 저하를 초래하는 전통적 문제점 중 하나인 데이터 희소성 문제에 강인한 잠재적 속성 선호도 기반 협업 필터링 방법(Latent Attribute Rating-based Collaborative Filtering, LAR_CF)을 제안한다. 기존의 협업 필터링은 객체의 유사성을 판단하기 위한 특징벡터로써 사용자가 명시적으로 평가한 선호도만을 이용하며, 해당 문제 개선을 위해 속성을 사용하는 연구들은 범용적으로 사용하기 어려웠다. 이웃 기반 필터링에 근본을 두는 LAR_CF는 기존의 명시적 선호도와 함께 유사도 평가의 대상이 되는 두 객체의 고유한 속성을 특징벡터로 삼기 때문에 명시적 선호도의 수가 적어서 발생하는 데이터 희소성 문제를 개선하여 선호도 예측 정확도를 향상시키며, 속성의 종류에 구애받지 않고 손쉽게 적용할 수 있는 장점을 가진다. LAR_CF의 유효성 평가를 위해서 MovieLens 100k 데이터세트 및 해당 데이터세트에 사용된 속성정보를 활용하여 일반적 성능 실험과 인공적 데이터 희소성 실험에서 선호도 예측 정확도를 평가한 결과, 제안하는 방법이 데이터 희소 조건에서 선호도 예측 정확도를 향상시킬 수 있음을 확인하였다.

Sparsity Adaptive Expectation Maximization Algorithm for Estimating Channels in MIMO Cooperation systems

  • Zhang, Aihua;Yang, Shouyi;Li, Jianjun;Li, Chunlei;Liu, Zhoufeng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권8호
    • /
    • pp.3498-3511
    • /
    • 2016
  • We investigate the channel state information (CSI) in multi-input multi-output (MIMO) cooperative networks that employ the amplify-and-forward transmission scheme. Least squares and expectation conditional maximization have been proposed in the system. However, neither of these two approaches takes advantage of channel sparsity, and they cause estimation performance loss. Unlike linear channel estimation methods, several compressed channel estimation methods are proposed in this study to exploit the sparsity of the MIMO cooperative channels based on the theory of compressed sensing. First, the channel estimation problem is formulated as a compressed sensing problem by using sparse decomposition theory. Second, the lower bound is derived for the estimation, and the MIMO relay channel is reconstructed via compressive sampling matching pursuit algorithms. Finally, based on this model, we propose a novel algorithm so called sparsity adaptive expectation maximization (SAEM) by using Kalman filter and expectation maximization algorithm so that it can exploit channel sparsity alternatively and also track the true support set of time-varying channel. Kalman filter is used to provide soft information of transmitted signals to the EM-based algorithm. Various numerical simulation results indicate that the proposed sparse channel estimation technique outperforms the previous estimation schemes.

Multiview-based Spectral Weighted and Low-Rank for Row-sparsity Hyperspectral Unmixing

  • Zhang, Shuaiyang;Hua, Wenshen;Liu, Jie;Li, Gang;Wang, Qianghui
    • Current Optics and Photonics
    • /
    • 제5권4호
    • /
    • pp.431-443
    • /
    • 2021
  • Sparse unmixing has been proven to be an effective method for hyperspectral unmixing. Hyperspectral images contain rich spectral and spatial information. The means to make full use of spectral information, spatial information, and enhanced sparsity constraints are the main research directions to improve the accuracy of sparse unmixing. However, many algorithms only focus on one or two of these factors, because it is difficult to construct an unmixing model that considers all three factors. To address this issue, a novel algorithm called multiview-based spectral weighted and low-rank row-sparsity unmixing is proposed. A multiview data set is generated through spectral partitioning, and then spectral weighting is imposed on it to exploit the abundant spectral information. The row-sparsity approach, which controls the sparsity by the l2,0 norm, outperforms the single-sparsity approach in many scenarios. Many algorithms use convex relaxation methods to solve the l2,0 norm to avoid the NP-hard problem, but this will reduce sparsity and unmixing accuracy. In this paper, a row-hard-threshold function is introduced to solve the l2,0 norm directly, which guarantees the sparsity of the results. The high spatial correlation of hyperspectral images is associated with low column rank; therefore, the low-rank constraint is adopted to utilize spatial information. Experiments with simulated and real data prove that the proposed algorithm can obtain better unmixing results.