DOI QR코드

DOI QR Code

GEase-K: Linear and Nonlinear Autoencoder-based Recommender System with Side Information

GEase-K: 부가 정보를 활용한 선형 및 비선형 오토인코더 기반의 추천시스템

  • Taebeom Lee (Department of AI, Big Data & Management, Kookmin University) ;
  • Seung-hak Lee (Department of AI, Big Data & Management, Kookmin University) ;
  • Min-jeong Ma (Department of AI, Big Data & Management, Kookmin University) ;
  • Yoonho Cho (Department of AI, Big Data & Management, Kookmin University)
  • 이태범 (국민대학교 AI빅데이터융합경영학과) ;
  • 이승학 (국민대학교 AI빅데이터융합경영학과) ;
  • 마민정 (국민대학교 AI빅데이터융합경영학과) ;
  • 조윤호 (국민대학교 AI빅데이터융합경영학과)
  • Received : 2023.08.16
  • Accepted : 2023.08.28
  • Published : 2023.09.30

Abstract

In the recent field of recommendation systems, various studies have been conducted to model sparse data effectively. Among these, GLocal-K(Global and Local Kernels for Recommender Systems) is a research endeavor combining global and local kernels to provide personalized recommendations by considering global data patterns and individual user characteristics. However, due to its utilization of kernel tricks, GLocal-K exhibits diminished performance on highly sparse data and struggles to offer recommendations for new users or items due to the absence of side information. In this paper, to address these limitations of GLocal-K, we propose the GEase-K (Global and EASE kernels for Recommender Systems) model, incorporating the EASE(Embarrassingly Shallow Autoencoders for Sparse Data) model and leveraging side information. Initially, we substitute EASE for the local kernel in GLocal-K to enhance recommendation performance on highly sparse data. EASE, functioning as a simple linear operational structure, is an autoencoder that performs highly on extremely sparse data through regularization and learning item similarity. Additionally, we utilize side information to alleviate the cold-start problem. We enhance the understanding of user-item similarities by employing a conditional autoencoder structure during the training process to incorporate side information. In conclusion, GEase-K demonstrates resilience in highly sparse data and cold-start situations by combining linear and nonlinear structures and utilizing side information. Experimental results show that GEase-K outperforms GLocal-K based on the RMSE and MAE metrics on the highly sparse GoodReads and ModCloth datasets. Furthermore, in cold-start experiments divided into four groups using the GoodReads and ModCloth datasets, GEase-K denotes superior performance compared to GLocal-K.

최근 추천시스템 분야에서는 희소한 데이터를 효과적으로 모델링하기 위한 다양한 연구가 진행되고 있다. GLocal-K(Global and Local Kernels for Recommender Systems)는 그중 하나의 연구로 전역 커널과 지역 커널을 결합하여 데이터의 전역적인 패턴과 개별 사용자의 특성을 모두 고려해 사용자 맞춤형 추천을 제공하는 모델이다. 하지만 GLocal-K는 커널 트릭을 사용하기 때문에 매우 희소한 데이터에서 성능이 떨어지고 부가 정보를 사용하지 않아 새로운 사용자나 아이템에 대한 추천을 제공하는 데 어려움이 있다. 본 논문에서는 이러한 GLocal-K의 단점을 극복하기 위해 EASE(Embarrassingly Shallow Autoencoders for Sparse Data) 모델과 부가 정보를 활용한 GEase-K(Global and EASE kernels for Recommender Systems) 모델을 제안한다. 우선 GLocal-K의 지역 커널 대신 EASE를 활용하여 매우 희소한 데이터에서 추천 성능을 높이고자 하였다. EASE는 단순한 선형 연산 구조로 이루어져 있지만, 규제화와 아이템 간 유사도 학습을 통해 매우 희소한 데이터에서 높은 성능을 내는 오토인코더이다. 다음으로 Cold Start 완화를 위해 부가 정보를 활용하였다. 학습 과정에서 부가 정보를 추가하기 위해 조건부 오토인코더 구조를 적용하였으며 이를 통해 사용자-아이템 간의 유사성을 더 잘 파악할 수 있도록 하였다. 결론적으로 GEase-K는 선형 구조와 비선형 구조의 결합, 부가 정보의 활용을 통해 매우 희소한 데이터와 Cold Start 상황에서 강건한 모습을 보인다. 실험 결과, GEase-K는 매우 희소한 GoodReads, ModCloth 데이터 세트에서 RMSE, MAE 평가 지표 기준 GLocal-K 보다 높은 성능을 보였다. 또한 GoodReads, ModCloth 데이터 세트를 4개의 집단으로 나누어 실험한 Cold Start 실험에서도 GLocal-K 대비 Cold Start 상황에서 좋은 성능을 보였다.

Keywords

References

  1. 박호연, 김경재. (2021). BERT 기반 감성분석을 이용한 추천시스템. 지능정보연구, 27(2), 1-15. https://doi.org/10.13088/JIIS.2021.27.2.001
  2. 송경우, 문일철. (2021). 추천시스템 최근 연구 동향 및 향후 연구 방향 소개. 정보과학회지, 39(3), 16-23.
  3. 장동수, 이청용, 김재경. (2023). 딥러닝 기반 온라인 리뷰의 언어학적 특성을 활용한 추천 시스템 성능 향상에 관한 연구. 지능정보연구, 29(1), 41-63. https://doi.org/10.13088/JIIS.2023.29.1.041
  4. 전채연. (2010). [Bad to Good, Good to Great] 사소한 다수에 실리는 힘, 롱테일 법칙. 브레인 25, 28-31.
  5. 홍태호, 홍준우, 김은미, 김민수. (2022). 영화 리뷰의 상품 속성과 고객 속성을 통합한 지능형 추천시스템. 지능정보연구, 28(2), 1-18.  https://doi.org/10.13088/JIIS.2022.28.2.001
  6. Bertin-Mahieux, T., Ellis, D. P., Whitman, B., & Lamere, P. (2011). The million song dataset [Data set]. http://millionsongdataset.com/.
  7. Broomhead, D. S., & Lowe, D. (1988). Radial basis functions, multi-variable functional interpolation and adaptive networks. Royal Signals and Radar Establishment Malvern (United Kingdom).
  8. Darban, Z., & Valipour, M. (2022). GHRS: Graph-based hybrid recommendation system with application to movie recommendation. Expert Systems with Applications, 200.
  9. Das, M., Morales, G. D. F., Gionis A., & Weber, I. (2013). Learning to question : Leveraging user preferences for shopping advice. Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining, 203-211.
  10. Han, S. C., Lim, T., Long, S., Burgstaller, B., & Poon, J. (2021, October). GLocal-K: Global and local kernels for recommender systems. Proceedings of the 30th ACM International Conference on Information & Knowledge Management, 3063-3067.
  11. Harper, F. M., & Konstan, J. A. (2015). The movielens datasets: History and context. Acm transactions on interactive intelligent systems, 5(4), 1-19.
  12. Kim, D., & Suh, B. (2019). Enhancing VAEs for collaborative filtering: flexible priors & gating mechanisms. Proceedings of the 13th ACM Conference on Recommender Systems, 403-407.
  13. Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
  14. Kingma, D. P., Mohamed, S., Jimenez Rezende, D., & Welling, M. (2014). Semi-supervised learning with deep generative models. Advances in neural information processing systems, 27.
  15. Lagrange, J. L. (1770). Reflexions sur la resolution algebrique des equations. Prussian Academy.
  16. Le, L., Patterson, A., & White, M. (2018). Supervised autoencoders: Improving generalization performance with unsupervised regularizers. Advances in neural information processing systems, 31.
  17. Lee, W., Song, K., & Moon, I. C. (2017, November). Augmented variational autoencoders for collaborative filtering with auxiliary information. Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, 1139-1148.
  18. Loshchilov, I., & Hutter, F. (2017). Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101.
  19. Misra, R., Wan, M., & McAuley, J. (2018, September). Decomposing fit semantics for product size recommendation in metric spaces. Proceedings of the 12th ACM Conference on Recommender Systems, 422-426.
  20. Ning, X., & Slim, G. K. (2011). Sparse linear methods for top-n recommender systems. Proceedings of the 2011 IEEE 11th International Conference on Data Mining, 497-506.
  21. Papers With Code (2023). https://paperswithcode.com/task/recommendation-systems.
  22. Rendle, S. (2010, December). Factorization machines. 2010 IEEE International conference on data mining, 995-1000. IEEE.
  23. Sedhain, S., Menon, A. K., Sanner, S., & Xie, L. (2015, May). AutoRec: Autoencoders meet collaborative filtering. Proceedings of the 24th international conference on World Wide Web, 111-112.
  24. Steck, H. (2019, May). Embarrassingly shallow autoencoders for sparse data. The World Wide Web Conference, 3251-3257.
  25. Vancura, V., & Kordik, P. (2021). Deep Variational Autoencoder with Shallow Parallel Path for Top-N Recommendation (VASP). Proceedings of the 30th International Conference on Artificial Neural Networks, 138-149.
  26. Wang, X., He, X., Cao, Y., Liu, M., & Chua, T. S. (2019, July). Kgat: Knowledge graph attention network for recommendation. Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining, 950-958.
  27. Wei, Y., Wang, X., Li, Q., Nie, L., Li, Y., Li, X., & Chua, T. S. (2021, October). Contrastive learning for cold-start recommendation. Proceedings of the 29th ACM International Conference on Multimedia, 5382-5390.
  28. Wu, Y., Wu, W., Xing, C., Zhou, M., & Li, Z. (2016). Sequential matching network: A new architecture for multi-turn response selection in retrieval-based chatbots. arXiv preprint arXiv:1612.01627.
  29. Zajac, Zygmunt. (2017). Goodbooks-10k: a new dataset for book recommendations [Data set]. https://github.com/zygmuntz/goodbooks-10k.
  30. Zhang, M., & Chen, Y. (2020). Inductive Matrix Completion Based on Graph Neural Networks. ICLR 2020.
  31. Zhang, S., Yao, L., Sun, A., & Tay, Y. (2019). Deep learning based recommender system: A survey and new perspectives. ACM computing surveys (CSUR), 52(1), 1-38.
  32. Zhou, Y., Zhou, K., Zhao, W., Wang, C., Jiang, P., & Hu, H. (2022). C2-CRS: Coarse-to-Fine Contrastive Learning for Conversational Recommender System. arXiv preprint arXiv:2201.02732.