Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

State-of-the-Art Knowledge Distillation for Recommender Systems in Explicit Feedback Settings: Methods and Evaluation

익스플리싯 피드백 환경에서 추천 시스템을 위한 최신 지식증류기법들에 대한 성능 및 정확도 평가

  • 배홍균 (한양대학교 컴퓨터소프트웨어학과) ;
  • 김지연 ( KT 융합기술원) ;
  • 김상욱 (한양대학교 컴퓨터소프트웨어학과)
  • Received : 2023.07.03
  • Accepted : 2023.10.11
  • Published : 2023.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

Recommender systems provide users with the most favorable items by analyzing explicit or implicit feedback of users on items. Recently, as the size of deep-learning-based models employed in recommender systems has increased, many studies have focused on reducing inference time while maintaining high recommendation accuracy. As one of them, a study on recommender systems with a knowledge distillation (KD) technique is actively conducted. By KD, a small-sized model (i.e., student) is trained through knowledge extracted from a large-sized model (i.e., teacher), and then the trained student is used as a recommendation model. Existing studies on KD for recommender systems have been mainly performed only for implicit feedback settings. Thus, in this paper, we try to investigate the performance and accuracy when applied to explicit feedback settings. To this end, we leveraged a total of five state-of-the-art KD methods and three real-world datasets for recommender systems.

추천 시스템은 사용자가 아이템에 남긴 익스플리싯 또는 임플리싯 피드백을 바탕으로 각 사용자가 선호할 법한 아이템들을 추천하는 기술이다. 최근, 추천 시스템에 사용되는 딥 러닝 기반 모델의 사이즈가 커짐에 따라, 높은 추천 정확도를 유지하며 추론 시간은 줄이기 위한 목적의 연구가 활발히 진행되고 있다. 대표적으로 지식증류기법을 이용한 추천 시스템에 관한 연구가 있으며, 지식증류기법이란 큰 사이즈의 모델(즉, 교사)로부터 추출된 지식을 통해 작은 사이즈의 모델(즉, 학생)을 학습시킨 뒤, 학습이 끝난 작은 사이즈의 모델을 추천 모델로서 이용하는 방법이다. 추천 시스템을 위한 지식증류기법들에 관한 기존의 연구들은 주로 임플리싯 피드백 환경만을 대상으로 수행되어 왔었으며, 본 논문에서 우리는 이들을 익스플리싯 피드백 환경에 적용할 경우의 성능 및 정확도를 관찰하고자 한다. 실험을 위해 우리는 총 5개의 최신 지식증류기법들과 3개의 실세계 데이터셋을 사용하였다.

Keywords

Acknowledgement

2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원(No. 2020-0 01373, 인공지능대학원지원(한양대학교))과 2018년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2018R1A5A7059549).

References

  1. 안병익, 정구임, 최혜림, "다속성 태도 모델과 협업적 필터링 기반 장소 추천 연구," 스마트미디어저널, 제5권, 제2호, 84-89쪽, 2016년 6월
  2. 이희준, 이원석, 최인혁, 이충권, "딥러닝을 이용한 시퀀스 기반의 여행경로 추천시스템-제주도 사례-," 스마트미디어저널, 제9권,제1호,45-50쪽,2020년 03월
  3. 김형숙,이종혁,이현동,"인공지능 기반 개인 맞춤형 의류 추천 서비스 개발," 스마트미디어저널, 제10권 제1호, 116-123쪽, 2021년 03월
  4. F. Ricci, L. Rokach, and B. Shapira, Recommender Systems Handbook, Springer, 2015.
  5. S. Zhang, W. Wang, J. Ford, F. Makedon, and J. Pearlman, "Using Singular Value Decomposition Approximation for Collaborative Filtering," Proc, of IEEE CEC,Jul. 2005.
  6. Y. Wu, C. DuBois, A. X. Zheng, and M. Ester, "Collaborative Denoising Auto-Encoders for Top-N Recommender Systems," Proc, of ACM WSDM, pp. 153-162, Feb. 2016.
  7. X. He, L. Liao, H. Zhang, L. Nie, and X. Hu, "Neural Collaborative Filtering," Proc, of WWW, pp. 173-182, Apr. 2017.
  8. J. Tang and K. Wang, "Ranking Distillation: Learning Compact Ranking Models with High Performance for Recommender System," Proc, of ACM SIGKDD, pp. 2289-2298, Aug. 2018.
  9. J.-W. Lee, M. Choi, J. Lee, and H. Shin, "Collaborative Distillation for Top-N Recommendation," Proc, of IEEE ICDM, pp. 369-378, Oct. 2019.
  10. S. Kang, J. Hwang, W. Kweon, and H. Yu, "DE-RRD: A Knowledge Distillation Framework for Recommender System," Proc. of ACM CIKM, pp. 605-614, Oct. 2020.
  11. W. Kweon, S. Kang, and H. Yu, ''Bidirectional Distillation for Top-K Recommender System, Proc, of WWW, pp. 3861-3871, Apr. 2021.
  12. S. Kang, J. Hwang, W. Kweon, and H. Yu, "Topology Distillation for Recommender System," Proc, of ACM SIGKDD, pp. 829-839, Aug. 2021.