DOI QR코드

DOI QR Code

Learning for User Profile Based on Negative Feedback and Reinforcement Learning

부정적 피드백과 강화학습을 이용한 사용자 프로파일 학습

  • 손기준 (경북대학교 컴퓨터공학과) ;
  • 임수연 (경북대학교 컴퓨터공학과) ;
  • 이상조 (경북대학교 컴퓨터공학과)
  • Published : 2007.12.25

Abstract

The information recommendation system offers selected documents according to information needs of dynamic users. User's needs are expressed as profiles consisting of one or more words and may be changed into some specifics through relevance feedback made by users during the recommendation process. In previous research, users have entered relevance information by taking part in explicit relevance feedbacks and learned user profiles using the positive relevance feedbacks. In this paper, we learn user profiles using not only positive relevance feedback but negative relevance feedback and reinforcement learning. To compare the proposed with previous method, we performed experiments to evaluate recommendation performance of the same topic. As a result, the former shows the improved performance than the latter does.

정보추천은 동적인 사용자의 정보요구를 기준으로 문서들을 선별하여 제시한다. 사용자의 정보요구는 하나 이상의 단어들로 구성된 프로파일로 표현이 되며, 문서의 추천 과정 동안에 발생하는 사용자의 관련성 평가를 통해 구체적인 내용으로 변할 수 있다. 기존 연구의 경우 사용자는 자신이 직접 관련성 평가에 참여하여 평가 정보를 입력하고, 사용자가 평가한 긍정적 피드백 정보를 이용하여 사용자 프로파일을 학습한다. 본 연구는 사용자가 평가한 긍정적 피드백, 부정적 피드백 정보와 강화학습을 이용한 사용자 프로파일의 학습 방법을 제안한다. 제안된 방법과 기존의 긍정적 평가 정보만을 이용한 방법의 성능을 측정하기 위해 동일한 토픽에 대한 추천 성능을 비교 실험하였다. 실험한 결과 제안된 방식에 의한 추천성능이 긍정적 평가 정보만을 이용한 피드백 방법보다 나은 성능을 보였다.

Keywords

References

  1. Seo, Y, Zang, B., 'Personalized Web Document Filtering Using Reinforcement Learning,' Applied Artificial Intelligence, Vol. 15(7), pp. 665-685, 2001 https://doi.org/10.1080/088395101750363993
  2. Tak W. Yan, Hector Garcia-Molina, 'SIFT-A Tool for Wide-Area Information Dissemination,' Proceeding of the 1995 USENEX Techical Conference, pp. 177-186, 1995
  3. M. Balabanovic, Y. Shoham, 'Learning Information Retrieval Agent: Experiments with Automated Web Browsing,' In Proceeding of the AAAI Spring Symposium on Information Gathering, Stanford, CA, March 1995
  4. Shardanand. U., and Maes 'Social Information Filtering: Algorithmic for Automating Word of Mouth,' In Conference on Human Factors In Computing System(CHI'95), pp. 210-217, 1995
  5. M. Pazzani, J. Muramatsu, D. Billsus 'Syskill & Webert: Identifying interesting web sites,' National Conference on Artificial Intelligence, vol. 1, pp. 54-61, 1996
  6. R. S. Sutton, A. G. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998
  7. L. P. Kaelbling, M. L. L. Littman and A. W. Moore, 'Reinforcement Learning: A Survey,' Journal of AI Research, vol. 4, pp. 237-285, 1996
  8. G. Salton, M. J. McGill, Introduction to modern information retrieval, McGraw Hill, 1983
  9. 강승식, 'HAM v.470c: 한국어 형태소 분석기와 한국어 분석 모듈,' http://nlp.kookmin.ac.kr/ham/ham.html
  10. T. M. Mitchell, Machine Learning, McGraw Hill, 1997