Overfitting Reduction of Intelligence Web Search based on Enforcement Learning

강화학습에 기초한 지능형 웹 검색의 과잉적합 감소방안

  • 한송이 (을지대학교 의료전산학전공) ;
  • 정용규 (을지대학교 의료전산학전공)
  • Received : 2009.05.25
  • Published : 2009.06.30

Abstract

Recent days intellectual systems using reinforcement learning are being researched at various fields of game and web searching applications. A good training models are called to be fitted with trainning data and also classified with new records accurately. A overfitted model with training data may possibly bring the unfavored fallacy of hasty generalization. But it would be unavoidable in actual world. The entropy and mutation model are suggested to reduce the overfitting problems on this paper. It explains variation of entropy and artificial development of entropy in datamining, which can tell development of mutation to survive in nature world. Periodical generation of maximum entropy are introduced in this paper to reduce overfitting. Maximum entropy model can be considered as a periodical generalization in intensified process of intellectual web searching.

강화학습을 통한 지능형시스템은 게임, 웹 검색 등 많은 분야에서 연구되고 있다. 좋은 훈련 모델은 훈련데이터에도 적합해야 하며 이전에 접해 보지 못한 레코드들도 정확하게 분류되어야 한다. 훈련 데이터에 잘 맞는 모델은 과인적합 되어서 좋지 못한 일반화의 오류를 가질 수 있다. 어떤 분야에서도 이런 과잉적합은 피할 수 없는 문제이며 과잉적합을 방지하는 연구는 필요하다. 본 논문에서는 과잉적합을 감소시키기 위한 방법으로 자연계의 모델인 엔트로피와 돌연변이를 웹 검색에 적용하여 제시한다. 학습과정은 엔트로피의 변화량으로 설명될 수 있고, 자연계의 적자로 생존할 수 있는 돌연변이 현상은 데이터마이닝에서 엔트로피의 인위적 발생으로 설명될 수 있다. 즉, 최대 엔트로피를 주기적으로 발생시키는 방안을 본 논문에서 제시한다. 훈련데이터의 최대 엔트로피 모델은 지능형 웹 검색의 주기적 일반화 강화과정이라고 볼 수 있다.

Keywords

References

  1. 김정인, 엔트로피를 이용한 다개체 로봇 시스템의 자율 그룹핑 방법에 관한 연구, 건국대학교 석사 논문, 2007.
  2. 차종환, 연속 상태 및 행위 공간에 대한 영역 Q-학습기법 연구, 석사학위논문, 2001.
  3. 김상헌, 정재영, 윤학수, 박민욱, 김과형 "강화학습을 사용한 실시간 이동 물체 추적에 관한 연구" 한국퍼지 및 지능 시스템학회 추계학술대회 학술발표논문집, 2003
  4. 권기덕, 효율적인 멀티 에이전트 강화학습을 위한 나이브베이지안 기반 상대 정책 모델, 박사학위논문,2008
  5. 이승준, 장병탁 "강화학습을 사용한 개인화된 웹 검색" 한국퍼지 및 지능시스템학회 학술발표논문집, 2001.
  6. 정태진, 강화학습을 이용한 웹 정보 검색, 서울대학교 석사 논문, 2002
  7. Ron Kohavi, Dan Sommerfideld ''Feature Subset Selection using Wrapper Method: Overfitting and Dynamic Search Space Topology, AAAI, 1995
  8. Ian H. Witten, Frank Eibe, "Data Mining: Practical Machine Learning Tools and Techniques", Morgan Kaufmann, 2000
  9. C. E. Shannon, "A Mathematical Theory of Communications," Bell System Technical Journal, 1948, pp.623-656
  10. 장정호, 장병탁, 김영택, "최대 엔트로피 기반 문서 분류기 학습" 한국정보과학회 학술 발표논문집, 1999
  11. Pang-Ning Tan, Michael Steinbach, Vipin Kumar, "Introduction to Datamining", Addison-Wesley, 2005
  12. 박성배, 장병탁 "최대 엔트로피 모델을 이용한 텍스트 단위화 학습" 한글 및 한국어정보처리학술대회, 2001