DOI QR코드

DOI QR Code

The Improvement of Convergence Rate in n-Queen Problem Using Reinforcement learning

강화학습을 이용한 n-Queen 문제의 수렴속도 향상

  • 임수연 (경북대학교 컴퓨터공학과) ;
  • 손기준 (경북대학교 컴퓨터공학과) ;
  • 박성배 (경북대학교 컴퓨터공학과) ;
  • 이상조 (경북대학교 컴퓨터공학과)
  • Published : 2005.02.01

Abstract

The purpose of reinforcement learning is to maximize rewards from environment, and reinforcement learning agents learn by interacting with external environment through trial and error. Q-Learning, a representative reinforcement learning algorithm, is a type of TD-learning that exploits difference in suitability according to the change of time in learning. The method obtains the optimal policy through repeated experience of evaluation of all state-action pairs in the state space. This study chose n-Queen problem as an example, to which we apply reinforcement learning, and used Q-Learning as a problem solving algorithm. This study compared the proposed method using reinforcement learning with existing methods for solving n-Queen problem and found that the proposed method improves the convergence rate to the optimal solution by reducing the number of state transitions to reach the goal.

강화학습(Reinforcement-Learning)의 목적은 환경으로부터 주어지는 보상(reward)을 최대화하는 것이며, 강화학습 에이전트는 외부에 존재하는 환경과 시행착오를 통하여 상호작용하면서 학습한다 대표적인 강화학습 알고리즘인 Q-Learning은 시간 변화에 따른 적합도의 차이를 학습에 이용하는 TD-Learning의 한 종류로서 상태공간의 모든 상태-행동 쌍에 대한 평가 값을 반복 경험하여 최적의 전략을 얻는 방법이다. 본 논문에서는 강화학습을 적용하기 위한 예를 n-Queen 문제로 정하고, 문제풀이 알고리즘으로 Q-Learning을 사용하였다. n-Queen 문제를 해결하는 기존의 방법들과 제안한 방법을 비교 실험한 격과, 강화학습을 이용한 방법이 목표에 도달하기 위한 상태전이의 수를 줄여줌으로써 최적 해에 수련하는 속도가 더욱 빠름을 알 수 있었다.

Keywords

References

  1. 장병탁, 이종우, 서영우, '학습 에이전트,' 한국정보과학회지, Vol. 18, No.5, pp. 26-35, 2003
  2. 이영아, 홍석미, 정태충, '함수근사와 규칙추출을 위한 클러스터링을 이용한 강화학습,' 정보과학회 논문지(B), Vol. 30, No. 11, pp. 1054-1061, 2003
  3. R. E. Neapolitan and K. Naimipour, Foundations of Algorithms, 2nd Ed, Jones and Bartlett Publisher, 1998
  4. 박찬건, 양성봉, '강화 학습에서의 탐색과 이용의 균형을 통한 범용적 온라인 Q-학습이 적용된 에이전트의 구현,' 정보과학회 논문지(B), Vol. 30, No.7, pp. 672-680, 2003
  5. 이승준, 장병탁, '탐색 강화 계층적 강화학습,' 정보과학회 제 28회 추계학술대회, Vol. 28, No.2, pp. 151 -153, 2001
  6. C. J. Watkins and P. Dayan, 'Technical note: Q-Learning,' Machine Learning, 8, pp 279-292, 1992
  7. S. Haykin, Neural Network, 2nd Ed, Prentice-Hall, 1999
  8. T. M. Mitchell, Machine Learning, McGraw-Hill, 1997
  9. R. S. Sutton and A. G. Barto, Reinforcement Learning : An Introduction. The MIT Press, 1998
  10. A. Mccallum, K. Nigam, J. Rennie and K. Seymore, 'Building domain-specific search engines with machine learning techniques,' In AAAI-99 Spring Symposium on Intelligent Agents in Cyberspace, pp. 135-141, 1999
  11. B. T. Zang and Y. W. Seo, 'Personalized Web-Document Filtering Using Reinforcement Learning,' Applied Artificial Intelligence, vol. 15, pp. 665-685, 2001 https://doi.org/10.1080/088395101750363993
  12. J. Rennie and A. McCallum, 'Using Reinforcement Learning to Spider the Web Efficiently,' In proceedings of the 16th International Conference on Machine Learning (ICML-99), pp. 335-343, 1999

Cited by

  1. An Analysis Techniques for Coatings Mixing using the R Data Analysis Framework vol.18, pp.6, 2015, https://doi.org/10.9717/kmms.2015.18.6.734