DOI QR코드

DOI QR Code

강화학습을 이용한 n-Queen 문제의 수렴속도 향상

The Improvement of Convergence Rate in n-Queen Problem Using Reinforcement learning

  • 임수연 (경북대학교 컴퓨터공학과) ;
  • 손기준 (경북대학교 컴퓨터공학과) ;
  • 박성배 (경북대학교 컴퓨터공학과) ;
  • 이상조 (경북대학교 컴퓨터공학과)
  • 발행 : 2005.02.01

초록

강화학습(Reinforcement-Learning)의 목적은 환경으로부터 주어지는 보상(reward)을 최대화하는 것이며, 강화학습 에이전트는 외부에 존재하는 환경과 시행착오를 통하여 상호작용하면서 학습한다 대표적인 강화학습 알고리즘인 Q-Learning은 시간 변화에 따른 적합도의 차이를 학습에 이용하는 TD-Learning의 한 종류로서 상태공간의 모든 상태-행동 쌍에 대한 평가 값을 반복 경험하여 최적의 전략을 얻는 방법이다. 본 논문에서는 강화학습을 적용하기 위한 예를 n-Queen 문제로 정하고, 문제풀이 알고리즘으로 Q-Learning을 사용하였다. n-Queen 문제를 해결하는 기존의 방법들과 제안한 방법을 비교 실험한 격과, 강화학습을 이용한 방법이 목표에 도달하기 위한 상태전이의 수를 줄여줌으로써 최적 해에 수련하는 속도가 더욱 빠름을 알 수 있었다.

The purpose of reinforcement learning is to maximize rewards from environment, and reinforcement learning agents learn by interacting with external environment through trial and error. Q-Learning, a representative reinforcement learning algorithm, is a type of TD-learning that exploits difference in suitability according to the change of time in learning. The method obtains the optimal policy through repeated experience of evaluation of all state-action pairs in the state space. This study chose n-Queen problem as an example, to which we apply reinforcement learning, and used Q-Learning as a problem solving algorithm. This study compared the proposed method using reinforcement learning with existing methods for solving n-Queen problem and found that the proposed method improves the convergence rate to the optimal solution by reducing the number of state transitions to reach the goal.

키워드

참고문헌

  1. 장병탁, 이종우, 서영우, '학습 에이전트,' 한국정보과학회지, Vol. 18, No.5, pp. 26-35, 2003
  2. 이영아, 홍석미, 정태충, '함수근사와 규칙추출을 위한 클러스터링을 이용한 강화학습,' 정보과학회 논문지(B), Vol. 30, No. 11, pp. 1054-1061, 2003
  3. R. E. Neapolitan and K. Naimipour, Foundations of Algorithms, 2nd Ed, Jones and Bartlett Publisher, 1998
  4. 박찬건, 양성봉, '강화 학습에서의 탐색과 이용의 균형을 통한 범용적 온라인 Q-학습이 적용된 에이전트의 구현,' 정보과학회 논문지(B), Vol. 30, No.7, pp. 672-680, 2003
  5. 이승준, 장병탁, '탐색 강화 계층적 강화학습,' 정보과학회 제 28회 추계학술대회, Vol. 28, No.2, pp. 151 -153, 2001
  6. C. J. Watkins and P. Dayan, 'Technical note: Q-Learning,' Machine Learning, 8, pp 279-292, 1992
  7. S. Haykin, Neural Network, 2nd Ed, Prentice-Hall, 1999
  8. T. M. Mitchell, Machine Learning, McGraw-Hill, 1997
  9. R. S. Sutton and A. G. Barto, Reinforcement Learning : An Introduction. The MIT Press, 1998
  10. A. Mccallum, K. Nigam, J. Rennie and K. Seymore, 'Building domain-specific search engines with machine learning techniques,' In AAAI-99 Spring Symposium on Intelligent Agents in Cyberspace, pp. 135-141, 1999
  11. B. T. Zang and Y. W. Seo, 'Personalized Web-Document Filtering Using Reinforcement Learning,' Applied Artificial Intelligence, vol. 15, pp. 665-685, 2001 https://doi.org/10.1080/088395101750363993
  12. J. Rennie and A. McCallum, 'Using Reinforcement Learning to Spider the Web Efficiently,' In proceedings of the 16th International Conference on Machine Learning (ICML-99), pp. 335-343, 1999

피인용 문헌

  1. An Analysis Techniques for Coatings Mixing using the R Data Analysis Framework vol.18, pp.6, 2015, https://doi.org/10.9717/kmms.2015.18.6.734