Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지
DOI QR코드

DOI QR Code

Robot Control via RPO-based Reinforcement Learning Algorithm

RPO 기반 강화학습 알고리즘을 이용한 로봇제어

  • 김종호 (고려대학교 제어계측공학과) ;
  • 강대성 (고려대학교 제어계측공학과) ;
  • 박주영 (고려대학교 제어계측공학과)
  • Published : 2005.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

The RPO(randomized policy optimizer) algorithm, which utilizes probabilistic policy for the action selection, is a recently developed tool in the area of reinforcement learning, and has been shown to be very successful in several application problems. In this paper, we propose a modified RPO algorithm, whose critic network is adapted via RLS(Recursive Least Square) algorithm. In order to illustrate the applicability of the modified RPO method, we applied the modified algorithm to Kimura's robot and observed very good performance. We also developed a MATLAB-based animation program, by which the effectiveness of the training algorithms on the acceleration or the robot movement were observed.

제어 입력 선택 문제에 있어서 확률적 전략을 활용하는 RPO(randomized policy optimizer) 기법은 최근에 개발된 강화학습 기법으로써, 많은 적용 사례를 통해서 그 가능성이 입증되고 있다 본 논문에서는, 수정된 RPO 알고리즘을 제안하는데, 이 수정된 알고리즘의 크리틱 네트워크 부분은 RLS(recursive least square) 기법을 통하여 갱신된다. 수정된 RPO 기법의 효율성을 확인하기 위해 Kimura에 의해서 연구된 로봇에 적용하여 매우 우수한 성능을 관찰하였다. 또한, 매트랩 애니메이션 프로그램의 개발을 통해서, 로봇의 이동이 시간에 따라 가속되는 학습 알고리즘의 효과를 시각적으로 확인 할 수 있었다.

Keywords

References

  1. P. Wawrzynski and A. Pacut, 'A simple actorcritic algorithm for continuous environments,' Proceedings of the 10th IEEE Int. Conf. on Methods and Models in Automation and Robotics, pp. 1143-1149, 2004
  2. P. Wawrzynski and A. Pacut, 'Model-free off-policy reinforcement learning in continuous environment,' Proceedings of the International Joint Conference on Neural Networks, pp. 1091-1096, 2004
  3. X. Xu, H. He and D. Hu, 'Efficient Reinforcement Learning Using Recursive Least-Square Methods,' Journal of Artificial Intelligence Research, vol 16, pp. 259-292, 2002
  4. H. Kimura, K. Miyazaki, and S. Kobayashi, 'Reinforcement learning in POMDPs with function approximation,' In Proceedings of the 14th International Conference on Machine Learning (ICML '97), pp. 152-160, 1997
  5. R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998
  6. H. Kimura and S. Kobayashi, 'An Analysis of Actor/Critic Algorithms using Eligibility Traces: Reinforcement Learning with Imperfect Value Function,' Proceedings of the 15th International Conference on Machine Learning, pp. 278--286, 1998
  7. V. R. Konda and J. N. Tsitsiklis, 'Actor-Critic Algorithms,' SIAM Journal on Control and Optimization, vol. 42, pp. 1143-1166, 2003 https://doi.org/10.1137/S0363012901385691
  8. 박주영, 김종호, 신호근, 'SGA 기반 강화학습 알고 리즘을 이용한 로봇 제어' 한국 퍼지 및 지능시스 템 학회 2004년도 추계학술 대회 논문집, 14권 2호, pp. 63-66, 2004년 10월