DOI QR코드

DOI QR Code

Behavior Learning and Evolution of Swarm Robot System using Q-learning and Cascade SVM

Q-learning과 Cascade SVM을 이용한 군집로봇의 행동학습 및 진화

  • 서상욱 (중앙대학교 전자전기공학부) ;
  • 양현창 (중앙대학교 전자전기공학부) ;
  • 심귀보 (중앙대학교 전자전기공학부)
  • Published : 2009.04.25

Abstract

In swarm robot systems, each robot must behaves by itself according to the its states and environments, and if necessary, must cooperates with other robots in order to carry out a given task. Therefore it is essential that each robot has both learning and evolution ability to adapt the dynamic environments. In this paper, reinforcement learning method using many SVM based on structural risk minimization and distributed genetic algorithms is proposed for behavior learning and evolution of collective autonomous mobile robots. By distributed genetic algorithm exchanging the chromosome acquired under different environments by communication each robot can improve its behavior ability. Specially, in order to improve the performance of evolution, selective crossover using the characteristic of reinforcement learning that basis of Cascade SVM is adopted in this paper.

군집 로봇시스템에서 개개의 로봇은 스스로 주위의 환경과 자신의 상태를 스스로 판단하여 행동하고, 필요에 따라서는 다른 로봇과 협조를 통하여 어떤 주어진 일을 수행할 수 있어야 한다. 따라서 개개의 로봇은 동적으로 변화하는 환경에 잘 적응할 수 있는 학습과 진화능력을 갖는 것이 필수적이다. 본 논문에서는 SVM을 여러 개 이용한 강화학습과 분산유전알고리즘을 이용한 새로운 자율이동로봇의 행동학습 및 진화학습을 제안한다. 또한 개개의 로봇이 통신을 통하여 염색체를 교환하는 분산유전알고리즘은 각기 다른 환경에서 학습한 우수한 염색체로부터 자신의 능력을 향상시킨다. 특히 본 논문에서는 진화의 성능을 향상시키기 위하여 Cascade SVM을 기반으로 한 강화학습의 특성을 이용한 선택 교배방법을 채택하였다.

Keywords

References

  1. 서상욱, 양현창, 심귀보, 'Q-learning과 Cascade SVM을 이용한 군집로봇의 행동학습 및 진화,' 2008년도 한국지능시스템학회 추계학술대회 학술발표논문집, 18권, 제2호, pp. 257-260, 2008. 10. 31 - 11. 1
  2. 심귀보, 이동욱, '군집 로봇의 군 행동을 위한 통신모델과 이론적인 해석,' 퍼지 및 지능시스템학회 논문지, vol 16, no 1, pp. 8-17, 2006
  3. M.J, Mataric, 'Behavior-based control: Examples from navigation, learning, and group behavior,' Journal of Experimental and Theoretical Artificial intelligence, vol. 9, no. 2, pp. 323-336, 1997 https://doi.org/10.1080/095281397147149
  4. 이동욱, 심귀보, '인공면역계 기반의 자율이동로봇군의 협조행동전략 결정,' 대한전자공학회 논문지, 제35권 S편 제3호, pp. 102-109, 1998. 3
  5. Adam T. Hayes, Alcherio Martinoli and Rodney M. Goodman, 'Swarm robotic odor localization: Off-line optimization and validation with real robots,' Robotica, vol. 21, pp. 427-441, 2003 https://doi.org/10.1017/S0263574703004946
  6. 이호근, 김명훈, 이지근, 정성태, 'SVM-SMO와 Pan-Tilt 웹카메라를 이용한 실시간 얼굴 추적과 얼굴 인식,' 한국정보과학회, vol. 31, no 2, pp. 679-681, 2004
  7. H.B. Jun, K.B. Sim, 'Emergence of Cooperative Behavior based on Learning and Evolution in Collective Autonomous Mobile Robots,' Journal of Electrical Engineering and Information Science, vol. 3, 1998
  8. Hans Peter Graf, Eric Cosatto, Leon Bottou, Igor Durdanovid, Vladimir Vapnik, 'Parallel Support Vector Machines:The Cascade SVM,' Springer, 2004
  9. Jing Yang, 'An Improved Cascade SVM Training Algorithm with Crossed Feedbacks,' Proceedings of the First International Multi-Symposiums on Computer and Computational Sciences, 2006