연속적인 Q-학습을 이용한 자율이동로봇의 회피행동 구현

Avoidance Behavior of Autonomous Mobile Robots using the Successive Q-learning

Q-학습은 최근에 연구되는 강화학습으로서 환경에 대한 정의가 필요 없어 자율이동로봇의 행동학습에 적합한 방법이다. 그러나 다개체 시스템의 학습처럼 환경이 복잡해짐에 따라 개체의 입출력 변수는 늘어나게 되고 Q함수의 계산량은 기하급수적으로 증가하게 된다. 따라서 이러한 문제를 해결하기 위해 다개체 시스템의 Q-학습에 적합한 연속적인 Q-학습 알고리즘을 제안하였다. 연속적인 Q-학습 알고리즘은 개체가 가질 수 있는 모든 상태-행동 쌍을 하나의 Q함수에 표현하는 방법으로서 계산량 및 복잡성을 줄임으로써 동적으로 변하는 환경에 능동적으로 대처하도록 하였다. 제안한 연속적인 Q-학습 알고리즘을 벽으로 막힌 공간에서 두 포식자와 한 먹이로 구성되는 먹이-포식자 문제에 적용하여 먹이개체의 효율적인 회피능력을 검증하였다.