Abstract
In this paper, we present the area-based Q-learning to search a target object using multiple robot. To search the target in Markovian space, the robots should recognize their surrounding at where they are located and generate some rules to act upon by themselves. Under area-based Q-learning, a robot, first of all, obtains 6-distances from itself to environment by infrared sensor which are hexagonally allocated around itself. Second, it calculates 6-areas with those distances then take an action, i.e., turn and move toward where the widest space will be guaranteed. After the action is taken, the value of Q will be updated by relative formula at the state. We set up an experimental environment with five small mobile robots, obstacles, and a target object, and tried to search for a target object while navigating in a unknown hallway where some obstacles were placed. In the end of this paper, we presents the results of three algorithms - a random search, area-based action making (ABAM), and hexagonal area-based Q-teaming.
본 논문에서는 다수 로봇의 목표물 탐색을 위한 area-based Q-learning 알고리즘에 대해 논한다. 선험적 정보가 없는 공간내의 목표물을 탐색하기 위해, 로봇들은 주위의 환경을 인식하고 스스로 다음 행동에 대한 결정을 내릴 수 있어야 한다. Area-based Q-learning에서, 먼저 각 로봇은 정육각형을 이루도록 배치된 6개의 적외선 센서를 통해 자신과 주변 환경 사이의 거리를 구한다. 다음으로 이 거리데이터들로부터 6방향의 면적(area)을 계산하여, 보다 넓은 행동반경을 보장해주는 영역으로 이동(action)한다. 이동 후 다시 6방향의 면적을 계산, 이전 상태에서의 이동에 대한 Q-value를 업데이트 한다. 본 논문의 실험에서는 5대의 로봇을 이용하여 선험적 지식이 없고, 장애물이 놓여 있는 공간에서의 목표물 탐색을 시도하였다. 결론에서는 3개의 제어 알고리즘-랜덤 탐색, area-based action making (ABAM), hexagonal area-based Q-learning - 을 이용하여 목표물 탐색을 시도한 결과를 보인다.
