DOI QR코드

DOI QR Code

Local Path Generation Method for Unmanned Autonomous Vehicles Using Reinforcement Learning

강화학습을 이용한 무인 자율주행 차량의 지역경로 생성 기법

  • 김문종 (와이즈넛 Mining tech팀) ;
  • 최기창 (서강대학교 컴퓨터공학과) ;
  • 오병화 (서강대학교 컴퓨터공학과) ;
  • 양지훈 (서강대학교 컴퓨터공학과)
  • Received : 2014.05.28
  • Accepted : 2014.07.25
  • Published : 2014.09.30

Abstract

Path generation methods are required for safe and efficient driving in unmanned autonomous vehicles. There are two kinds of paths: global and local. A global path consists of all the way points including the source and the destination. A local path is the trajectory that a vehicle needs to follow from a way point to the next in the global path. In this paper, we propose a novel method for local path generation through machine learning, with an effective curve function used for initializing the trajectory. First, reinforcement learning is applied to a set of candidate paths to produce the best trajectory with maximal reward. Then the optimal steering angle with respect to the trajectory is determined by training an artificial neural network. Our method outperformed existing approaches and successfully found quality paths in various experimental settings, including the cases with obstacles.

무인 자율주행 차량에서의 경로 생성 기법은 차량이 자동적으로 안전하고 효율적인 경로를 생성하고 주행할 수 있도록 해 준다. 경로에는 크게 전역경로와 지역경로가 있다. 전역경로는 차량이 출발점으로부터 도착점까지 가기 위해 주행해야 하는 구간을, 지역경로는 전역경로에서 얻은 구간을 주행하기 위해서 차량이 실제로 주행해야 할 경로를 의미한다. 본 논문에서는 지역경로 생성을 위하여 효율성 높은 곡선 함수를 사용하는 기존연구에서 더 나아가 학습을 통해 경로를 생성하는 방법을 제안한다. 먼저 강화학습을 통해서 후보경로에 대한 예측 보상 값을 얻고 보상 값이 최고가 되는 경로를 찾는 작업을 한다. 또한 인공 신경망을 통해서는 생성된 경로에 최적화된 조향 명령을 주기 위해 조향 각을 학습하는 작업을 한다. 더 나아가 주행하는 경로에 장애물이 발견되더라도 이를 효율적으로 회피하는 최적의 경로를 학습 기법을 통해 만들어낸다. 본 논문에서 제안된 알고리즘의 우수성은 실제 주행 환경으로 모델링한 시뮬레이션 실험을 통해 검증되었다.

Keywords

References

  1. C. de Boor, Practical Guide to Splines, New York: Springer-Verlag, pp.113-115, 1978.
  2. W. Chen, Feedback, Nonlinear, and Distributed Circuits, CRC Press, pp.9-20, 2009.
  3. H. Michiel, "Spline interpolation," Encyclopedia of Mathematics, Springer, 2001.
  4. C. Urmson, et al., "Autonomous driving in urban environments: Boss and the urban challenge," Journal of Field Robotics, Vol.25, No.8, pp.425-466, 2008. https://doi.org/10.1002/rob.20255
  5. J. Levinson, et al., "Towards fully autonomous driving: Systems and algorithms," 2011 IEEE Intelligent Vehicles Symposium, pp.163-168, 2011.
  6. B. Il, J. Kim, and S. Kim, "Steering rate controller based on curvature of trajectory for autonomous driving vehicles," 2013 IEEE Intelligent Vehicles Symposium, pp.1381-1386, 2013.
  7. J. Forbes, "Reinforcement learning for autonomous vehicles," Ph.D. dissertation, University of California, CA, USA, 2002.
  8. S. Oh, J. Lee, and D. Choi, "A new reinforcement learning vehicle control architecture for vision-based road following," IEEE Transactions on Vehicular Technology, Vol.49, No.3, pp.997-1005, 2000. https://doi.org/10.1109/25.845116
  9. E. Dijkstra, "A note on two problems in connexion with graphs," Numerische mathematik, Vol.1. No.1, pp.269-271, 1959. https://doi.org/10.1007/BF01386390
  10. R. Sinnott, "Virtues of the Haversine," Sky and telescope, Vol.68, p.158, 1984.
  11. J. Choi and K. Kong, "Localization of a Self-Driving Vehicle Extended Kalman Filtering with FixedGains," in Proceedings of the International Conference on Computers, Networks, Systems, and Industrial Applications, pp.89-94, 2012.