The Journal of The Korea Institute of Intelligent Transport Systems (한국ITS학회 논문지)

The Korea Institute of Intelligent Transport Systems (한국ITS학회)
권호 표지
DOI QR코드

DOI QR Code

Study on the Development of an Expressway Hard Shoulder Running Algorithm Using Reinforcement Learning

강화학습 기반 고속도로 갓길차로제 운영 알고리즘 개발 연구

  • Harim Jeong (Dept. of Transportation System Eng., Ajou University) ;
  • Sangmin Park (Dept. of Road Transport Research, Korea Transport Institute) ;
  • Sungkwan Kang (Construction Div. Korea Expressway Corporation) ;
  • Ilsoo Yun (Dept. of Transportation System Eng., Ajou University)
  • 정하림 (아주대학교 교통시스템공학과 ) ;
  • 박상민 (한국교통연구원 도로교통연구본부 ) ;
  • 강성관 (한국도로공사 건설처 ) ;
  • 윤일수 (아주대학교 교통시스템공학과 )
  • Received : 2023.05.12
  • Accepted : 2023.06.26
  • Published : 2023.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

This study applies reinforcement learning to effectively operate expressway hard shoulder running (HSR). An HSR algorithm was developed, and its effectiveness was evaluated using the VISSIM microscopic simulation program. The simulation evaluated two aspects: mobility and safety. The DQN-based HSR algorithm found speed improvement of up to 26 km/h. Compared to the current method, the difference in the number of conflicts was not significant. Considering the results, a DQN-based HSR operation has a clear effect, and it is necessary to consider adjusting the current operational criteria.

본 연구는 고속도로 상의 반복적인 교통 혼잡 문제를 해결하기 위한 현실적인 대안 중 하나인 고속도로 갓길차로제를 효과적으로 운영하기 위해 강화학습 기법을 적용하고자 하였다. 강화학습의 DQN을 활용한 갓길차로제 운영 알고리즘을 개발하였고 미시교통시뮬레이션 프로그램 VISSIM을 활용하여 경부선 기흥IC-수원IC 구간의 데이터를 활용하여 강화학습 에이전트를 학습시켰고 그 효과를 평가하였다. 효과평가는 크게 이동성과 안전성의 두 가지 측면에서 진행하였다. 분석 결과 DQN 기반 갓길차로제 운영을 통해 시간당 최대 26km/h의 속도 개선 효과가 발생하였으며, DQN 에이전트는 기존 운영 기준인 60km/h 보다 약 10km/h 높은 속도로 갓길 차로제를 운영하였다. 안전성 효과의 경우 기존 운영 방식과 DQN 기반 운영을 통해 발생되는 차량 간 상충건수를 비교하였고 산출된 상충건수의 차이가 크지 않아 10km/h의 운영 기준 속도의 차이가 큰 영향을 주지 않은 것으로 판단하였다. 이러한 결과를 종합적으로 고려할 때 강화학습 기반 고속도로 갓길차로제 운영은 이동성 측면에서는 분명한 효과가 존재하였고 현재 운영 기준 속도의 조정을 고려해볼 필요가 있을 것으로 판단된다.

Keywords

Acknowledgement

본 논문은 한국도로공사가 수행한 'AI를 활용한 길어깨차로제 설치 및 운영기준 연구'의 연구 결과를 바탕으로 작성되었습니다.

References

  1. Bauer, K. M. and Harwood, K.(2004), "Safety Effects of Using Narrow Lanes and Shoulder-Use Lanes to Increase the Capacity of Urban Freeways", Journal of the Transportation Research Board, vol. 1897, no. 1, pp.71-80.
  2. Coffey, S. and Park, S.(2018), "Operational Evaluation of Part-Time Shoulder Use for Interstate 476 in the State of Pennsylvania", Advanced in Civil Engineering, vol. 2018, article ID. 1724646, pp.1-8. https://doi.org/10.1155/2018/1724646
  3. Greguric, M., Kusic, K. and Ivanjko, E.(2022), "Impact of Deep Reinforcement Learning on Variable Speed Limit strategies in connected vehicles environments", Engineering Applications of Artificial Intelligence, vol. 112, 104850.
  4. Kim, J. S.(2017), Evaluation of Traffic Flow Efficiency and Safety Hard Shoulder Runnings for Freeway, Doctoral Dissertation, University of Seoul, Seoul, Republic of Korea.
  5. Kim, S. G. and Park, C. H.(1998), "An Analysis of Breakdown Cause at Freeway Merge Area", Journal of Korean Society of Transportation, vol. 16, no. 2, pp.53-65.
  6. Ko, E., Lee, S. and Kim, H.(2020), "Comparison Before and After Implementation of Travel Speed in Shoulder-Use Lanes on Expressway", Journal of Korea Institute of Intelligent Transportation Systems, vol. 19, no. 2, pp.36-47. https://doi.org/10.12815/kits.2020.19.2.36
  7. Korea Expressway Corporation(2018), Hard shoulder running operation manual.
  8. Korea Expressway Corporation(2022), Study on the installation and operation standards of hard shoulder running using AI.
  9. Korean Statistical Information Service, https://kosis.kr/statHtml/statHtml.do?orgId=101&tblId=DT_1YL20731, 2023.04.20.
  10. Lee, W., Yang, H., Kim, K., Lee, Y. and Lee, U.(2017), Reinforcement Learning with Python and Keras, Wikibooks.
  11. Lousiana Department of Transportation & Development(2022), DOTD VISSIM parameters.
  12. Ma, J., Hu, J., Hale, D. K. and Bared, J.(2016), "Dynamic Hard Shoulder Running for Traffic Incident Management", Journal of the Transportation Research Board, vol. 2554, no. 1, pp.120-128. https://doi.org/10.3141/2554-13
  13. Ministry of the Interior and Safety(MOIS), https://www.mois.go.kr/frt/bbs/type010/commonSelectBoardArticle.do?bbsId=BBSMSTR_000000000008&nttId=97993, 2023.04.20.
  14. Park, S.(2020), Development of Traffic Signal Control Model using AI Technique, Doctoral Dissertation, Ajou University, Suwon, Republic of Korea.
  15. Statistics Korea, https://kostat.go.kr/board.es?mid=a10301020300&bid=204, 2023.04.20.
  16. Sutton, R. S. and Barto, A. G.(2007), Reinforcement Learning An Introduction, The MIT Press, England.
  17. Virginia Department of Transportation(2020), VDOT VISSIM User Guide.
  18. Vrbanic, F., Ivanjko, E., Mandzuka, S. and Miletic, M.(2021), "Reinforcement Learning Based Variable Speed Limit Control for Mixed Traffic Flows", 29th Mediterranean Conference on Control and Automation, Bari, Italy, pp.560-565.
  19. Wisconsin Department of Transportation(2021), Vissim Calibration Parameters.
  20. Zhou, W., Yang, M., Lee, M. and Zhang, L.(2020), "Q-Learning-Based Coordinated Variable Speed Limit and Hard Shoulder Running Control Strategy to Reduce Travel Time a Freeway Corridor", Journal of the Transportation Research Board, vol. 2674, no. 11, pp.915-925. https://doi.org/10.1177/0361198120949875