Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.672-675
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

Reinforcement Learning-Based Traffic Signal Control Using Large Language Models

LLM을 이용한 강화학습기반 교차로 신호 제어

  • SuJeong Choi (Dept. of IT Engineering, Sookmyung Women's University) ;
  • Yujin Lim (Division of Artificial Intelligence Engineering, Sookmyung Women's University)
  • 최수정 (숙명여자대학교 IT공학과 ) ;
  • 임유진 (숙명여자대학교 인공지능공학부)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

교차로 신호 제어는 스마트 교통 시스템에서 중요한 역할을 하며, 강화학습(RL)을 기반으로 한 연구가 많이 진행되고 있다. 그러나 RL에서 보상 함수 내 요소 간 가중치를 적절하게 설계하는 것은 매우 어려운 과제이다. 최근 LLM을 활용해 데이터를 분석하고 의사 결정을 보완하는 연구가 주목받고 있으며, 이를 RL에 적용해 이러한 문제를 해결하려는 시도도 진행 중이다. 본 논문에서는 실시간으로 변화하는 교차로 내 효율적인 교통 제어를 위해 LLM을 이용하여 RL 보상 함수의 가중치를 실시간으로 조절함으로써 교통신호를 효율적으로 제어하는 알고리즘을 제안한다. 그리고 초기 가중치 설정과 가중치 조절 주기에 대한 실험 결과를 비교함으로써 제안 기법의 성능을 분석한다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 ICT혁신인재4.0 사업의 연구결과로 수행되었음(IITP-2024-RS-2022-00156299)

References

  1. G. Zheng, X. Zang, N. Xu, H. Wei, Z. Yu, V. Gayah, et al., "Diagnosing reinforcement learning for traffic signal control," arXiv:1905.04716, 2019.
  2. S. Lai, Z. Xu, W. Zhang, H. Liu and H. Xiong, "Large language models as traffic signal control agents: Capacity and opportunity," arXiv:2312.16044, 2023.
  3. A. Pang, M. Wang, M. O. Pun, C. S. Chen, and X. Xiong, "iLLM-TSC: Integration reinforcement learning and large language model for traffic signal control policy improvement," arXiv:2407.06025, 2024.
  4. P. A. Lopez, M. Behrisch, L. Bieker-Walz, J. Erdmann, P. Flotterod, R. Hilbrich, L. Lucken, J. Rummel, P. Wagner and E. Wiessner, "Microscopic traffic simulation using sumo," International Conference on Intelligent Transportation Systems (ITSC), 2018.
  5. H. Van Hasselt, A. Guez and D. Silver, "Deep reinforcement learning with double q-learning," AAAI Conference on Artificial Intelligence, 2016.
  6. Z. Wang, T. Schaul, M. Hessel, H. Hasselt, M. Lanctot and N. Freitas, "Dueling network architectures for deep reinforcement learning," International Confrence on Machine Learning (ICML), 2016.