DOI QR코드

DOI QR Code

A study on accident prevention AI system based on estimation of bus passengers' intentions

시내버스 승하차 의도분석 기반 사고방지 AI 시스템 연구

  • 박성환 (아주대학교 인공지능융합학과) ;
  • 변선오 (아주대학교 인공지능융합학과) ;
  • 박정훈 (아주대학교 인공지능융합학과)
  • Received : 2023.08.30
  • Accepted : 2023.10.25
  • Published : 2023.12.29

Abstract

In this paper, we present a study on an AI-based system utilizing the CCTV system within city buses to predict the intentions of boarding and alighting passengers, with the aim of preventing accidents. The proposed system employs the YOLOv7 Pose model to detect passengers, while utilizing an LSTM model to predict intentions of tracked passengers. The system can be installed on the bus's CCTV terminals, allowing for real-time visual confirmation of passengers' intentions throughout driving. It also provides alerts to the driver, mitigating potential accidents during passenger transitions. Test results show accuracy rates of 0.81 for analyzing boarding intentions and 0.79 for predicting alighting intentions onboard. To ensure real-time performance, we verified that a minimum of 5 frames per second analysis is achievable in a GPU environment. his algorithm enhance the safety of passenger transitions during bus operations. In the future, with improved hardware specifications and abundant data collection, the system's expansion into various safety-related metrics is promising. This algorithm is anticipated to play a pivotal role in ensuring safety when autonomous driving becomes commercialized. Additionally, its applicability could extend to other modes of public transportation, such as subways and all forms of mass transit, contributing to the overall safety of public transportation systems.

본 논문에서는 시내버스 내 CCTV 시스템을 활용, 비전AI 기반의 승하차 승객 의도를 예측하여 사고방지가 가능한 시스템에 대해 연구한 내용을 기술한다. 본 시스템은 YOLOv7 Pose 모델과 Object Tracking 기술을 활용하여 버스 내부의 승객을 감지하고 추적하며, LSTM 모델을 활용하여 승객의 승하차 여부를 예측한다. 시스템은 버스 내 CCTV 단말기 상에 설치 가능하여 운전 중 어느 때에나 승하차 여부 예측 결과를 시각적으로 확인할 수 있으며, 운전자에게 자동 알람을 주어 승하차 시 일어날 수 있는 사고를 예방할 수 있다. 테스트 결과, 승객의 승차 의도를 분석하는 채널 A와 하차 의도를 예측하는 채널 C에서 각각 0.81과 0.79의 정확도를 달성하였으며, 실시간성을 보장하기 위해 GPU 환경에서 초당 최소 5 프레임 이상의 분석이 가능하다는 것을 확인하였다. 본 알고리즘을 통해 시내버스 운행 중의 승객 승하차 과정을 모니터링하고, 그 안전과 편의성에 도움을 줄 것으로 생각된다. 추후 하드웨어가 발전하고, DB를 통해 데이터가 많이 수집된다면, 이 또한 다양한 안전 관련 지표로의 확장이 가능할 것이다. 더불어 본 알고리즘은 추후 자율주행 버스 상용화 시, 인간을 대신하여 승객 안전에 더욱 핵심적인 역할을 수행할 것이라 생각되며, 기타 지하철 및 승객이 내리고 탈 수 있는 모든 대중교통 환경에의 확장 또한 가능하여 대중교통의 안전화에 도움을 줄 것으로 생각한다.

Keywords

References

  1. 전체 버스 사고 중 차내 안전사고가 절반 가까이?!(2023). https://www.korea.kr/multi/visualNewsView.do?newsId=148916514&pWise=sub&pWiseMain=G2 (accessed Aug., 30, 2023).
  2. 저상버스 내부 편의 사양 디자인 개선 연구(2020). http://www.seouldesign.or.kr/file//old/upload_files/pdf/20160329_143057_0.pdf?origName=%EC%A0%80%EC%83%81%EB%B2%84%EC%8A%A4.pdf (accessed Aug., 30, 2023).
  3. 이준환, "지능형 관제시스템을 위한 딥러닝 기반의 다중객체 분류 및 추적에 관한 연구," 스마트미디어저널, 제12권, 제5호, pp. 73-80, 2023년 6월 https://doi.org/10.30693/SMJ.2023.12.5.73
  4. 전소연, 박종화, 윤상병, 김영수, 이용성, 전지혜, "딥러닝 기반 영상 분석 알고리즘을 이용한 실시간 작업자 안전관리 시스템 개발," 스마트미디어저널, 제9권 제3호, pp. 25-30, 2020년 9월
  5. 장진, 김수형, "Skeleton Keypoints를 활용한 CNN3D 기반의 버스 승객 승하차 예측모델," 스마트미디어저널, 제11권, 제3호, pp. 90-101, 2022년 04월 https://doi.org/10.30693/SMJ.2022.11.3.90
  6. 버스 승객 승하차 영상(2020). https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=185 (accessed Aug., 24, 20 23).
  7. Wang, Chien-Yao, Alexey Bochkovskiy, and Hong-Yuan Mark Liao, "YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7464-7475, 2023.
  8. Maji, Debapriya et al, "YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2637-2646, Apr. 2022.
  9. Himani S. Parekh, Darshak G. Thakore, Udesang K. Jaliya, "A Survey on Object Detection and Tracking Methods", International Journal of Innovative Research in Computer and Communication Engineering, vol. 2, no. 2, pp. 2970-2978, Feb. 2014.
  10. Yunhao Du et al., "StrongSORT: Make DeepSORT Great Again", IEEE Transactions on Multimedia, pp. 1-14, Jan. 2023.
  11. S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory," Neural Computation, vol.9., no. 8, pp. 1735-1780, Nov. 1997. https://doi.org/10.1162/neco.1997.9.8.1735
  12. 김미경, 차의영, "스켈레톤 벡터 정보와 RNN 학습을 이용한 행동인식 알고리즘", 방송공학회논문지, 제23권, 제5호, pp. 598-605, 2018년 9월 https://doi.org/10.5909/JBE.2018.23.5.598
  13. Korea Internet&Security Agency, "Intelligent CCTV Solution Performance Test and Certification Guide," pp. 30, Jan. 2018.