스마트미디어저널 (Smart Media Journal)

  • 제11권3호
  • /
  • Pages.90-101
  • /
  • 2022
  • /
  • 2287-1322(pISSN)
  • /
  • 2288-9671(eISSN)
한국스마트미디어학회 (THE KOREAN INSTITUTE OF SMART MEDIA)
권호 표지
DOI QR코드

DOI QR Code

Skeleton Keypoints를 활용한 CNN3D 기반의 버스 승객 승하차 예측모델

CNN3D-Based Bus Passenger Prediction Model Using Skeleton Keypoints

  • 장진 (전남대학교 인공지능융합학과) ;
  • 김수형 (전남대학교 AI융합대학 인공지능학부)
  • 투고 : 2022.02.25
  • 심사 : 2022.04.19
  • 발행 : 2022.04.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

버스는 대중적으로 많이 이용되는 교통수단이다. 그만큼 승객의 안전관리를 위해 철저한 대비가 필요하다. 하지만 2018년 승차하기 위해 접근하는 노인을 인지하지 못하고 버스가 출발하면서 사망사고가 발생하는 등 안전 시스템이 미흡한 상황이다. 기존에 뒷문 계단 쪽 센서를 통해 끼임 사고를 방지하는 안전 시스템은 있지만, 이러한 시스템은 위 사고처럼 승하차하려는 과정에서 발생하는 사고를 예방하진 못한다. 버스 승객의 승하차 의도를 예측할 수 있다면, 위와 같은 사고를 예방하는 안전 시스템 개발에 도움이 될 것이다. 그러나 승객의 승하차 의도를 예측하는 연구는 부족한 상태이다. 따라서 본 논문에서는 버스에 부착된 카메라 영상에서 UDP-Pose를 통해 승객의 skeleton keypoints를 추출하고, 이를 활용한 1×1 CNN3D 기반의 버스 승객 승하차 의도를 예측하는 모델을 제안한다. 제안한 모델은 승객의 승하차 의도를 예측하는 부분에서 RNN, LSTM 모델보다 약 1~2% 높은 정확도를 보여준다.

Buses are a popular means of transportation. As such, thorough preparation is needed for passenger safety management. However, the safety system is insufficient because there are accidents such as a death accident occurred when the bus departed without recognizing the elderly approaching to get on in 2018. There is a safety system that prevents pinching accidents through sensors on the back door stairs, but such a system does not prevent accidents that occur in the process of getting on and off like the above accident. If it is possible to predict the intention of bus passengers to get on and off, it will help to develop a safety system to prevent such accidents. However, studies predicting the intention of passengers to get on and off are insufficient. Therefore, in this paper, we propose a 1×1 CNN3D-based getting on and off intention prediction model using skeleton keypoints of passengers extracted from the camera image attached to the bus through UDP-Pose. The proposed model shows approximately 1~2% higher accuracy than the RNN and LSTM models in predicting passenger's getting on and off intentions.

키워드

과제정보

This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(NRF-2021R1I1A3A04036408) This work was supported by the National Research Foundation of Korea(NRF) grant funded by the Korea government(MSIT). (NRF-2020R1A4A1019191)

참고문헌

  1. 급히 타는 승객 못보고 출발 →사망...버스기사, 벌금형 (2020). https://mobile.newsis.com/view.html?ar_id=NISX20200602_0001044984 (accessed Mar., 25, 2022).
  2. 버스 뒷문에 팔이 끼여 끌려간 여성의 사망사고! 버스는 왜!! 멈추지 않았을까? KBS 210201 방송 (2021). https://www.youtube.com/watch?v=C2X4_z9gUSg&t=224s (accessed Mar., 25, 2022).
  3. 김재희, 최무룡, 윤혁진, 김대현, 조봉관, "자율주행 대중교통 시스템을 위한 정류장 승하차 판단기술," 한국철도학회논문집, 제23권, 제4호, 339-346쪽, 2020년 4월
  4. 박서희, 전준철, "인간 행위 인식을 위한 비전 기반 인간 자세 추정에 관한 연구," 한국 인터넷 정보학회, 제18권, 제2호, 19-25쪽, 2017년 12월
  5. 장한별, 이칠우, "행동인식을 위한 다중 영역 기반 방사형 GCN 알고리즘," 스마트미디어저널, 제11권, 제1호, 46-57쪽, 2022년 02월
  6. Z. Cao, G. Hidalgo, T. Simon, S.E. Wei and Y. Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 1, pp. 172-186, Jan. 2021. https://doi.org/10.1109/TPAMI.2019.2929257
  7. B. Cheng, B. Xiao, J. Wang, H. Shi, T.S. Huang and L. Zhang, "HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation," 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5385-5394, 2020.
  8. H.S. Fang, S. Xie, Y.W. Tai and C. Lu, "RMPE: Regional Multi-person Pose Estimation," 2017 IEEE International Conference on Computer Vision (ICCV), pp. 2353-2362, Venice, Italy, Dec. 2017.
  9. J. Huang, Z. Zhu, F. Guo and G. Huang, "The Devil Is in the Details: Delving Into Unbiased Data Processing for Human Pose Estimation," 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5699-5708, 2020.
  10. T.Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar and C.L. Zitnick, "Microsoft COCO: Common Objects in Context," Computer Vision - ECCV 2014, vol. 8693, pp. 740-755, 2014.
  11. Keypoint Evaluation(2022). (accessed Mar., 25, 2022).
  12. Keypoint Leaderboard(2022). https://cocodataset.org/#keypoints-leaderboard (accessed Feb., 18, 2022).
  13. 김미경, 차의영, "스켈레톤 벡터 정보와 RNN 학습을 이용한 행동인식 알고리즘," 방송공학회논문지, 제23권, 제5호, 598-605쪽, 2018년 9월 https://doi.org/10.5909/JBE.2018.23.5.598
  14. N.N. Hoang, G.S. Lee, S.H. Kim and H.J. Yang, "Effective Hand Gesture Recognition by Key Frame Selection and 3D Neural Network," Smart Media Journal, vol. 9, no. 1, pp. 23-29, Mar. 2020. https://doi.org/10.30693/SMJ.2020.9.1.23
  15. S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory," Neural Computation, vol. 9, no. 8, pp. 1735-1780, 1997. https://doi.org/10.1162/neco.1997.9.8.1735
  16. 배현재, 장규진, 김영훈, 김진평, "AlphaPose를 활용한 LSTM(Long Short-Term Memory) 기반 이상행동인식," 정보처리학회논문지, 제10권, 제5호, 187-194쪽, 2021년 10월 https://doi.org/10.3745/KTSDE.2021.10.5.187
  17. 변영현, 곽근창, "데이터 종류에 따른 딥러닝 기반 행동인식 연구동향," 대한전기학회 학술대회 논문집, 194-195쪽, 2021년 11월
  18. 김상조, 김미경, 차의영, "RGB 데이터 기반 행동인식에 관한 연구," 한국정보처리학회 춘계학술발표대회 논문집, 제24권, 제1호, 936-937쪽, 2017년 4월
  19. [Deep Learning]데이터 표현(2020). https://someone-life.tistory.com/3 (accessed Mar., 25, 2022).
  20. CONV3D(2019). https://pytorch.org/docs/stable/generated/torch.nn.Conv3d.html (accessed Mar., 25, 2022).
  21. N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov, "Dropout: A Simple Way to Prevent Neural Networks from Overfitting," Journal of machine learning research, vol. 15, no. 1, pp. 1929-1958, Jun. 2014.
  22. 버스 승객 승하차 영상 소개(2021). https://aihub.or.kr/aidata/34166 (accessed Feb., 18, 2022).
  23. D. Bahdanau, K. Cho and Y. Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate," arXiv preprint arXiv:1409.0473, 2014.
  24. D.P. Kingma and J. Ba, "Adam: A Method for Stochastic Optimization," arXiv preprint arXiv:1412.6980, 2014.
  25. 김강민, 김판구, 전찬준, "Deep Metric Learning을 활용한 합성곱 신경망 기반의 피부질환 분류 기술," 스마트미디어저널, 제10권, 제4호, 45-53쪽, 2021년 12월
  26. Classification - Metrics (2)(2021). https://hongl.tistory.com/136 (accessed Mar., 25, 2022).
  27. 정근석, 박병준, 윤경로, "RGB영상과 깊이영상을 이용한 3D 휴먼 골격 키포인트 탐지," 전기학회논문지, 제70권, 제9호, 1354-1361쪽, 2021년 9월