DOI QR코드

DOI QR Code

Human Skeleton Keypoints based Fall Detection using GRU

PoseNet과 GRU를 이용한 Skeleton Keypoints 기반 낙상 감지

  • Kang, Yoon Kyu (Department of ITPM, Graduate School, Soongsil University) ;
  • Kang, Hee Yong (Information & Science Graduate School, Soongsil University) ;
  • Weon, Dal Soo (Department of Smart IT, Baewha Womens University)
  • 강윤규 (숭실대학교 대학원) ;
  • 강희용 (숭실대학교 정보과학대학원) ;
  • 원달수 (배화여자대학교 스마트IT학과)
  • Received : 2020.10.26
  • Accepted : 2021.02.05
  • Published : 2021.02.28

Abstract

A recent study of people physically falling focused on analyzing the motions of the falls using a recurrent neural network (RNN) and a deep learning approach to get good results from detecting 2D human poses from a single color image. In this paper, we investigate a detection method for estimating the position of the head and shoulder keypoints and the acceleration of positional change using the skeletal keypoints information extracted using PoseNet from an image obtained with a low-cost 2D RGB camera, increasing the accuracy of judgments about the falls. In particular, we propose a fall detection method based on the characteristics of post-fall posture in the fall motion-analysis method. A public data set was used to extract human skeletal features, and as a result of an experiment to find a feature extraction method that can achieve high classification accuracy, the proposed method showed a 99.8% success rate in detecting falls more effectively than a conventional, primitive skeletal data-use method.

낙상 판단을 위한 최근 발표되는 연구는 RNN(Recurrent Neural Network)을 이용한 낙상 동작 특징 분석과 동작 분류에 집중되어 있다. 웨어러블 센서를 기반으로 한 접근 방식은 높은 탐지율을 제공하나 사용자의 착용 불편으로 보편화 되지 못했고 최근 영상이나 이미지 기반에 딥러닝 접근방식을 이용한 낙상 감지방법이 소개 되었다. 본 논문은 2D RGB 저가 카메라에서 얻은 영상을 PoseNet을 이용해 추출한 인체 골격 키포인트(Keypoints) 정보로 머리와 어깨의 키포인트들의 위치와 위치 변화 가속도를 추정함으로써 낙상 판단의 정확도를 높이기 위한 감지 방법을 연구하였다. 특히 낙상 후 자세 특징 추출을 기반으로 Convolutional Neural Networks 중 Gated Recurrent Unit 기법을 사용하는 비전 기반 낙상 감지 솔루션을 제안한다. 인체 골격 특징 추출을 위해 공개 데이터 세트를 사용하였고, 동작분류 정확도를 높이는 기법으로 코, 좌우 눈 그리고 양쪽 귀를 포함하는 머리와 어깨를 하나의 세그먼트로 하는 특징 추출 방법을 적용해, 세그먼트의 하강 속도와 17개의 인체 골격 키포인트가 구성하는 바운딩 박스(Bounding Box)의 높이 대 폭의 비율을 융합하여 실험을 하였다. 제안한 방법은 기존 원시골격 데이터 사용 기법보다 낙상 탐지에 보다 효과적이며 실험환경에서 약 99.8%의 성공률을 보였다.

Keywords

References

  1. Weiming Chen, Zijie Jiang, Hailin Guo and Xiaoyang, "Fall Detection Based on Key Points of Human-Skeleton Using OpenPose," Symmetry May 2020,12, 744; DOI: https://doi.org/10.3390/sym12050744
  2. Wu, G. (2000). "Distinguishing fall activities from normal activities by velocity characteristics," Journal of biomechanics, 33(11), 1497-1500. DOI: https://doi.org/10.1016/s0021-9290(00)00117-2
  3. X. Ma, H.Wang, B. Xue, M. Zhou, B. Ji and Y. Li, "Depth-Based Human Fall Detection via Shape Features and Improved Extreme Learning Machine," IEEE Journal of Biomedical and Health Informatics, vol. 18, no. 6, pp. 1915-1922, Nov. 2014. DOI: https://doi.org/10.1109/JBHI.2014.2304357
  4. A. Abobakr, M. Hossny and S. Nahavandi, "A Skeleton-Free Fall Detection System From Depth Images Using Random Decision Forest," in IEEE Systems Journal, vol. 12, no. 3, pp. 2994-3005, Sept. 201., DOI: https://doi.org/10.1109/JSYST.2017.2780260
  5. D. P. Kingma and J. Ba, "Adam: A Method for Stochastic Optimization," ICLR,2015. https://hdl.handle.net/11245/1.505367
  6. AK Bourke, JV O'brien, and GM Lyons, "Evaluation of a threshold-based tri-axial accelerometer fall detection algorithm," Gait & Posture, 2007. DOI: https://doi.org/10.1016/j.gaitpost.2006.09.012
  7. KWC Cheng, and DM Jhan, "Triaxial accelerometer - based fall detection method using a self-constructing cascade-Ada Boost-SVM classifier," IEEE Journal of Biomedical and Health Informatics, 2013. DOI: https://doi.org/10.1109/jbhi.2012.2237034
  8. W. Lie, A. T. Le and G. Lin, "Human fall-down event detection based on 2D skeletons and deep learning approach," 2018 International Workshop on Advanced Image Technology (IWAIT), Chiang Mai, 2018, pp. 1-4, DOI: https://doi.org/10.1109/IWAIT.2018.8369778.
  9. Kripesh Adhikari, Hamid Bouchachia, Hammadi Nait-Charif, "Deep Learning Based Fall Dection Using Silplified Human Posture," International Journal of Computer and Systems Engineering, Vol:13, No:5, 2019. https://pdfs.semanticscholar.org/f953/09544f8bac647b7503ba6c849ccbd9bc8e19.pdf
  10. M. D. Solbach and J. K. Tsotsos, "Vision-Based Fallen Person Detection for the Elderly," 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), Venice, 2017, pp. 1433-1442, DOI: https://doi.org/10.1109/ICCVW.2017.170