Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Development of a Real-time Action Recognition-Based Child Behavior Analysis Service System

실시간 행동인식 기반 아동 행동분석 서비스 시스템 개발

  • Received : 2024.01.11
  • Accepted : 2024.02.03
  • Published : 2024.02.29
Download PDF
⟨ Previous Next ⟩

Abstract

This paper describes the development of a system and algorithms for high-quality welfare services by recognizing behavior development indicators (activity, sociability, danger) in children aged 0 to 2 years old using action recognition technology. Action recognition targeted 11 behaviors from lying down in 0-year-olds to jumping in 2-year-olds, using data directly obtained from actual videos provided for research purposes by three nurseries in the Gwangju and Jeonnam regions. A dataset of 1,867 actions from 425 clip videos was built for these 11 behaviors, achieving an average recognition accuracy of 97.4%. Additionally, for real-world application, the Edge Video Analyzer (EVA), a behavior analysis device, was developed and implemented with a region-specific random frame selection-based PoseC3D algorithm, capable of recognizing actions in real-time for up to 30 people in four-channel videos. The developed system was installed in three nurseries, tested by ten childcare teachers over a month, and evaluated through surveys, resulting in a perceived accuracy of 91 points and a service satisfaction score of 94 points.

본 논문에서는 행동인식 기술을 기반으로 0세에서 2세까지의 아동을 대상으로 행동 발달 지표(활동성, 사회성, 위험성)를 파악하여 고도의 복지 서비스를 제공할 수 있는 시스템과 알고리즘에 관해 기술한다. 행동인식은 0세 영아의 눕기에서 부터 2세 유아의 점프까지 총 11개 행동을 대상으로 하였으며 광주·전남지역 어린이집 3개소에서 연구용으로 제공받은 실제 영상으로부터 직접 취득한 데이터를 학습에 사용하였다. 11개 행동에 대해 425개 클립 영상에서 1,867개 행동 데이터셋을 구축하여 학습한 결과 평균 97.4%의 인식정확도를 확인하였다. 또 실세계 적용을 위해 행동분석 장치인 엣지 비디오 분석기(Edge Video Analyzer, EVA)를 제작하였고 이 장치 위에 4채널 영상에서 최대 30명까지 실시간 행동인식이 가능한 영역별 랜덤 프레임 선택 기반 PoseC3D 알고리즘을 구현하였다. 개발된 시스템은 3곳의 어린이집에 설치되어 10명의 보육교사에 의해 1개월 간 실증테스트가 진행되었고 설문조사 결과 체감 정확도는 91점, 서비스 만족도는 94점으로 평가되었다.

Keywords

Acknowledgement

본 연구 연구개발특구진흥재단 기술사업화 역량강화사업(2023-GJ-RD-0015-01), 중소기업기술정보진흥원 산학연CollaboR&D(RS-2023-00226593), 한국전자통신연구원 연구운영지원사업의 일환으로 수행되었음(24ZK1100, 호남권 지역산업 기반 ICT 융합기술 고도화 지원사업)

References

  1. 최은희,"관찰 중심의 아동 평가에 대한 고찰 - 관찰법을 중심으로 -," 대한감각통합치료학회, 제9권, 제1호, 53-61쪽, 2011년 
  2. 강현미, 황해익, "표준보육과정에 기초한 영아관찰척도 개발을 위한 기초 연구," 한아동학회지, 제32권, 제5호, 167-183쪽, 2011년 10월  https://doi.org/10.5723/KJCS.2011.32.5.167
  3. 윤주화, 이종희, "걸음마기 아동의 문제행동과 보육교사의 어려움에 관한 연구," 아동학회지, 제20권, 제2호, 171-186쪽, 1999년 
  4. D. R. Beddiar, B. Nini, M. Sabokrou and A. Hadid, "Vision-based Human Activity Recognition: A Survey," Multimedia Tools and Applications, Vol. 79, pp. 30509-30555, 2020.  https://doi.org/10.1007/s11042-020-09004-3
  5. 이지애, 문성철, "스마트 관제를 위한 딥러닝 기반 이상행동 기술 동향 분석," 한국방송미디어공학회 2019년도 추계학술대회, 제29권, 11-13쪽, 2019년 
  6. 이혜원, "CCTV 영상 분석을 위한 스마트 관제 시스템 구현을 위한 설계에 관한 연구", 세종대학교 석사학위 논문, 2021년 2월 
  7. 안시현, 문병인, "실내 아동 안전을 위한 딥러닝 기반의 아동 행동 분석기술 개발," 한국정보기술학회논문지, 제21권, 제1호, 91-100쪽, 2023년 1월. 
  8. 김은설, 박진아, 김승진, "어린이집 설치 기준 개선을 위한 실태 조사," 연구보고 2016-03, 육아정책연구소, 2016년 8월 
  9. 오치민, 신복숙, Reinhard Klette, 이칠우, "MRF 입자 필터 멀티터치 추적 및 제스처 우도 측정," 스마트미디어저널, 제4권, 제1호, 16-24쪽, 2015년 3월 
  10. 중소벤처기업부, "Edge-Device 기반 고성능 경량 고속-시각 지능 플랫폼," 중소기업기술로드맵 2020-2022, 중소기업기술정보진흥원, 2020년 
  11. J. Redmon, S. Divvala, R. Girshick and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788, 2016. 
  12. A. Bewley, Z. Ge, L. Ott, F. Ramos, B. Upcroft, "Simple Online and Realtime Tracking," 2016 IEEE International Conference on Image Processing (ICIP), pp. 3464-3468, 2016. 
  13. L. He, X. Liao, W. Liu, X. Liu, P. Cheng and T. Mei, "FastReID: A Pytorch Toolbox for General Instance Re-identification," MM '23: Proceedings of the 31st ACM International Conference on Multimedia, pp. 9664-9667, Oct. 2023. 
  14. K. Sun, B. Xiao, D. Liu and J. Wang, "Deep High-Resolution Representation Learning for Human Pose Estimation," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5693-5703, 2019. 
  15. H. Duan, Y. Zhao, K. Chen, D. Lin and B. Dai, "Revisiting Skeleton-based Action Recognition," 2022 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2969-2978, 2022. 
  16. R. Yue, Z. Tian and S. Du, "Action recognition based on RGB and skeleton data sets: A survey," Neurocomputing, Vol. 512, No. 1, pp. 287-306, Nov. 2022.  https://doi.org/10.1016/j.neucom.2022.09.071
  17. L. Sevilla-Lara, Y. Liao, F. Guney and V. Jampani, "On the integration of optical flow and action recognition," Pattern Recognition, pp. 281-297. Oct. 2019. 
  18. O. Pena-Caceres, H. Silva-Marchan, M. Albert and M. Gil, "Recognition of Human Actions through Speech or Voice Using Machine Learning Techniques," Computers, Materials & Continua, Vol. 77, no. 2, pp. 1873-1891, 2023.  https://doi.org/10.32604/cmc.2023.043176
  19. Z. Liu, H. Zhang, Z. Chen and Z. Wang, "Disentangling and unifying graph convolutions for skeleton-based action recognition," 2020 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 143-152, 2020. 
  20. 장한별, 이칠우, "행동인식을 위한 다중 영역 기반 방사형 GCN 알고리즘," 스마트미디어저널, 제11권, 제1호, 46-57쪽, 2022년 02월 
  21. T. Chen, D. Zhou, J. Wang, S. Wang, Y. Guan, X. He, and E. Ding. "Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-Based Action Recognition," In ACMMM, 2021. 
  22. 정성우, 김은철, 유준혁, "CAPS : CCTV 영상을 이용한 자율형 딥러닝 기반 아동학대 감지 시스템," 제어로봇시스템학회 논문지, 제27권, 제12호, 1029-1037쪽, 2021년 12월  https://doi.org/10.5302/J.ICROS.2021.21.0134
  23. 길유정, 김민정, 장수아, 김지훈, 아딥, 정진우, "어린이집 내 아동학대 방지를 위한 CCTV 영상처리 자동화 시스템," 2022 한국정보기술학회 추계 종합학술대회 논문집, 855-859쪽, 2022년 12월 
  24. 이윤성, 이대균, "CCTV 송출 시스템을 운영하는 어린이집 교사가 느끼는 어려움과 바람," 열린유아교육연구, 제26권, 제1호, 251-278쪽, 2021년 01월  https://doi.org/10.20437/KOAECE26-1-11
  25. 보건복지부, "K-DST 한국 영유아 발달선별검사," 2015년 
  26. Y. Zhang, P. Sun, Y. Jiang, D. Yu, F. Weng and Z. Yuan, "Bytetrack: Multi-object tracking by associating every detection box," ECCV 2022:17th European Conference on Computer Vision, pp. 1-21, 2022. 
  27. C. Rao and Y. Liu, "Three-dimensional convolutional neural network (3D-CNN) for heterogeneous material homogenization", Computational Materials Science, Vol. 184, Nov. 2020. 
  28. 김광진, 이칠우, "Bi-LSTM 모델을 이용한 음악 생성 시계열 예측," 스마트미디어저널, 제11권, 제10호, 65-75쪽, 2022년 11월 https://doi.org/10.30693/SMJ.2022.11.10.65