한국컴퓨터정보학회논문지 (Journal of the Korea Society of Computer and Information)

  • 제14권2호
  • /
  • Pages.181-190
  • /
  • 2009
  • /
  • 1598-849X(pISSN)
  • /
  • 2383-9945(eISSN)
한국컴퓨터정보학회 (Korean Society of Computer Information)
권호 표지
DOI QR코드

DOI QR Code

멀티모달 정보를 이용한 응급상황 인식 시스템의 설계 및 구현

Design and Implementation of Emergency Recognition System based on Multimodal Information

  • 김영운 (원광대학교 컴퓨터공학과 대학원) ;
  • 강선경 (원광대학교 컴퓨터공학과 대학원) ;
  • 소인미 (원광대학교 컴퓨터공학과 대학원) ;
  • 권대규 (원광대학교 전기전자 및 정보공학부) ;
  • 이상설 (원광대학교 전기전자 및 정보공학부) ;
  • 이용주 (원광대학교 전기전자 및 정보공학부) ;
  • 정성태 (원광대학교 전기전자 및 정보공학부)
  • 발행 : 2009.02.28
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문은 비주얼 정보, 오디오 정보, 중력 센서 정보에 기반한 멀티 모달 응급상황 인식 시스템을 제안한다. 제안된 시스템은 비디오 처리 모듈, 오디오 처리 모듈, 중력 센서 처리 모듈, 멀티모달 통합 모듈로 구성된다. 비디오 처리 모듈과 오디오 처리 모듈 각각은 이동, 정지 기절 등의 동작을 인식하여 멀티모달 통합 모듈에 전달한다. 멀티 모달 통합 모듈은 전달된 정보로부터 응급 상황을 인식하고 오디오 채널을 통하여 사용자에게 질문을 하고 대답을 인식함으로써 응급 상황을 재확인한다. 실험결과 영상에서는 91.5%, 착용형 중력센서는 94% 인식률을 보였으나 이들을 통합하면 응급상황을 100% 인식하는 결과를 보였다.

This paper presents a multimodal emergency recognition system based on visual information, audio information and gravity sensor information. It consists of video processing module, audio processing module, gravity sensor processing module and multimodal integration module. The video processing module and gravity sensor processing module respectively detects actions such as moving, stopping and fainting and transfer them to the multimodal integration module. The multimodal integration module detects emergency by fusing the transferred information and verifies it by asking a question and recognizing the answer via audio channel. The experiment results show that the recognition rate of video processing module only is 91.5% and that of gravity sensor processing module only is 94%, but when both information are combined the recognition result becomes 100%.

키워드

참고문헌

  1. J. K. Aggarwal and Q. Cai, "Human Motion Analysis: A Review," Computer Vision and Image Understand, Vol. 73, No. 3, pp.423-440. Mar. 1999.
  2. C. Rigotti, P. Cerveri, G. Andreoni, A. Pedotti, and G. Ferrigno,"Modeling and Driving a Reduced Human Mannequin through Motion Captured Data: A Neural Network Approach," IEEE Trans. on System, man, and Cybernetics-part A, Vol. 31, No. 3, pp. 187-193, Mar 2001.
  3. Y. G. Lee, J. K. Kim, M. T. Son and M. H. Lee, "Implementation of Accelerometer Sensor Module and Fall Detection Monitoring System based on Wireless Sensor Network," Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp.2315-2318, Aug. 2007.
  4. M. R. Naraynan, S. R. Lord, M. M. Budge, B. G. Celler and N. H. Lovell, "Falls Management: Detection and Prevention, using a Waist-mounted Triaxial Accelerometer" Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 4037-4040, Aug. 2007.
  5. M. Kangas, A. Konttila, I. Winblad and T. Jamsa, "Determination of simple thresholds for accelerometry-based parameters for fall detection," Annual International Conference of the IEEE Engineering in Medicine and Bioloy Society, pp. 136701370, Aug. 2007.
  6. F. R. Allen, E. Ambikairajah, N. H.Lovell and B. G. Celler, "An Adapted Gaussian Mixtrue Model Approach to Acceleromety-Based Movement Classification Using Time-Domain Features," Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp.3600-3603, Aug. 2006.
  7. A. Sixsmith and N. Johnson, "A smart sensor to detect the falls of the elderlym" IEEE Pervasive Computing, Vol. 3, Issue 2, pp.42-47, April-June 2004.
  8. M. Alwan, P. J. Rajendran, S. Kell, D. Mack, S. Dalal, M. Wolfe and R. Felder, "A Smart and Passive Floor-VibrationBased Fall Detector for Elderly," In Proceedings of Internaltional Conference on Information and Communication Technologies, Vol. 1, pp.1003-1007, 2006.
  9. C. Rougier, J. Meunier, A. St-Arnaud and J. Rousseasu, "Monocular 3D Head Tracking to Detect Falls of Elderly People," International Conference of the IEEE Engineering in Medicine and Biology Society, pp.6384-6387, Aug. 2006.
  10. C. Rougier, J. Meunier, A. St-Arnaud and J. Rousseau, "Fall Detection from Human Shape and Motion History Using Video Surveillance," International Conference on Advanced InformationNetworking and Applications Workshops(AINAW '07), Vol 2. pp.875-880, May. 2007.
  11. B. Jansen, and R. Deklerck, "Context aware inactivity recognition for visual fall detection," Pervasive Health Conference and Workshops, pp.1-4, December 2006.
  12. N.Thome and S. Miguet, "A HHMM-Based Approach for Robust Fall Detection," International Conference on Control, Automation, Robotics and Vision, pp.1-8. December 2006.
  13. D. Anderson, J.M. Keller, M. Skubic, X. Chen, and Z. He, "Recognizing Falls from Silhouettes," Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp.6388-6391, Aug. 2006.
  14. H. Nait-Charif and S. McKenna, "Activity summarisation and fall detection in supportive home environment," In Proceedings of the 17th International Conference on Pattern Recognition(ICPR), Vol. 4, pp.323-326, Aug. 2004.
  15. S.-G. Miaou, P.-H. Sung, and C.-Y. Huang, "A Customized Human Fall Detection System Using Omni-Camera Images and Personal Information," Proc. of Distributed Diagnosis and Home Healthcare(D2H2) Conference, pp.30-42, Apr. 2006.
  16. M.-L. Wang, C.-C. Huang and H.-Y. Lin, "An IntelligentSurveillance System Based on an Omnidirectional Vision Sensor," IEEE Conference on Cybernetices and Intelligent Systems, pp.1-6, June 2006.
  17. 소인미, 한대경, 강선경, 김영운, 정성태, "어안렌즈 카메라를 이용한 기절동작 인식" 한국컴퓨터정보학회논문지, 제 13권, 제 4호, 97-103쪽, 2008년 7월.
  18. 김영운, 강선경, 소인미, 한대경, 김윤진, 정성태, "멀티모달 정보를 이용한 응급상황 인식 시스템," 대한전자공학회 하계학술대회, 제 3권, 제 1호, 757-758쪽, 2008년 6월.
  19. C. Stauffer and W.E.L. Grimson, "Adaptive background mixture models for real-time tracking," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 2, pp.246-252, June 1999.
  20. R. Crane, "A simplified approach to image processing," Prentice Hall, 1997.
  21. I. Pitas, "Digital Image Processing schemes and Application," New York, John Wiley and Songs Inc., 2000.
  22. A. Fitzgibbon, M. Pilu and R.B. Fisher, "Direct least square fitting of ellipses," IEEE Transactions on Pattern Analysis andMachnie Intelligence, Vol. 21, No. 5, pp.476-489, May 1999. https://doi.org/10.1109/34.765658
  23. 이동규, 이기정, 황보택근, 임혁규, "신경망을 이용한 동작분석과 원격 응급상황 검출 시스템," 한국콘텐츠학회 논문지, 제 6권, 제 9호, 2006년 9월.
  24. 소인미, 강선경, 김영운, 이지근, 정성태, "헬스케어를 위한 영상기반 기절동작 인식시스템 개발," 한국컴퓨터정보학회논문지, 제 11권, 제 6호, 279-287쪽, 2006년 12월.