Journal of KIISE (정보과학회 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Event Cognition-based Daily Activity Prediction Using Wearable Sensors

웨어러블 센서를 이용한 사건인지 기반 일상 활동 예측

  • 이충연 (서울대학교 컴퓨터공학부) ;
  • 곽동현 (서울대학교 뇌과학협동과정) ;
  • 이범진 (서울대학교 컴퓨터공학부) ;
  • 장병탁 (서울대학교 컴퓨터공학부)
  • Received : 2016.02.18
  • Accepted : 2016.04.22
  • Published : 2016.07.15
⟨ Previous Next ⟩

Abstract

Learning from human behaviors in the real world is essential for human-aware intelligent systems such as smart assistants and autonomous robots. Most of research focuses on correlations between sensory patterns and a label for each activity. However, human activity is a combination of several event contexts and is a narrative story in and of itself. We propose a novel approach of human activity prediction based on event cognition. Egocentric multi-sensor data are collected from an individual's daily life by using a wearable device and smartphone. Event contexts about location, scene and activities are then recognized, and finally the users" daily activities are predicted from a decision rule based on the event contexts. The proposed method has been evaluated on a wearable sensor data collected from the real world over 2 weeks by 2 people. Experimental results showed improved recognition accuracies when using the proposed method comparing to results directly using sensory features.

실제 환경에서 사람의 일상적인 활동을 학습하는 기술은 스마트 비서나 자율지능 로봇과 같은 인지 지능 시스템 개발을 위해 필요한 핵심 기술이다. 일상을 예측하는 대다수의 연구들은 센서 데이터의 패턴과 일상 활동 사이의 직접적인 상관관계를 탐색하는 것에 집중하였다. 하지만 일상에서의 인간 활동은 하나의 레이블로 표현하기 어려운 다수의 사건 집합이고 또한 서술 가능한 특성을 지니고 있다. 본고에서는 일상을 구성하는 사건 요소들을 우선 인식하고, 이후 일상 활동을 학습 및 예측하는 방법을 제안한다. 제안하는 방법은 개인의 일상에서 웨어러블 장치와 스마트폰으로부터 수집된 일인칭 시점의 멀티 센서 데이터로부터 위치 좌표, 장면 영상, 그리고 신체적 움직임에 기인한 사건 요소들을 각각 인식한 뒤, 이 정보들이 특정 활동 내역에 따라 조합되는 규칙을 학습하여 최종적으로 사용자의 일상 활동을 예측한다. 두 명의 실험 참가자가 각각 2주간 수집한 센서 데이터를 이용하여 실험한 결과는 제안한 방법이 센서 데이터로부터 추출된 특징을 일차적으로 사용하여 분류하는 기존의 방법과 비교하여 향상된 성능을 보였다.

Keywords

Acknowledgement

Supported by : 정보통신기술진흥센터, 한국산업기술평가관리원, 국방과학연구소

References

  1. D. Castro, S. Hickson, V. Bettadapura, E. Thomaz, G. Abowd, H. Chirstensen, and I. Essa, "Predicting daily activities from egocentric images using deep learning," Proc. International Symposium on Wearable Computers (ISWC-2015), pp. 75-82, 2015.
  2. S. Hodges, L. Williams, E. Berry, S. Izadi, J. Srinivasan, A. Butler, G. Smyth, N. Kapur, and K. Wood, "Sensecam; A retrospective memory aid," Proc. UbiComp 2006, pp. 177-193, Springer, 2006.
  3. G. O'Loughlin, S.J. Cullen, A. McGoldrick, S. O'Connor, R. Blain, S. O'Malley, and G.D. Warrington, "Using a wearable camera to increase the accuracy of dietary analysis," American Journal of Preventive Medicine, Vol. 44, No. 3, pp. 297-301, 2013. https://doi.org/10.1016/j.amepre.2012.11.007
  4. G. Marcu, A.K. Dey, and S. Kiesler, "Parent-driven use of wearable cameras for autism support: A field sutdy with families," Ubicomp 2012, pp. 401-410, 2012.
  5. J. Kerr, S.J. Marshall, H. badland, J. Kerr, M. Oliver, A.R. Doherty, and C. Foster, "An ethical framework for automated, wearable cameras in health behavior research," American Journal of Preventive Medicine, Vol. 44, No. 3, pp. 314-319, 2013. https://doi.org/10.1016/j.amepre.2012.11.006
  6. H. Zhang, L. Li, W. Jia, J.D. Fernstrom, R.J. Sclabassi, and M. Sun, "Recognizing physical activity from ego-motion of a camera," IEEE EMBS, pp. 5569-5572, 2010.
  7. K. Ramirez-Amaro, M. Beetz, and G. Cheng, "Transferring skills to humanoid robots by extracting semantic representations from observations of human activities," Artificial Intelligence, 2015.
  8. J. Biagioni and J. Krumm, "Days of our lives: Assessing day similarity from location traces," User Modeling, Adaptation, and Personalization, pp. 89-101, Springer, 2013.
  9. F.-T. Sun, Y.-T. Yeh, H.-T. Cheng, C. Kuo, and M.L. Griss, "Nonparametric discovery of human routines from sensor data," Proc. Pervasive Computing and Communications (PerCom-2014), pp. 11-19, 2014.
  10. N. Eagle, and A.S. Pentland, "Eigenbehaviors: Identifying structure in routine," Behavioral Ecology and Sociobiology, Vol. 63, No. 7, pp. 1057-1066, 2009. https://doi.org/10.1007/s00265-009-0739-0
  11. B.P. Clarkson, "Life patterns: structure from wearable sensors," Ph.D. Thesis, MIT, Cambridge, MA, 2005.
  12. C.-Y. Lee, D.-H. Kwak, H. Kwak, B.-T. Zhang, "Activity recognition by learning auditory-visual lifelogs from wearable sensors," Proc. Korea Computer Congress 2015 (KCC 2015), pp. 921-923, 2015.
  13. A. Krizhevsky, I. Sutskever, G. E. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems 25 (NIPS 2012), pp. 1097-1105, 2012.
  14. A. Vedaldi, K. Lenc, "MatConvNet-convolutional neural networks for MATLAB," arXiv:1412.4564, 2014.