정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)

  • 제23권6호
  • /
  • Pages.386-391
  • /
  • 2017
  • /
  • 2383-6318(pISSN)
  • /
  • 2383-6326(eISSN)
한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지
DOI QR코드

DOI QR Code

웨어러블 센서를 이용한 라이프로그 데이터 자동 감정 태깅

Automated Emotional Tagging of Lifelog Data with Wearable Sensors

  • 박경화 (서울대학교 뇌과학협동과정) ;
  • 김병희 (서울대학교 컴퓨터공학부) ;
  • 김은솔 (서울대학교 컴퓨터공학부) ;
  • 조휘열 (서울대학교 컴퓨터공학부) ;
  • 장병탁 (서울대학교 컴퓨터공학부)
  • 투고 : 2016.03.24
  • 심사 : 2017.03.12
  • 발행 : 2017.06.15
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 실생활에서 수집한 웨어러블 센서 데이터에서 사용자의 체험 기반 감정 태그정보를 자동으로 부여하는 시스템을 제안한다. 사용자 본인의 감정과 사용자가 보고 듣는 정보를 종합적으로 고려하여 네 가지의 감정 태그를 정의한다. 직접 수집한 웨어러블 센서 데이터를 중심으로 기존 감성컴퓨팅 연구를 통해 알려진 보조 정보를 결합하여, 다중 센서 데이터를 입력으로 하고 감정 태그를 구분하는 머신러닝 기반 분류 시스템을 학습하였다. 다중 모달리티 기반 감정 태깅 시스템의 유용성을 보이기 위해, 기존의 단일 모달리티 기반의 감정 인식 접근법과의 정량적, 정성적 비교를 한다.

In this paper, we propose a system that automatically assigns user's experience-based emotion tags from wearable sensor data collected in real life. Four types of emotional tags are defined considering the user's own emotions and the information which the user sees and listens to. Based on the collected wearable sensor data from multiple sensors, we have trained a machine learning-based tagging system that combines the known auxiliary tools from the existing affective computing research and assigns emotional tags. In order to show the usefulness of this multi-modality-based emotion tagging system, quantitative and qualitative comparison with the existing single-modality-based emotion recognition approach are performed.

키워드

과제정보

연구 과제 주관 기관 : 정보통신기술진흥센터, 한국연구재단, 한국산업기술평가관리원

참고문헌

  1. P. Ekman and W. V. Friesen, “Detecting deception from the body or face,” J. Pers. Soc. Psychol., Vol. 29, No. 3, pp. 288-298, 1974. https://doi.org/10.1037/h0036006
  2. I. B. Mauss and M. D. Robinson, “Measures of emotion: A review,” Cogn. Emot., Vol. 23, No. 2, pp. 209-237, 2009. https://doi.org/10.1080/02699930802204677
  3. M. Shah, B. Mears, C. Chakrabarti, and A. Spanias, "Lifelogging: Archival and retrieval of continuously recorded audio using wearable devices," IEEE International Conference on Emerging Signal Processing Applications, pp. 99-102, 2012.
  4. J. Tao and T. Tan, "Affective Computing : A Review," ACII 2005, pp. 981-995, 2005.
  5. M. Soleymani, G. Chanel, J. J. M. Kierkels, and T. Pun, “Affective characterization of movie scenes based on content analysis and physiological changes,” Int. J. Semant. Comput., Vol. 3, No. 2, pp. 235-254, 2009. https://doi.org/10.1142/S1793351X09000744
  6. K. Scherer, "Adding the affective dimension: a new look in speech analysis and synthesis," ICSLP, 1996.
  7. G. Caridakis, G. Castellano, and L. Kessous, "Multimodal emotion recognition from expressive faces, body gestures and speech," Boukis C., Pnevmatikakis A., Polymenakos L. (eds) Artificial Intelligence and Innovations 2007: from Theory to Applications, 2007.
  8. E. Navas, I. Hernaez, and Iker Luengo, “An objective and subjective study of the role of semantics and prosodic features in building corpora for emotional TTS,” IEEE Trans. Audio, Speech Lang. Process, Vol. 14, No. 4, pp. 1117-1127, Jul. 2006. https://doi.org/10.1109/TASL.2006.876121
  9. F. Burkhardt, a Paeschke, M. Rolfes, W. Sendlmeier, and B. Weiss, "A database of German emotional speech," Eur. Conf. Speech Commun. Technol, Vol. 2005, pp. 3-6, 2005.
  10. H. Atassi and A. Esposito, "A speaker independent approach to the classification of emotional vocal expressions," 2008 20th IEEE Int. Conf., 2008.
  11. Huang, et al., "Speech emotion recognition using CNN," ACM International Conference on Multimedia, pp. 801-804, 2014.
  12. D. Bogdanov, N. Wack, E. Gomez, S. Gulati, P. Herrera, O. Mayor, G. Roma, J. Salamon, J. Zapata, and X. Serra, "ESSENTIA: An audio analysis library for music information retrieval," ISMIR 2013, pp. 493-498, 2013.
  13. E.-S. Kim, et al., "Behavioral pattern modeling of human-human interaction for teaching restaurant service robots," AAAI 2015 Fall Symposium on AI for Human-Robot Interaction, 2015.
  14. C. Chamaret, L. Chen, S. Member, Y. Baveye, and E. Dellandr, “LIRIS-ACCEDE: A video database for affective content analysis,” IEEE Trans. Affect. Comput., Vol. 6, No. 1, pp. 43-55, 2015. https://doi.org/10.1109/TAFFC.2015.2396531