DOI QR코드

DOI QR Code

Multidimensional Affective model-based Multimodal Complex Emotion Recognition System using Image, Voice and Brainwave

다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템

  • Oh, Byung-Hun (School of Information and Communication Engineering, Sungkyunkwan University) ;
  • Hong, Kwang-Seok (School of Information and Communication Engineering, Sungkyunkwan University)
  • 오병훈 (성균관대학교 정보통신공학부) ;
  • 홍광석 (성균관대학교 정보통신공학부)
  • Published : 2016.04.29

Abstract

본 논문은 다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템을 제안한다. 사용자의 얼굴 영상, 목소리 및 뇌파를 기반으로 각각 추출된 특징을 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 다차원 정서모델(Arousal, Valence, Dominance)에 대한 명시적 감응 정도 데이터로 대응하여 스코어링(Scoring)을 수행한다. 이후, 스코어링을 통해 나온 결과 값을 이용하여 다차원으로 구성되는 3차원 감정 모델에 매핑하여 인간의 감정(단일감정, 복합감정)뿐만 아니라 감정의 세기까지 인식한다.

Keywords