Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지

Implementation of Real Time Facial Expression and Speech Emotion Analyzer based on Haar Cascade and DNN

Haar Cascade와 DNN 기반의 실시간 얼굴 표정 및 음성 감정 분석기 구현

  • Yu, Chan-Young (Dept. of Computer Engineering, Kumoh National Institute of Technology) ;
  • Seo, Duck-Kyu (Dept. of Computer Engineering, Kumoh National Institute of Technology) ;
  • Jung, Yuchul (Dept. of Computer Engineering, Kumoh National Institute of Technology)
  • 유찬영 (금오공과대학교 컴퓨터공학과) ;
  • 서덕규 (금오공과대학교 컴퓨터공학과) ;
  • 정유철 (금오공과대학교 컴퓨터공학과)
  • Published : 2021.01.21
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 인간의 표정과 목소리를 기반으로 한 감정 분석기를 제안한다. 제안하는 분석기들은 수많은 인간의 표정 중 뚜렷한 특징을 가진 표정 7가지를 별도의 클래스로 구성하며, DNN 모델을 수정하여 사용하였다. 또한, 음성 데이터는 학습 데이터 증식을 위한 Data Augmentation을 하였으며, 학습 도중 과적합을 방지하기 위해 콜백 함수를 사용하여 가장 최적의 성능에 도달했을 때, Early-stop 되도록 설정했다. 제안하는 표정 감정 분석 모델의 학습 결과는 val loss값이 0.94, val accuracy 값은 0.66이고, 음성 감정 분석 모델의 학습 결과는 val loss 결과값이 0.89, val accuracy 값은 0.65로, OpenCV 라이브러리를 사용한 모델 테스트는 안정적인 결과를 도출하였다.

Keywords