최근 팬데믹의 영향과 ICT 기술의 발전으로 인해 비대면·무인 시스템의 활용이 확대되고 있으며, 비대면 상황에서 의사소통은 감정을 이해하는 것이 매우 중요하다. 감정을 이해하기 위해서는 다양한 표정에 대한 감정 인식 방법이 필요함에 따라 이미지 데이터에서 표정 감정 인식 개선을 위한 인공지능 기반 연구가 진행되고 있다. 하지만 기존의 표정 감정 인식 연구는 정확도 향상을 위해 대량의 데이터를 활용하기 때문에 높은 컴퓨팅 파워와 많은 학습 시간이 필요하다. 본 논문에서는 이러한 한계점을 개선하기 위해 소량 데이터로도 표정 감정 인식이 가능한 방법으로 이미지 메타 정보인 연령과 성별을 활용한 표정 감정 인식 방법을 제안한다. 표정 감정 인식을 위해 원본 이미지 데이터에서 Yolo Face 모델을 활용하여 얼굴을 검출하였으며, 이미지 메타 정보를 기반으로 VGG 모델을 통해 연령과 성별을 분류한 다음 EfficientNet 모델을 활용하여 7가지 감정을 인식하였다. 메타 정보 기반 데이터 분류 모델과 전체 데이터로 학습한 모델을 비교한 결과 제안하는 데이터 분류 학습 모델의 정확도가 더 높았음을 확인하였다.
Due to the recent pandemic and the development of ICT technology, the use of non-face-to-face and unmanned systems is expanding, and it is very important to understand emotions in communication in non-face-to-face situations. As emotion recognition methods for various facial expressions are required to understand emotions, artificial intelligence-based research is being conducted to improve facial expression emotion recognition in image data. However, existing research on facial expression emotion recognition requires high computing power and a lot of learning time because it utilizes a large amount of data to improve accuracy. To improve these limitations, this paper proposes a method of recognizing facial expressions using age and gender, which are image meta information, as a method of recognizing facial expressions with even a small amount of data. For facial expression emotion recognition, a face was detected using the Yolo Face model from the original image data, and age and gender were classified through the VGG model based on image meta information, and then seven emotions were recognized using the EfficientNet model. The accuracy of the proposed data classification learning model was higher as a result of comparing the meta-information-based data classification model with the model trained with all data.
Ji, Yi and Khalid Idrissi. uAutomatic facial expression recognition based on spatiotemporal descriptors. Pattern Recognit.Lett, vol. 33, pp. 1373-1380, 2012. https://doi.org/10.1016/j.patrec.2012.03.006
조영욱, 정면걸, 김광욱. "딥러닝을 이용한 신체움직임 기반 감정 인식 연구: 예비 데이터 수집 및 분석 기법을 중심으로," 한국 HCI 학회 학술대회, 336-340쪽, 2022년
문석호, 김성범. "한국어 영상 데이터 감정 분류를 위한 멀티모달 딥러닝 모델," 대한산업공학회 추계학술대회 논문집, 2944-2955쪽, 2020년
강도희, 김대하, 송병철, "멀티모달 감정 인식 모델의 입력 특징에 따른 성능 분석," 대한전자공학회 학술대회, 1045-1047쪽, 2021년
이지영. "한국인 얼굴 검출과 감정 분류를 위한 딥러닝 기반의 프레임워크", 국내석사학위논문 고려대학교 대학원, 2023년