Multi-Modal Emotion Recognition in Videos Based on Pre-Trained Models

사전학습 모델 기반 발화 동영상 멀티 모달 감정 인식

Recently, as the demand for non-face-to-face counseling has rapidly increased, the need for emotion recognition technology that combines various aspects such as text, voice, and facial expressions is being emphasized. In this paper, we address issues such as the dominance of non-Korean data and the imbalance of emotion labels in existing datasets like FER-2013, CK+, and AFEW by using Korean video data. We propose methods to enhance multimodal emotion recognition performance in videos by integrating the strengths of image modality with text modality. A pre-trained model is used to overcome the limitations caused by small training data. A GPT-4-based LLM model is applied to text, and a pre-trained model based on VGG-19 architecture is fine-tuned to facial expression images. The method of extracting representative emotions by combining the emotional results of each aspect extracted using a pre-trained model is as follows. Emotion information extracted from text was combined with facial expression changes in a video. If there was a sentiment mismatch between the text and the image, we applied a threshold that prioritized the text-based sentiment if it was deemed trustworthy. Additionally, as a result of adjusting representative emotions using emotion distribution information for each frame, performance was improved by 19% based on F1-Score compared to the existing method that used average emotion values for each frame.

최근 비대면 상담의 수요가 급증하면서, 텍스트뿐만 아니라 음성, 얼굴 표정 등 다양한 모달리티를 결합한 감정 인식 기술의 필요성이 강조되고 있다. 본 논문에서는 FER-2013, CK+, AFEW와 같은 기존 데이터셋의 외국인 중심, 감정 라벨 불균형 등의 문제를 해결하기 위해 한국어 동영상 데이터를 활용하고, 텍스트 모달리티를 기반으로 이미지 모달리티의 장점을 결합하여 동영상에서 멀티모달 감정 인식의 성능을 향상시키는 방법을 제안하고자 한다. 적은 데이터 학습 데이터로 인한 한계를 극복하기 위해 사전학습 모델을 활용하였는데, 텍스트는 GPT-4 기반의 LLM 모델을 적용하고, 얼굴 표정 이미지는 VGG-19 아키텍처 기반의 사전학습 모델을 파인튜닝하여 적용하였다. 사전 학습을 활용하여 추출된 각 모달리티별 감정 결과를 결합하여 대표 감정을 추출하는 방법은 텍스트에서 추출한 감정 정보와 동영상에서의 얼굴 표정 변화를 결합하는 방법으로 텍스트와 이미지 간 감정 불일치 상황에서 임곗값을 적용하여 텍스트 기반 감정을 신뢰할 수 있을 때 우선 선택하는 전략과 프레임별 감정 분포 정보를 활용하여 대표 감정을 조정하는 전략을 적용하여 기존 프레임별 감정 평균값을 사용하는 방법에 비해 F1-Score를 기준으로 19%의 성능을 향상시킬 수 있었다.