• 한국멀티미디어학회논문지
• /
• 제25권2호
• /
• pp.215-220
• /
• 2022

Emotion recognition is one of the most important and challenging areas of computer vision. Nowadays, many studies on emotion recognition were conducted and the performance of models is also improving. but, more research is needed on emotion recognition and sentiment analysis of video viewers. In this paper, we propose an emotion analysis system the includes a sentiment analysis model and an interest prediction model. We analyzed the emotional patterns of people watching popular and unpopular videos and predicted the level of interest using the emotion analysis system. Experimental results showed that certain emotions were strongly related to the popularity of videos and the interest prediction model had high accuracy in predicting the level of interest.

• 디지털융복합연구
• /
• 제12권12호
• /
• pp.249-255
• /
• 2014

최근 트위터, 페이스북 등과 같은 소셜 네트워크 서비스(Social Network Service, SNS)의 확산과 더불어 정보의 생성 및 공유가 활발히 이루어지고 있다. 이러한 SNS 매체들을 통해 생산하는 많은 데이터를 활용하기 위해 축적된 데이터로부터 의미 있는 정보를 추출해 내는 기술의 필요성이 대두되고 있으며, 데이터 마이닝 기법을 이용하여 의미있는 지식을 찾아낸다. 특히, 다양한 형태의 방대한 자료들로부터 표출되는 의견, 정책, 성향, 감정 등 대중의 집단지성에 나타난 일반적인 감정분석이 활용되고 있다. 본 논문에서는 대중들이 SNS를 통해 작성한 사용자들의 짧은 문장에 함축된 단어와 단어들 간의 연관성을 이용하여 문장 내 감정 상태를 예측하고 사용자의 감정에 따른 적절한 답변이나 추출한 감정과 유사한 트윗글이나 영화 등을 추천하는데 사용될 수 있는 방법을 제안한다.

• 디지털융복합연구
• /
• 제17권1호
• /
• pp.239-247
• /
• 2019

감정을 정확히 예측하는 것은 환자중심의 의료디바이스 개발 및 감성관련 산업에서 매우 중요한 이슈이다. 감정예측에 관한 많은 연구 중 감정 예측에 심박 변동성과 뉴로-퍼지 접근법을 적용한 연구는 없다. 본 연구는 HRV를 이용한 ANFEP(Adaptive Neuro Fuzzy system for Emotion Prediction)을 제안한다. ANFEP의 핵심 기능은 인공 신경망과 퍼지시스템을 통합해 예측 모델을 학습하는 ANFIS(Adaptive Neuro-Fuzzy Inference System)에 기반한다. 제안 모형의 검증을 위해 50명의 실험자를 대상으로 청각자극으로 감정을 유발하고, 심박변이도를 구하여 ANFEP 모형에 입력하였다. STDRR과 RMSSD를 입력으로 하고 입력변수 당 2개의 소속함수로 하는 ANFEP모형이 가장 좋은 결과를 나타났다. 제안한 감정예측 모형을 선형회귀 분석, 서포트 벡터 회귀, 인공신경망, 랜덤 포레스트와 비교한 결과 본 제안모형이 가장 우수한 성능을 보였다. 연구 결과는 보다 적은 입력으로 신뢰성 높은 감정인식이 가능함을 입증했고, 이를 활용해 보다 정확하고 신뢰성 높은 감정인식 시스템 개발에 대한 연구가 필요하다.

• 융합정보논문지
• /
• 제10권10호
• /
• pp.40-46
• /
• 2020

인터넷의 발전으로 사용자들은 자신의 경험이나 의견을 공유한다. 영화평과 같은 비정형 문서의 전체적인 감정이나 장르 등의 정보를 고려하지 않고 연관된 키워드를 사용하기 때문에 적절한 감정 상황에 따른 감성 정확도를 저해한다. 따라서 사용자들이 작성한 비정형 문서가 속한 장르나 전반적인 감정 등의 정보를 기반으로 감성을 예측하는 시스템을 제안한다. 먼저, 비정형 문서로부터 기쁨, 화남, 공포, 슬픔 등의 감정 집합과 연관된 대표 키워드를 추출하고, 감정 특징단어들의 정규화된 가중치와 비정형 문서의 정보를 훈련 집합으로 CNN과 LSTM을 조합한 시스템에 훈련한다. 최종적으로 영화 정보와 형태소 분석기와 n-gram을 통해 추출한 정제된 단어들과 이모티콘, 이모지 등을 테스트함으로써 감정을 이용한 감성 예측 정확도와 F-measure 측면에서 향상됨을 보였다. 제안한 예측시스템은 슬픈 영화에서 슬픈 단어의 사용과 공포 영화에서 무서운 단어 등의 사용으로 인해 부정으로 판단하는 오류를 피함으로써, 감성을 상황에 따라 적절하게 예측할 수 있다.

• International Journal of Contents
• /
• 제18권3호
• /
• pp.11-20
• /
• 2022

Human Emotion Recognition is an exciting topic that has been attracting many researchers for a lengthy time. In recent years, there has been an increasing interest in exploiting contextual information on emotion recognition. Some previous explorations in psychology show that emotional perception is impacted by facial expressions, as well as contextual information from the scene, such as human activities, interactions, and body poses. Those explorations initialize a trend in computer vision in exploring the critical role of contexts, by considering them as modalities to infer predicted emotion along with facial expressions. However, the contextual information has not been fully exploited. The scene emotion created by the surrounding environment, can shape how people perceive emotion. Besides, additive fusion in multimodal training fashion is not practical, because the contributions of each modality are not equal to the final prediction. The purpose of this paper was to contribute to this growing area of research, by exploring the effectiveness of the emotional scene gist in the input image, to infer the emotional state of the primary target. The emotional scene gist includes emotion, emotional feelings, and actions or events that directly trigger emotional reactions in the input image. We also present an attention-based fusion network, to combine multimodal features based on their impacts on the target emotional state. We demonstrate the effectiveness of the method, through a significant improvement on the EMOTIC dataset.

• 한국융합학회논문지
• /
• 제9권11호
• /
• pp.69-74
• /
• 2018

인터넷 기술과 다양한 정보 기술의 융합을 통해 광대한 정보를 수집 및 가공하여 사용자 취향에 맞는 다양한 지식을 서로 주고받을 수 있게 되었다. 특히, 영화 미디어 속에 내포된 감정 변화의 흐름을 통해 사용자의 취향과 연결된 밀접한 콘텐츠를 선호하는 경향이 있다. 사용자는 스크립트에 나타난 정보를 바탕으로 전체적인 감정의 흐름이나 특정한 등장인물, 또는 특정한 장면에서의 감정의 흐름을 보다 빠르게 이해하기 위해 시각화하고자 한다. 본 논문에서는 영화 웹페이지로부터 정제되지 않은 데이터를 획득한 후, 정제 과정을 거쳐 표준화된 스크립트 형식으로 변환한다. 정제된 데이터를 XML 문서로 변환하여 다양한 정보를 쉽게 획득한 후, 감정 예측 시스템에 각 문단을 입력하여 다양한 감정을 예측한다. 예측된 감정들의 흐름과 스크립트에 포함된 정보량을 혼합하여 사용자가 필요로 하는 다양한 감정의 전체적 또는 특정 부분에서 캐릭터들 간의 감정 상태의 변화를 시각화를 통해 쉽게 이해할 수 있는 시스템을 제안한다.

• 한국융합학회논문지
• /
• 제9권5호
• /
• pp.33-41
• /
• 2018

본 연구는 심박변이도(HRV)와 인공신경망을 이용하여 강건하고 정확한 융복합 감정예측 모형인 EPNN (Emotion Prediction Neural Network)을 개발하는 것을 주요 연구목적으로 한다. 본 연구에서 제안하는 EPNN은 기존 유사연구와는 달리 은닉노드의 활성함수로서 하이퍼볼릭 탄젠트, 선형, 가우시안 함수를 융복합적으로 이용하여 모형의 정확도를 향상시킨다. 본 연구에서는 EPNN의 타당성을 검증하기 위하여 20명의 실험자를 대상으로 머니게임으로 감정을 유도한 후에 해당 실험자의 심박변이도 측정값을 입력자료로 사용하였다. 아울러 그들의 Valence와 Arousal을 EPNN의 출력값으로 사용하였다. 실험결과 Valence에 대한 F-Measure는 80%이고, Arousal의 경우 95%로 나타났다. 한편 EPNN의 타당성을 측정하기 위하여 기존 감정예측 연구에 사용된 경쟁모형인 인공신경망, 로지스틱 회귀분석, 서포트 벡터 머신, 랜덤 포레스트 모형과 성과를 비교하였다. 그 결과 본 연구에서 제안하는 EPNN이 더 우수한 감정예측 결과를 보였다. 본 연구의 결과는 향후 유비쿼터스 디지털 헬스 환경에서 사용되는 다양한 웨어러블 기기에 적용되어 사용자들의 일상생활 속에서 시시각각 변하는 감정을 정확히 예측하고 적절하게 관리하는데 적용될 수 있을 것이다.

• 한국융합학회논문지
• /
• 제9권12호
• /
• pp.33-38
• /
• 2018

최근에 다양한 정보로부터 감정을 예측하여 청중에게 감독이 알리고자 하는 정보를 빠르게 전달하고자 한다. 또한, 청중은 감독의 의도를 대화 내용에 나타나는 대사뿐만 아니라, 영상내의 다양한 정보인 촬영 기법, 장면의 배경, 배경 음악 등을 통해 비대사 구간에서도 감정의 흐름을 이해하려고 한다. 본 논문에서는 대사와 같은 문맥의 상황뿐만 아니라, 촬영 영상에 담아낸 색상, 음향, 구도, 배치 등에 의해 표현된 정보를 혼합하여 감정을 추출하고자 한다. 즉, 다양한 감정 표현 기법을 대사 구간, 비대사 구간으로 나누어 학습하고 판별하여 영상의 완성도에 기여하고 새로운 변화에 빠르게 적용할 수 있는 감정 예측 시스템을 제안한다. 본 논문에서 제안한 감정 예측시스템이 변형된 n-gram 방식과 형태소 분석을 적용한 사례와 비교했을 때, 정확도는 약 5.1%, 0.4% 향상되었고, 재현율은 약 4.3%, 1.6% 향상되었다.

• 디지털융복합연구
• /
• 제14권11호
• /
• pp.267-273
• /
• 2016

모바일의 확산과 더불어 정형화된 자료뿐만 아니라 다양한 형태의 비정형화된 자료로부터 정보가 생성되고 정보 전달 및 공유가 활발히 이루어지고 있다. 최근에는 다양한 SNS 매체들로부터 생산 및 배포되는 많은 자료들 중에서 유의미한 정보를 추출하는 기술로 빅데이터 기술을 많이 사용하며, 빅데이터 분석 기법 중 하나인 데이터 마이닝 기법을 사용한다. 특히, SNS로부터 수집된 방대하고 다양한 자료들을 이용하여 대중의 집단지성에 표출된 일반적인 감정을 분석하여 다양한 분야에 활용한다. 본 논문에서는 SNS를 통해 작성된 짧은 문단 내 함축된 키워드와 키워드들 간의 연관성을 이용하여 문단에 나타난 감정을 예측하고 사용자별 감정에 따른 적절한 답변이나 예측된 감정과 유사한 상품이나 영화 등 다양한 추천시스템에 사용될 수 있도록 형태소 분석과 변형된 n-gram방법을 혼합하여 효율적인 감정 예측 시스템을 제안한다. 제안된 시스템은 평균 82.25%의 재현율을 보여 기존의 시스템에 비해 더욱 향상된 성능을 보여 주었고, 형태소분석을 통해 의미 있는 키워드 추출에 도움이 될 것으로 기대한다.

• 감성과학
• /
• 제22권3호
• /
• pp.55-64
• /
• 2019

Stroke is a health problem experienced by many elderly people around the world. Stroke has a devastating effect on quality of life, causing death or disability. Hemiplegia is clearly an early sign of a stroke and can be detected through patterns of body balance and gait. The goal of this study was to determine various feature vectors of foot pressure and gait parameters of patients with stroke through the use of a wearable sensor and to compare the gait parameters with those of healthy elderly people. To monitor the participants at all times, we used a simple measuring device rather than a medical device. We measured gait data of 220 healthy people older than 65 years of age and of 63 elderly patients who had experienced stroke less than 6 months earlier. The center of pressure and the acceleration during standing and gait-related tasks were recorded by a wearable insole sensor worn by the participants. Both the average acceleration and the maximum acceleration were significantly higher in the healthy participants (p < .01) than in the patients with stroke. Thus gait parameters are helpful for determining whether they are patients with stroke or normal elderly people.