• 지능정보연구
• /
• 제19권2호
• /
• pp.73-85
• /
• 2013

정보기술의 비약적 발전에 힘입어, 오늘날 기업들은 지금까지 축적한 고객 데이터를 기반으로 맞춤형 서비스를 제공하는 것에 많은 관심을 가지고 있다. 고객에게 소구하는 맞춤형 서비스를 효과적으로 제공하기 위해서는 우선 그 고객이 처한 상태나 상황을 정확하게 인지하는 것이 중요하다. 특히, 고객에게 서비스가 전달되는 이른바 진실의 순간에 해당 고객의 감정 상태를 정확히 인지할 수 있다면, 기업은 더 양질의 맞춤형 서비스를 제공할 수 있을 것이다. 이와 관련하여 사람의 얼굴과 행동을 이용하여 사람의 감정을 판단하고 개인화 서비스를 제공하기 위한 연구가 활발하게 이루어지고 있다. 얼굴 표정을 통해 사람의 감정을 판단하는 연구는 좀 더 미세하고 확실한 변화를 통해 정확하게 감정을 판단할 수 있지만, 장비와 환경의 제약으로 실제 환경에서 다수의 관객을 대상으로 사용하기에는 다소 어려움이 있다. 이에 본 연구에서는 Plutchik의 감정 분류 체계를 기반으로 사람들의 행동을 통해 감정을 추론해내는 모형을 개발하는 것을 목표로 한다. 본 연구는 콘텐츠에 의해 유발된 사람들의 감정적인 변화를 사람들의 행동 변화를 통해 판단하고 예측하는 모형을 개발하고, 4가지 감정 별 행동 특징을 추출하여 각 감정에 따라 최적화된 예측 모형을 구축하는 것을 목표로 한다. 모형 구축을 위해 사람들에게 적절한 감정 자극영상을 제공하고 그 신체 반응을 수집하였으며, 사람들의 신체 영역을 나누었다. 특히, 모션캡쳐 분야에서 널리 쓰이는 차영상 기법을 적용하여 사람들의 제스쳐를 추출 및 보정하였다. 이후 전처리 과정을 통해 데이터의 타임프레임 셋을 20, 30, 40 프레임의 3가지로 설정하고, 데이터를 학습용, 테스트용, 검증용으로 구분하여 인공신경망 모형을 통해 학습시키고 성과를 평가하였다. 다수의 일반인들을 대상으로 수집된 데이터를 이용하여 제안 모형을 구축하고 평가한 결과, 프레임셋에 따라 예측 성과가 변화함을 알 수 있었다. 감정 별 최적 예측 성과를 보이는 프레임을 확인할 수 있었는데, 이는 감정에 따라 감정의 표출 시간이 다르기 때문인 것으로 판단된다. 이는 행동에 기반한 제안된 감정예측모형이 감정에 따라 효과적으로 감정을 예측할 수 있으며, 실제 서비스 환경에서 사용할 수 있는 효과적인 알고리즘이 될 수 있을 것으로 기대할 수 있다.

• 한국음향학회지
• /
• 제41권2호
• /
• pp.115-121
• /
• 2022

본 논문에서는 음악 청취 시에 나타나는 뇌파 특징을 이용하여 사용자 감정에 따른 음악 분류 시스템을 제안한다. 제안된 시스템에서는 뇌파 신호로부터 추출한 감정별 뇌파 특징과 음악신호에서 추출한 청각적 특징 간의 관계를 회귀 심층신경망을 통해 학습한다. 실제 적용 시에는 이러한 회귀모델을 기반으로 제안된 시스템은 입력되는 음악의 청각 특성에 매핑된 뇌파 신호 특징을 자동으로 생성하고, 이 특징을 주의집중 기반의 심층신경망에 적용함으로써 음악을 자동으로 분류한다. 실험결과는 제안된 자동 음악분류 프레임 워크의 음악 분류 정확도를 제시한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권8호
• /
• pp.3473-3487
• /
• 2020

In this paper, we present a new approach to creating speech animation with emotional expressions using a small set of example models. To generate realistic facial animation, two example models called key visemes and expressions are used for lip-synchronization and facial expressions, respectively. The key visemes represent lip shapes of phonemes such as vowels and consonants while the key expressions represent basic emotions of a face. Our approach utilizes a text-to-speech (TTS) system to create a phonetic transcript for the speech animation. Based on a phonetic transcript, a sequence of speech animation is synthesized by interpolating the corresponding sequence of key visemes. Using an input parameter vector, the key expressions are blended by a method of scattered data interpolation. During the synthesizing process, an importance-based scheme is introduced to combine both lip-synchronization and facial expressions into one animation sequence in real time (over 120Hz). The proposed approach can be applied to diverse types of digital content and applications that use facial animation with high accuracy (over 90%) in speech recognition.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.559-561
• /
• 2022

인공지능 시대에 들어서면서 개인 맞춤형 환경을 제공하기 위하여 사람의 감정을 인식하고 교감하는 기술이 많이 발전되고 있다. 사람의 감정을 인식하는 방법으로는 얼굴, 음성, 신체 동작, 생체 신호 등이 있지만 이 중 가장 직관적이면서도 쉽게 접할 수 있는 것은 표정이다. 따라서, 본 논문에서는 정확도 높은 얼굴 감정 식별을 위해서 Convolution Block Attention Module(CBAM)의 각 Gate와 Residual Block, Skip Connection을 이용한 Identity- CBAM Module을 제안한다. CBAM의 각 Gate와 Residual Block을 이용하여 각각의 표정에 대한 핵심 특징 정보들을 강조하여 Context 한 모델로 변화시켜주는 효과를 가지게 하였으며 Skip-Connection을 이용하여 기울기 소실 및 폭발에 강인하게 해주는 모듈을 제안한다. AI-HUB의 한국인 감정 인식을 위한 복합 영상 데이터 세트를 이용하여 총 6개의 클래스로 구분하였으며, F1-Score, Accuracy 기준으로 Identity-CBAM 모듈을 적용하였을 때 Vanilla ResNet50, ResNet101 대비 F1-Score 0.4~2.7%, Accuracy 0.18~2.03%의 성능 향상을 달성하였다. 또한, Guided Backpropagation과 Guided GradCam을 통해 시각화하였을 때 중요 특징점들을 더 세밀하게 표현하는 것을 확인하였다. 결과적으로 이미지 내 표정 분류 Task에서 Vanilla ResNet50, ResNet101을 사용하는 것보다 Identity-CBAM Module을 함께 사용하는 것이 더 적합함을 입증하였다.

• 응용통계연구
• /
• 제31권5호
• /
• pp.539-554
• /
• 2018

최근 등장하는 다양한 사물인터넷 기기 혹은 상황인식 기반의 인공지능에서는 사용자와 기기의 상호작용이 중요시 된다. 특히 인간을 대상으로 상황에 맞는 대응을 하기 위해서는 인간의 표정을 실시간으로 인식하여 빠르고 정확한 판단을 내리는 것이 필요하다. 따라서, 보다 빠르고 정확하게 표정을 인식하는 시스템을 구축하기 위해 얼굴 이미지 분석에 대한 많은 연구들이 선행되어 왔다. 본 연구에서는 웹사이트 Kaggle에서 제공한 48*48 8-bit grayscale 이미지 데이터셋을 사용하여 얼굴인식과 표정분류로 구분된 두 단계를 거치는 얼굴표정 자동 인식 시스템을 구축하였고, 이를 기존의 연구와 비교하여 자료 및 방법론의 특징을 고찰하였다. 분석 결과, Face landmark 정보에 주성분분석을 적용하여 단 30개의 주성분만으로도 빠르고 효율적인 예측모형을 얻을 수 있음이 밝혀졌다. LDA, Random forest, SVM, Bagging 중 SVM방법을 적용했을 때 가장 높은 정확도를 보이며, LDA방법을 적용하는 경우는 SVM 다음으로 높은 정확도를 보이며, 매우 빠르게 적합하고 예측하는 것이 가능하다.

• 한국콘텐츠학회논문지
• /
• 제18권2호
• /
• pp.370-377
• /
• 2018

집중도는 사용자 연구에서 중요한 감성적 반응으로 고려되고 있다. 객관적인 측정 방법으로 심장반응을 이용하여 데이터화 한다면 집중도를 감시할 수 있다. 본 연구의 목적은 상호작용을 하는 상황에서 유발되는 집중도의 차이에 따른 심장 반응의 패턴 분석을 통해 객관적이고 정량적으로 집중도를 인식하는 방법을 개발하는 것이다. 대학생 피험자 60명이 집중도 실험에 참여하였고 실험하는 동안 피실험자들의 심전도를 측정하였다. 실험은 화살로 타겟을 맞추는 게임으로 쉬운 난이도와 어려운 난이도로 구성하였다. 심전도로 부터 시간 영역 인디케이터와 주파수 영역 인디케이터를 추출하였다. 독립 표본 t검정 결과, 심전도로부터 추출한 시간 영역 인디케이터인 RRI와 SDNN, rMSSD, pNN50에서 집중도 차이에 따라 통계적으로 차이가 유의미하였다. 주파수 영역 인디케이터에서는 LF와 HF, lnLF, lnHF가 집중도 차이에 따라 통계적으로 차이가 유의미하였다. 이 중 집중도의 차이에 따라 패턴의 차이가 큰 RRI와 rMSSD, lnHF를 선정하여 통합 인디케이터를 생성하였다. 통합 인디케이터를 통해 도출한 룰베이스를 낮은 집중과 높은 집중 60개의 데이터 샘플을 통해 검증한 결과, 95%로 높은 인식 정확도를 보였다. 본 연구에서 제안한 집중도 인식 방법을 콘텐츠를 비롯한 다양한 분야에 적용하여 집중도를 높일 수 있는 컨텐츠적 요소들을 개발한다면 효율 및 흥미를 증진시킬 것이라 기대된다.

• Healthcare Informatics Research
• /
• 제24권4호
• /
• pp.309-316
• /
• 2018

Objectives: Both the valence and arousal components of affect are important considerations when managing mental healthcare because they are associated with affective and physiological responses. Research on arousal and valence analysis, which uses images, texts, and physiological signals that employ deep learning, is actively underway; research investigating how to improve the recognition rate is needed. The goal of this research was to design a deep learning framework and model to classify arousal and valence, indicating positive and negative degrees of emotion as high or low. Methods: The proposed arousal and valence classification model to analyze the affective state was tested using data from 40 channels provided by a dataset for emotion analysis using electrocardiography (EEG), physiological, and video signals (the DEAP dataset). Experiments were based on 10 selected featured central and peripheral nervous system data points, using long short-term memory (LSTM) as a deep learning method. Results: The arousal and valence were classified and visualized on a two-dimensional coordinate plane. Profiles were designed depending on the number of hidden layers, nodes, and hyperparameters according to the error rate. The experimental results show an arousal and valence classification model accuracy of 74.65 and 78%, respectively. The proposed model performed better than previous other models. Conclusions: The proposed model appears to be effective in analyzing arousal and valence; specifically, it is expected that affective analysis using physiological signals based on LSTM will be possible without manual feature extraction. In a future study, the classification model will be adopted in mental healthcare management systems.

• 문화기술의 융합
• /
• 제6권2호
• /
• pp.449-454
• /
• 2020

본 논문에서는 SNS에 게시된 글의 내용을 통해 사용자의 우울함을 검출하는 기계학습 기반 감성 분석 시스템을 제안한다. 게시한 글의 작성자가 기분을 파악하는 시스템을 구현하기 위해 먼저 감정 사전에서 우울한 감정의 단어와 그렇지 않은 감정과 관련된 단어를 목록화하였다. 그 후, SNS를 대표하는 서비스 중 하나인 트위터의 텍스트 자료에서 검색 키워드를 선정하고 크롤링을 시행하여 우울한 감정을 띤 문장 1297개와 그렇지 않은 문장 1032개로 이뤄진 학습 데이터셋을 구축하였다. 마지막으로 텍스트 기반 우울감 검출 목적에 가정 적합한 기계학습 모델을 찾기 위해 수집한 데이터셋을 바탕으로 순환신경망, 장단기메모리, 그리고 게이트 순환 유닛을 비교 평가하였고, 그 결과 GRU 모델이 다른 모델들보다 2~4%가량의 높은 92.2%의 정확도를 보임을 확인하였다. 이 연구 결과는 SNS상의 게시글을 토대로 사용자의 우울증을 예방하거나 치료를 유도하는 데 활용될 수 있을 것이다.

• 감성과학
• /
• 제14권4호
• /
• pp.627-636
• /
• 2011

본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

• 한국콘텐츠학회논문지
• /
• 제6권3호
• /
• pp.125-134
• /
• 2006

본 논문은 음성이 인간에게 전달되어 나타나는 여러 가지 감정 표현 중에서 단지 4가지 감정 즉 두려움, 싫증, 놀람 그리고 중성에 대한 감정 표현이 얼굴과 몸동작에 동시에 나타내는 애니메이션 시스템인 HEEAS(Human Emotional Expression Animation System)를 구현하는데 그 주된 목적이 있다. 이를 위해서 본 논문에서는 감정 표현이 풍부한 한국인 20대 청년을 모델로 설정하였다. 또한 입력되어진 음성 신호를 통해서 추출된 감정표현에 대한 데이터를 얼굴코드와 몸동작코드를 부여하고 이를 데이터 베이스화 하여 실제 애니메이션 구현을 하기 위한 처리의 시간을 최소화하였다. 즉, 입력되어진 음성 신호를 이용해서 원하는 결과인 얼굴, 몸동작에 대한 자료를 이진 검색을 이용해서 데이터베이스에서 찾으므로 검색 시간을 최소화하였다. 실제 감정 표현에 대한문제들을 실험을 통해서 얻은 결과가 99.9%의 정확도임을 알 수가 있었다.