• 전기전자학회논문지
• /
• 제22권4호
• /
• pp.1140-1146
• /
• 2018

최근 인간의 감정을 인식하는 연구 중 딥러닝 모델을 사용하여 복합적인 생체 신호를 분석하는 방법론이 대두되고 있다. 이때 학습하고자 하는 데이터의 종류에 따른 평가 방법 및 신뢰성은 감정 분류의 정확성에 있어 중요한 요소이다. 생체 신호의 경우 데이터의 신뢰성이 잡음 비율에 따라 결정되므로 잡음 검출 방법이 우수할수록 신뢰도가 올라가며, 감정을 정의하는 방법론에 따라 그에 맞는 적절한 감정 평가 방법이 수반될 때보다 정확하게 감정을 분류할 수 있다. 본 논문에서는 Valence와 Arousal로 라벨링 된 멀티모달 생체 신호 데이터에 대해 데이터의 신뢰성을 검증하기 위한 웨이블릿 기반의 잡음 임곗값 설정 알고리듬 및 감정 평가 시 데이터 신뢰도와 Valence-Arousal 값에 따른 가중치를 부여하여 감정 인식률을 향상하는 방법을 제안한다. 웨이블릿 변환을 이용해 신호의 웨이블릿 성분을 추출 후, 해당 성분의 왜도와 첨도를 구하여 햄펄 식별자를 통해 계산된 임곗값으로 잡음을 검출한 후, 원신호에 대한 잡음 비율을 고려하여 데이터의 신뢰성을 평가하고 가중치로 환산한다. 더불어 감정 데이터 분류 시 Valence-Arousal 평면의 중앙값과의 유클리디언 거리를 가중치로 환산하고, 감정 인식률에 대한 종합 평가 시 두 요소를 반영한다. ASCERTAIN 데이터셋을 활용하여 나타난 감정 인식률 개선 정도를 통해 제안된 알고리듬의 성능을 검증한다.

• 한국지능시스템학회논문지
• /
• 제20권6호
• /
• pp.806-813
• /
• 2010

표정은 사람의 감정을 표현하는 대표적인 수단이다. 이러한 이유로 표정은 사람의 의도를 컴퓨터에 전하는데 효과적인 방법으로 사용될 수 있다. 본 논문에서는 2D 영상에서 사람의 표정을 보다 빠르고 정확하게 인식하기 위해 Discrete Adaboost 알고리즘과 신경망 알고리즘을 통합하는 방법을 제안한다. 1차로 Adaboost 알고리즘으로 영상에서 얼굴의 위치와 크기를 찾고, 2차로 표정별로 학습된 Adaboost 강분류기를 이용하여 표정별 출력 값을 얻으며, 이를 마지막으로 Adaboost 강분류기 값으로 학습된 신경망 알고리즘의 입력으로 이용하여 최종 표정을 인식한다. 제안하는 방법은 실시간이 보장된 Adaboost 알고리즘의 특성과 정확성을 개선하는 신경망 기반 인식기의 신뢰성을 적절히 활용함으로서 전체 인식기의 실시간성을 확보하면서도 정확성을 향상시킨다. 본 논문에서 구현된 알고리즘은 평온, 행복, 슬픔, 화남, 놀람의 5가지 표정에 대해 평균 86~95%의 정확도로 실시간 인식이 가능하다.

• 한국지능시스템학회논문지
• /
• 제14권7호
• /
• pp.801-806
• /
• 2004

감성 인식 기술은 사회의 여러 분야에서 요구되고 있는 필요한 기술이지만, 인식 과정의 어려움으로 인해 풀리지 않는 문제로 낡아있다. 특히 얼굴 영상을 이용한 감정 인식 기술에서 얼굴 영상을 분석하는 기술 개발이 필요하다. 하지만 얼굴분석을 어려움으로 인해 많은 연구가 진행 중이다. 된 논문에서는 감정 인식을 위한 얼굴 영상 분석 알고리즘을 제안한다. 제안된 얼굴 영상 분석 알고리즘은 얼굴 영역 추출 알고리즘과 얼굴 구성 요소 추출 알고리즘으로 구성된다. 얼굴 영역 추출 알고리즘은 다양한 조명 조건에서도 강인하게 얼굴 영역을 추출할 수 있는 퍼지 색상 필터를 사용한 방법을 제안하였다. 또한 얼굴 구성 요소 추출 알고리즘에서는 가상 얼굴 모형을 이용함으로써 보다 정확하고 빠른 얼굴 구성 요소 추출이 가능하게 하였다. 최종적으로 모의실험을 통해 각 알고리즘들의 수행 과정을 살펴보았으며 그 성능을 평가하였다.

• 한국게임학회 논문지
• /
• 제17권3호
• /
• pp.45-52
• /
• 2017

본 논문은 음악의 감성을 시각화하는 새로운 방법을 제안하는 논문으로 시각화를 위하여 감성 LED조명 제어 시스템을 고안하였으며 이 시스템은 청중들의 음악 경험을 더욱 풍요롭게 하기 위함에 목적이 있다. 이 시스템은 기존 연구의 음악 감성 분석 알고리즘을 이용하였는데 하나의 음악에서 하나의 감성을 추출하는 기존 연구의 한계를 보완하고자 음악의 1초당 세그먼트에서 감성을 추출 하여 감성 변화를 감지하는 방법을 연구하였다. 또한 LED조명의 감성 컬러는 IRI컬러 모델과 Thayer의 감성 모델을 기초로 새로운 감성 컬러 36가지를 정의 하여 각 감성에 맞는 색으로 연출 할 수 있도록 구성하고 애니메이션과 더불어 감성 LED 조명으로 표현 할 수 있도록 하였다. 이 시스템의 검증을 위한 실험 결과, 듣는이의 감성과 감성 LED 조명 시스템의 감성 일치율이 60% 이상으로 향후 음악 감성 기반 서비스의 중요한 밑거름이 될 것으로 보인다.

• 한국멀티미디어학회논문지
• /
• 제21권8호
• /
• pp.917-924
• /
• 2018

Recently, researches using LBP and SVM have been performed as one of the image - based methods for facial emotion recognition. LBP, introduced by Ojala et al., is widely used in the field of image recognition due to its high discrimination of objects, robustness to illumination change, and simple operation. In addition, CS(Center-Symmetric)-LBP was used as a modified form of LBP, which is widely used for face recognition. In this paper, we propose a method to detect four facial expressions such as expressionless, happiness, surprise, and anger using deep neural network. The validity of the proposed method is verified using accuracy. Based on the existing LBP feature parameters, it was confirmed that the method using the deep neural network is superior to the method using the Adaboost and SVM classifier.

• 대한전자공학회논문지SP
• /
• 제48권2호
• /
• pp.102-108
• /
• 2011

기존의 선박 내 조명 제어 시스템은 구축의 복잡성, 높은 설치 비용 및 유지 관리 비용 등의 문제점이 있다. 본 논문에서는 디지털 선박 환경에서 저비용, 고효율의 조명제어 시스템을 설계하였다. 사용자의 생체 정보(맥박, 이완기 혈압, 수축기 혈압, 혈당)를 무선 센서들을 통하여 획득한 후 감성을 인식하여 LED 조명을 제어하는 시스템으로서, 맥박 센서, 혈압 센서, 혈당 센서 등의 입력치를 받아 데이터베이스에 저장한 후 역전파 신경망 알고리즘을 이용하여 감성을 분류한다. 3,000개의 데이터 집합을 사용하여 역전파 신경망을 실험한 결과 약 88.7%의 정확도를 가졌다. 분류된 감성은 HP(Hewlett-Packard)의 'The Meaning of Color'에서 정해 놓은 20개의 컬러 감성 모델과 비교하여 가장 적절한 출력치를 찾아 적색, 녹색, 청색 LED Lamp에 전류 또는 주파수를 조절하는 방법으로 LED Lamp의 밝기 또는 광색을 조절함으로써 소모 전력을 약 20%로 절감하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.510-512
• /
• 2023

In order to enhance a model's capability for detecting facial expressions, this research suggests a pipeline that makes use of the GradCAM component. The patching module and the pseudo-labeling module make up the pipeline. The patching component takes the original face image and divides it into four equal parts. These parts are then each input into a 2Dconvolutional layer to produce a feature vector. Each picture segment is assigned a weight token using GradCAM in the pseudo-labeling module, and this token is then merged with the feature vector using principal component analysis. A convolutional neural network based on transfer learning technique is then utilized to extract the deep features. This technique applied on a public dataset MMI and achieved a validation accuracy of 96.06% which is showing the effectiveness of our method.

• 방송공학회논문지
• /
• 제18권5호
• /
• pp.771-774
• /
• 2013

본 연구는 감정상태와 음색특성의 관계를 확인하고, 추가로 cepstral 피쳐와 조합하여 감정인식을 진행하였다. Open quotient, harmonic-to-noise ratio, spectral tilt, spectral sharpness를 포함하는 특징들을 음색검출을 위해 적용하였고, 일반적으로 사용되는 피치와 에너지를 기반한 운율피쳐를 적용하였다. ANOVA분석을 통해 각 특징벡터의 유효성을 살펴보고, sequential forward selection 방법을 적용하여 최종 감정인식 성능을 분석하였다. 결과적으로, 제안된 피쳐들으로부터 성능이 향상되는 것을 확인하였고, 특히 화남과 기쁨에 대하여 에러가 줄어드는 것을 확인하였다. 또한 음색관련 피쳐들이 cepstral 피쳐와 결합할 경우 역시 인식 성능이 향상되었다.

• 지능정보연구
• /
• 제28권1호
• /
• pp.89-106
• /
• 2022

최근 영상 데이터의 급증으로 이를 효과적으로 처리하기 위해 객체 탐지 및 추적, 행동 인식, 표정 인식, 재식별(Re-ID)과 같은 다양한 컴퓨터비전 기술에 대한 수요도 급증했다. 그러나 객체 탐지 및 추적 기술은 객체의 영상 촬영 장소 이탈과 재등장, 오클루전(Occlusion) 등과 같이 성능을 저하시키는 많은 어려움을 안고 있다. 이에 따라 객체 탐지 및 추적 모델을 근간으로 하는 행동 및 표정 인식 모델 또한 객체별 데이터 추출에 난항을 겪는다. 또한 다양한 모델을 활용한 딥러닝 아키텍처는 병목과 최적화 부족으로 성능 저하를 겪는다. 본 연구에서는 YOLOv5기반 DeepSORT 객체추적 모델, SlowFast 기반 행동 인식 모델, Torchreid 기반 재식별 모델, 그리고 AWS Rekognition의 표정 인식 모델을 활용한 영상 분석 시스템에 단일 연결 계층적 군집화(Single-linkage Hierarchical Clustering)를 활용한 재식별(Re-ID) 기법과 GPU의 메모리 스루풋(Throughput)을 극대화하는 처리 기법을 적용한 행동 및 표정 검출용 영상 분석 시스템을 제안한다. 본 연구에서 제안한 시스템은 간단한 메트릭을 사용하는 재식별 모델의 성능보다 높은 정확도와 실시간에 가까운 처리 성능을 가지며, 객체의 영상 촬영 장소 이탈과 재등장, 오클루전 등에 의한 추적 실패를 방지하고 영상 내 객체별 행동 및 표정 인식 결과를 동일 객체에 지속적으로 연동하여 영상을 효율적으로 분석할 수 있다.

• 한국정보전자통신기술학회논문지
• /
• 제5권1호
• /
• pp.45-51
• /
• 2012

본 논문은 사용자의 생체 정보(맥박, 이완기 혈압, 수축기 혈압, 혈당)를 무선 센서들을 통하여 획득한 후 스트레스 지수에 따른 감성을 인식하여 대응되는 컬러와 음원을 분류하는 시스템으로서, 맥박 센서, 혈압 센서, 혈당 센서 등의 입력치를 받아 데이터베이스에 저장한 후 다중 SVM(Support Vector Machine) 알고리즘을 이용하여 스트레스 지수에 따른 감성을 분류한다. 2,000개의 데이터 집합을 사용하여 다중 SVM 알고리즘을 학습한 결과 약 87.7%의 정확도를 가졌다.