• 한국지능시스템학회논문지
• /
• 제19권6호
• /
• pp.821-827
• /
• 2009

표정은 인간의 감정을 전달할 수 있는 중요한 수단으로 표정 인식은 감정상태를 알아낼 수 있는 효과적인 방법중 하나이다. 일반적인 표정 인식 시스템은 얼굴 표정을 표현하는 특징점을 찾고, 물리적인 해석 없이 특징을 추출한다. 하지만 특징점 추출은 많은 시간이 소요될 뿐 아니라 특징점의 정확한 위치를 추정하기 어렵다. 그리고 표정 인식 시스템을 실시간 임베디드 시스템에서 구현하기 위해서는 알고리즘을 간략화하고 자원 사용량을 줄일 필요가 있다. 본 논문에서 제안하는 실시간 표정 인식 시스템은 격자점 위치에서 얻어진 가버 웨이블릿(Gabor wavelet) 특징 기반 표정 공간을 설정하고, 각 표정 공간에서 얻어진 주성분을 신경망 분류기를 이용하여 얼굴 표정을 분류한다. 제안하는 실시간 표정 인식 시스템은 화남, 행복, 평온, 슬픔 그리고 놀람의 5가지 표정이 인식 가능하며, 다양한 실험에서 평균 10.25ms의 수행시간, 그리고 87%~93%의 인식 성능을 보였다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제20권4호
• /
• pp.347-364
• /
• 2014

본 연구는 얼굴자극의 검사단계 표정변화와 검사 지연시간, 그리고 배경변화가 얼굴재인에 미치는 효과를 검증하기 위해 수행되었다. 실험 1에서는 학습단계에서 부정 표정 얼굴을 학습하고 검사단계에서 동일한 얼굴의 부정 표정과 중성 표정얼굴에 대한 재인 검사가 실시되었다. 실험 2에서는 학습단계에서 부정 표정 얼굴을 학습하고 검사단계에서 부정 표정과 긍정 표정얼굴에 대한 재인 검사가 실시되었다. 실험 3에서는 학습단계에서 중성 표정 얼굴을 학습하고, 검사단계에서 부정 표정과 중성 표정 얼굴에 대한 재인 검사가 실시되었다. 세 실험 모두 참가자들은 즉시 검사와 지연 검사 조건에 할당되었고, 재인검사에서 목표 얼굴자극들은 배경이 일치 조건으로 또한 불일치 조건으로 제시되었다. 실험 1과 실험2 모두에서 부적 표정에 대한 재인율이 높았다. 실험 3에서 중성 표정에 대한 재인율이 높았다. 즉, 세 개실험 모두에서 표정 일치 효과가 나타났다. 학습단계에서 제시된 얼굴 표정의 정서와는 상관없이 검사단계에서 표정이 학습단계와 일치할 때 얼굴 재인율은 증가하였다. 또한 표정 변화에 따른 효과는 배경 변화에 따라 상이하게 나타났다. 본 연구 결과로 얼굴은 표정이 달라지면 기억하기 힘들며, 배경의 변화와 시간 지연에 따라 영향을 받는 다는 점을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제14권9호
• /
• pp.476-483
• /
• 2014

본 논문은 국내 표정 연구에 적합한 얼굴 표정 이미지를 제작하는 것에 목적을 두었다. 이를 위해서 1980년대 태생의 한국인의 표준 형상에 FACS-Action Unit을 결합하여, KSFI(Korean Standard Facial Image) AU set를 제작하였다. KSFI의 객관성을 확보하기 위해 6가지 기본 감성(슬픔, 행복, 혐오, 공포, 화남, 놀람) 이미지를 제작하여, 감성 별 인식 정확률과 얼굴 요소의 감성인식 기여도를 평가하였다. 실험 결과, 정확률이 높은 행복, 놀람, 슬픔, 분노의 이미지의 경우 주로 눈과 입의 얼굴 요소를 통해 감성을 판단하였다. 이러한 연구 결과를 통해 본 연구에서는 표정 이미지의 AU 변경할 수 있는 KSFI 콘텐츠를 제안하였다. 향후 KSFI가 감성 인식률 향상에 기여할 수 있는 학습 콘텐츠로서의 역할을 할 수 있을 것으로 사료된다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.487-492
• /
• 2008

Facial expression recognition is an intensive research area for designing Human Computer Interfaces. In this work, we present a new facial expression recognition system utilizing Enhanced Independent Component Analysis (EICA) for feature extraction and discrete Hidden Markov Model (HMM) for recognition. Our proposed approach for the first time deals with sequential images of emotion-specific facial data analyzed with EICA and recognized with HMM. Performance of our proposed system has been compared to the conventional approaches where Principal and Independent Component Analysis are utilized for feature extraction. Our preliminary results show that our proposed algorithm produces improved recognition rates in comparison to previous works.

• 한국컴퓨터정보학회논문지
• /
• 제27권9호
• /
• pp.41-47
• /
• 2022

본 논문에서는 자동표정인식을 위하여 얼굴 이미지 배열의 가운데 이미지를 예측하는 새롭고 간단한 자기주도학습 방법을 제안한다. 자동표정인식은 딥러닝 모델을 통해 높은 성능을 달성할 수 있으나 일반적으로 큰 비용과 시간이 투자된 대용량의 데이터 세트가 필요하고, 데이터 세트의 크기와 알고리즘의 성능이 비례한다. 제안하는 방법은 추가적인 데이터 세트 구축 없이 기존의 데이터 세트를 활용하여 자기주도학습을 통해 얼굴의 잠재적인 심층표현방법을 학습하고 학습된 파라미터를 전이시켜 자동표정인식의 성능을 향상한다. 제안한 방법은 CK+와 AFEW 8.0 두가지 데이터 세트에 대하여 높은 성능 향상을 보여주었고, 간단한 방법으로 큰 효과를 얻을 수 있음을 보여주었다.

• 정보처리학회논문지B
• /
• 제12B권7호
• /
• pp.795-802
• /
• 2005

본 논문에서는 일곱 가지의 기본적인 감정 정보를 자동으로 파악하고 얼굴을 PDA 상에서 렌더링할 수 있는 얼굴 표정의 인식 및 합성 시스템을 제시한다. 얼굴 표정 인식을 위해서 먼저 카메라로부터 획득한 영상으로부터 얼굴 부분을 검출한다. 그리고 나서 기하학적 또는 조명으로 인한 보정을 위해 정규화 과정을 거친다. 얼굴 표정을 분류하기 위해서는 Gabor wavelets 방법을 enhanced Fisher 모델과 결합하여 사용할 때가 가장 좋은 결과를 보였다. 본 표정 분류에서는 일곱 가지 감정 가중치가 결과로 제시되고, 그러한 가중 정보는 모바일 네트웍을 통하여PDA 상으로 전송되어 얼굴 표정 애니메이션에 이용되어진다. 또한 본 논문에서는 고유한 얼굴 캐릭터를 가진 3차워 아바타를 생성하기 위하여 카툰 쉐이딩 기법을 채택하였다. 실험 결과 감정 곡선을 이용한 얼굴 표정 애니메이션은 선형 보간법 보다 감정 변화의 타이밍을 표현하는데 더 효과적인 것으로 나타났다.

• 정보처리학회논문지B
• /
• 제13B권7호
• /
• pp.653-662
• /
• 2006

사용자의 상황에 따라 적절한 서비스를 제공하는 컴퓨팅 환경을 구현하려는 유비쿼터스 컴퓨팅에서 사람과 기계간의 효과적인 상호작용과 사용자의 상황 인식을 위해 사용자의 얼굴 표정 기반의 감정 인식이 HCI의 중요한 수단으로 이용되고 있다. 본 연구는 새로운 베이지안 분류기를 이용하여 상황에 민감한 얼굴 표정에서 기본 감정을 강건하게 인식하는 문제를 다룬다. 표정에 기반한 감정 인식은 두 단계로 나뉘는데 본 연구에서는 얼굴 특징 추출 단계는 색상 히스토그램 방법을 기반으로 하고 표정을 이용한 감정 분류 단계에서는 학습과 테스트를 효과적으로 실행하는 새로운 베이지안 학습 알고리즘인 EADF(Extended Assumed-Density Filtering)을 이용한다. 상황에 민감한 베이지안 학습 알고리즘은 사용자 상황이 달라지면 복잡도가 다른 분류기를 적용할 수 있어 더 정확한 감정 인식이 가능하도록 제안되었다. 실험 결과는 표정 분류 정확도가 91% 이상이며 상황이 드러나지 않게 얼굴 표정 데이터를 모델링한 결과 10.8%의 실험 오류율을 보였다.

• 한국멀티미디어학회논문지
• /
• 제20권8호
• /
• pp.1175-1186
• /
• 2017

Human emotion recognition is one of the promising applications in the era of artificial super intelligence. Thus far, facial expression traits are considered to be the most widely used information cues for realizing automated emotion recognition. This paper proposes a novel facial expression recognition (FER) method that works well for recognizing emotion from image sequences. To this end, we develop the so-called weighted soft voting classification (WSVC) algorithm. In the proposed WSVC, a number of classifiers are first constructed using different and multiple feature representations. In next, multiple classifiers are used for generating the recognition result (namely, soft voting) of each face image within a face sequence, yielding multiple soft voting outputs. Finally, these soft voting outputs are combined through using a weighted combination to decide the emotion class (e.g., anger) of a given face sequence. The weights for combination are effectively determined by measuring the quality of each face image, namely "peak expression intensity" and "frontal-pose degree". To test the proposed WSVC, CK+ FER database was used to perform extensive and comparative experimentations. The feasibility of our WSVC algorithm has been successfully demonstrated by comparing recently developed FER algorithms.

• Journal of Information Processing Systems
• /
• 제10권3호
• /
• pp.443-458
• /
• 2014

An extreme learning machine (ELM) is a recently proposed learning algorithm for a single-layer feed forward neural network. In this paper we studied the ensemble of ELM by using a bagging algorithm for facial expression recognition (FER). Facial expression analysis is widely used in the behavior interpretation of emotions, for cognitive science, and social interactions. This paper presents a method for FER based on the histogram of orientation gradient (HOG) features using an ELM ensemble. First, the HOG features were extracted from the face image by dividing it into a number of small cells. A bagging algorithm was then used to construct many different bags of training data and each of them was trained by using separate ELMs. To recognize the expression of the input face image, HOG features were fed to each trained ELM and the results were combined by using a majority voting scheme. The ELM ensemble using bagging improves the generalized capability of the network significantly. The two available datasets (JAFFE and CK+) of facial expressions were used to evaluate the performance of the proposed classification system. Even the performance of individual ELM was smaller and the ELM ensemble using a bagging algorithm improved the recognition performance significantly.

• 융합보안논문지
• /
• 제19권1호
• /
• pp.67-78
• /
• 2019

본 논문에서는 가변 크기 블록 기반의 새로운 얼굴 특징 표현 방법을 제안한다. 기존 외형 기반의 얼굴 표정 인식 방법들은 얼굴 특징을 표현하기 위해 얼굴 영상 전체를 균일한 블록으로 분할하는 uniform grid 방법을 사용하는데, 이는 다음 두가지 문제를 가지고 있다. 얼굴 이외의 배경이 포함될 수 있어 표정을 구분하는 데 방해 요소로 작용하고, 각 블록에 포함된 얼굴의 특징은 입력영상 내 얼굴의 위치, 크기 및 방위에 따라 달라질 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 유의미한 표정변화가 가장 잘 나타내는 블록의 크기와 위치를 결정하는 가변 크기 블록 방법을 제안한다. 이를 위해 얼굴의 특정점을 추출하여 표정인식에 기여도가 높은 얼굴부위에 대하여 블록 설정을 위한 기준점을 결정하고 AdaBoost 방법을 이용하여 각 얼굴부위에 대한 최적의 블록 크기를 결정하는 방법을 제시한다. 제안된 방법의 성능평가를 위해 LDTP를 이용하여 표정특징벡터를 생성하고 SVM 기반의 표정 인식 시스템을 구성하였다. 실험 결과 제안된 방법이 기존의 uniform grid 기반 방법보다 우수함을 확인하였다. 특히, 제안된 방법이 형태와 방위 등의 변화가 상대적으로 큰 MMI 데이터베이스에서 기존의 방법보다 상대적으로 우수한 성능을 보여줌으로써 입력 환경의 변화에 보다 효과적으로 적응할 수 있음을 확인하였다.