• Journal of Information Processing Systems
• /
• 제17권2호
• /
• pp.337-351
• /
• 2021

Automatically recognizing facial expressions in video sequences is a challenging task because there is little direct correlation between facial features and subjective emotions in video. To overcome the problem, a video facial expression recognition method using spatiotemporal recurrent neural network and feature fusion is proposed. Firstly, the video is preprocessed. Then, the double-layer cascade structure is used to detect a face in a video image. In addition, two deep convolutional neural networks are used to extract the time-domain and airspace facial features in the video. The spatial convolutional neural network is used to extract the spatial information features from each frame of the static expression images in the video. The temporal convolutional neural network is used to extract the dynamic information features from the optical flow information from multiple frames of expression images in the video. A multiplication fusion is performed with the spatiotemporal features learned by the two deep convolutional neural networks. Finally, the fused features are input to the support vector machine to realize the facial expression classification task. The experimental results on cNTERFACE, RML, and AFEW6.0 datasets show that the recognition rates obtained by the proposed method are as high as 88.67%, 70.32%, and 63.84%, respectively. Comparative experiments show that the proposed method obtains higher recognition accuracy than other recently reported methods.

• Journal of Information Processing Systems
• /
• 제9권1호
• /
• pp.173-188
• /
• 2013

In Facial Expression Recognition Systems (FERS), only particular regions of the face are utilized for discrimination. The areas of the eyes, eyebrows, nose, and mouth are the most important features in any FERS. Applying facial features descriptors such as the local binary pattern (LBP) on such areas results in an effective and efficient FERS. In this paper, we propose an automatic facial expression recognition system. Unlike other systems, it detects and extracts the informative and discriminant regions of the face (i.e., eyes, nose, and mouth areas) using Haar-feature based cascade classifiers and these region-based features are stored into separate image files as a preprocessing step. Then, LBP is applied to these image files for facial texture representation and a feature-vector per subject is obtained by concatenating the resulting LBP histograms of the decomposed region-based features. The one-vs.-rest SVM, which is a popular multi-classification method, is employed with the Radial Basis Function (RBF) for facial expression classification. Experimental results show that this approach yields good performance for both frontal and near-frontal facial images in terms of accuracy and time complexity. Cohn-Kanade and JAFFE, which are benchmark facial expression datasets, are used to evaluate this approach.

• 인지과학
• /
• 제14권1호
• /
• pp.11-16
• /
• 2003

본 논문은 Gabor 웨이브렛 변환을 이용하여 무표정을 포함한 표정영상에서 얼굴의 주요 요소들의 경계선을 추출한 후, FCM 군집화 알고리즘을 적용하여 무표정 영상에서 저차원의 대표적인 특징점을 추출한다. 무표정 영상의 특징점들은 표정영상의 특징점들을 추출하기 위한 템플릿으로 사용되어지며, 표정영상의 특징점 추출은 무표정 영상의 특징점과 동적 연결모형을 이용하여 개략적인 정합과 정밀한 정합 과정의 두단계로 이루어진다. 본 논문에서는 Gabor 웨이브렛과 FCM 군집화 알고리즘을 기반으로 동적 연결모형을 이용하여 표정영상에서 특징점들을 자동으로 추출할 수 있음을 제시한다. 본 연구결과는 자동 특징추출을 이용한 차원모형기반 얼굴 표정인식[1]에서 얼굴표정의 특징점을 자동으로 추출하는 데 적용되었다.

• 한국산학기술학회논문지
• /
• 제8권2호
• /
• pp.267-272
• /
• 2007

본 논문에서는 DCT계수의 특성을 이용하여 조명조건이나 얼굴의 크기에 무관하게 얼굴특징영역을 검출하기 위한 새로운 방법을 제안한다. 일반적으로 영상을 DCT변환하면 영상의 에너지가 저주파영역에 집중되는 특성을 가지나 얼굴 특징요소들은 얼굴영상에서 비교적 고주파 성분들을 포함하고 있기 때문에 저주파에 해당되는 DCT계수들의 일부를 제거한 후 역변환을 취하면 얼굴특징영역이 강조된 영상을 얻을 수 있다. 따라서, 본 논문에서는 DCT변환된 영상으로부터 저주파 계수의 일부를 제거하여 얼굴특징요소 후보들을 추출한 후 템플릿을 적용하여 얼굴특징요소 영역을 결정한다. 얼굴특징요소 영역이 결정되면 얼굴특징요소 추출 알고리즘을 적용하여 눈. 코, 입을 구별한다. 제안된 알고리즘을 MIT의CBCL DB와 Yale facedatabase B 에 적용하여 실험하였다. 실험결과 DCT변환된 영상에서 저주파 일부의 계수를 제거한 후 얼굴 특징영역을 검출했을 경우 그렇지 않은 영상보다 영상의 크기와 조명조건의 변화에 무관하게 인식성능이 향상됨을 알 수 있었다.

• 한국정보전자통신기술학회논문지
• /
• 제2권3호
• /
• pp.53-60
• /
• 2009

본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 운전자의 피로 상태를 검출하기 위한 얼굴 표정 인식을 위해 얼굴 특징을 추적하고자 하였다. 그러나 대다수의 얼굴 특징 추적 방법은 다양한 조명 조건과 얼굴 움직임, 회전등으로 얼굴의 특징점이 검출하지 못하는 경우가 발생한다. 본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 제안된 방법은 우선, 능동적 적외선 감지기를 사용하여 다양한 조명 조건하에서 동공을 검출하고, 검출된 동공은 얼굴 움직임을 예측하는데 사용되어진다. 얼굴 움직임에 따라 특징이 국부적으로 부드럽게 변화한다고 할 때, 칼만 필터로 얼굴 특징을 추적할 수 있다. 제한된 동공 위치와 칼만 필터를 동시에 사용함으로 각각의 특징 지점을 정확하게 예상할 수 있었고, Gabor 공간에서 예측 지점에 인접한 지점을 특징으로 추적할 수 있다. 패턴은 검출된 특징에서 공간적 연관성에서 추출한 특징들로 구성된다. 실험을 통하여 다양한 조명과 얼굴 방향, 표정 하에서 제안된 능동적 방법의 얼굴 추적의 실효성을 입증하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2004년도 춘계종합학술대회
• /
• pp.603-607
• /
• 2004

본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 운전자의 피로 상태를 검출하기 위한 얼굴 표정 인식을 위해 얼굴 특징을 추적하고자 하였다. 그러나 대다수의 얼굴 특징 추적 방법은 다양한 조명 조건과 얼굴 움직임, 회전등으로 얼굴의 특징점이 검출하지 못하는 경우가 발생한다. 그러므로 본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 제안된 방법은 우선, 능동적 적외선 감지기를 사용하여 다양한 조명 조건 하에서 동공을 검출하고, 검출된 동공은 얼굴 움직임을 예측하는데 사용되어진다. 얼굴 움직임에 따라 특징이 국부적으로 부드럽게 변화한다고 할 때, 칼만 필터로 얼굴 특징을 추적할 수 있다. 제한된 동공 위치와 칼만 필터를 동시에 사용함으로 각각의 특징 지점을 정확하게 예상 할 수 있었고, Gabor 공간에서 예측 지점에 인접한 지점을 특징으로 추적할 수 있다. 패턴은 검출된 특징에서 공간적 연관성에서 추출한 특징들로 구성된다. 실험을 통하여 다양한 조명과 얼굴 방향, 표정 하에서 제안된 능동적 방법의 얼굴 추적의 실효성을 입증하였다.

• 융합보안논문지
• /
• 제19권1호
• /
• pp.67-78
• /
• 2019

본 논문에서는 가변 크기 블록 기반의 새로운 얼굴 특징 표현 방법을 제안한다. 기존 외형 기반의 얼굴 표정 인식 방법들은 얼굴 특징을 표현하기 위해 얼굴 영상 전체를 균일한 블록으로 분할하는 uniform grid 방법을 사용하는데, 이는 다음 두가지 문제를 가지고 있다. 얼굴 이외의 배경이 포함될 수 있어 표정을 구분하는 데 방해 요소로 작용하고, 각 블록에 포함된 얼굴의 특징은 입력영상 내 얼굴의 위치, 크기 및 방위에 따라 달라질 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 유의미한 표정변화가 가장 잘 나타내는 블록의 크기와 위치를 결정하는 가변 크기 블록 방법을 제안한다. 이를 위해 얼굴의 특정점을 추출하여 표정인식에 기여도가 높은 얼굴부위에 대하여 블록 설정을 위한 기준점을 결정하고 AdaBoost 방법을 이용하여 각 얼굴부위에 대한 최적의 블록 크기를 결정하는 방법을 제시한다. 제안된 방법의 성능평가를 위해 LDTP를 이용하여 표정특징벡터를 생성하고 SVM 기반의 표정 인식 시스템을 구성하였다. 실험 결과 제안된 방법이 기존의 uniform grid 기반 방법보다 우수함을 확인하였다. 특히, 제안된 방법이 형태와 방위 등의 변화가 상대적으로 큰 MMI 데이터베이스에서 기존의 방법보다 상대적으로 우수한 성능을 보여줌으로써 입력 환경의 변화에 보다 효과적으로 적응할 수 있음을 확인하였다.

• 전자공학회논문지B
• /
• 제33B권8호
• /
• pp.114-123
• /
• 1996

In this paper, we propose an automatic recognition algorithm using the object centroid of a facial image. First, we separate the facial image from the background image using the chroma-key technique and we find the centroid of the separated facial image. Second, we search nose in the facial image based on knowledge of human faces and the coordinate of the object centroid and, we calculate 17 feature parameters automatically. Finally, we recognize the facial image by using feature parameters in the neural networks which are trained through error backpropagation algorithm. It is illustrated by experiments by experiments using the proposed recogniton system that facial images can be recognized in spite of the variation of the size and the position of images.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2003년도 ICCAS
• /
• pp.2213-2216
• /
• 2003

In this paper, we propose the face identification method which is robust for lighting based on the feature points method. First of all, the proposed method extracts an edge of facial feature. Then, by the hough transform, it determines ellipse parameters of each facial feature from the extracted edge. Finally, proposed method performs the face identification by using parameters. Even if face image is taken under various lighting condition, it is easy to extract the facial feature edge. Moreover, it is possible to extract a subject even if the object has not appeared enough because this method extracts approximately the parameters by the hough transformation. Therefore, proposed method is robust for the lighting condition compared with conventional method. In order to show the effectiveness of the proposed method, computer simulations are done by using the real images.

• Journal of information and communication convergence engineering
• /
• 제9권2호
• /
• pp.207-211
• /
• 2011

This paper presents a method for facial feature representation and recognition from the Covariance Matrices of the Gabor-filtered images. Gabor filters are a very powerful tool for processing images that respond to different local orientations and wave numbers around points of interest, especially on the local features on the face. This is a very unique attribute needed to extract special features around the facial components like eyebrows, eyes, mouth and nose. The Covariance matrices computed on Gabor filtered faces are adopted as the feature representation for face recognition. Geodesic distance measure is used as a matching measure and is preferred for its global consistency over other methods. Geodesic measure takes into consideration the position of the data points in addition to the geometric structure of given face images. The proposed method is invariant and robust under rotation, pose, or boundary distortion. Tests run on random images and also on publicly available JAFFE and FRAV3D face recognition databases provide impressively high percentage of recognition.