• ETRI Journal
• /
• 제35권6호
• /
• pp.1021-1028
• /
• 2013

Automatic facial expression recognition is a widely studied problem in computer vision and human-robot interaction. There has been a range of studies for representing facial descriptors for facial expression recognition. Some prominent descriptors were presented in the first facial expression recognition and analysis challenge (FERA2011). In that competition, the Local Gabor Binary Pattern Histogram Sequence descriptor showed the most powerful description capability. In this paper, we introduce hybrid facial representations for facial expression recognition, which have more powerful description capability with lower dimensionality. Our descriptors consist of a block-based descriptor and a pixel-based descriptor. The block-based descriptor represents the micro-orientation and micro-geometric structure information. The pixel-based descriptor represents texture information. We validate our descriptors on two public databases, and the results show that our descriptors perform well with a relatively low dimensionality.

• ETRI Journal
• /
• 제32권5호
• /
• pp.784-794
• /
• 2010

Automatic facial expression recognition has many potential applications in different areas of human computer interaction. However, they are not yet fully realized due to the lack of an effective facial feature descriptor. In this paper, we present a new appearance-based feature descriptor, the local directional pattern (LDP), to represent facial geometry and analyze its performance in expression recognition. An LDP feature is obtained by computing the edge response values in 8 directions at each pixel and encoding them into an 8 bit binary number using the relative strength of these edge responses. The LDP descriptor, a distribution of LDP codes within an image or image patch, is used to describe each expression image. The effectiveness of dimensionality reduction techniques, such as principal component analysis and AdaBoost, is also analyzed in terms of computational cost saving and classification accuracy. Two well-known machine learning methods, template matching and support vector machine, are used for classification using the Cohn-Kanade and Japanese female facial expression databases. Better classification accuracy shows the superiority of LDP descriptor against other appearance-based feature descriptors.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권2호
• /
• pp.89-94
• /
• 2016

본 논문에서는 SIFT 기술자를 이용한 얼굴 특징과 SVM 분류기로 표정인식을 수행하는 방법에 대하여 제안한다. 기존 SIFT 기술자는 물체 인식 분야에 있어 키포인트 검출 후, 검출된 키포인트에 대한 특징 기술자로써 주로 사용되나, 본 논문에서는 SIFT 기술자를 얼굴 표정인식의 특징벡터로써 적용하였다. 표정인식을 위한 특징은 키포인트 검출 과정 없이 얼굴영상을 서브 블록 영상으로 나누고 각 서브 블록 영상에 SIFT 기술자를 적용하여 계산되며, 표정분류는 SVM 알고리즘으로 수행된다. 성능평가는 기존의 LBP 및 LDP와 같은 이진패턴 특징기반의 표정인식 방법과 비교 수행되었으며, 실험에는 공인 CK 데이터베이스와 JAFFE 데이터베이스를 사용하였다. 실험결과, SIFT 기술자를 이용한 제안방법은 기존방법보다 CK 데이터베이스에서 6.06%의 향상된 인식결과를 보였으며, JAFFE 데이터베이스에서는 3.87%의 성능향상을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4549-4566
• /
• 2017

This work presents a novel facial descriptor, which is named as multiscale adaptive local directional texture pattern (MALDTP) and employed for expression recognition. We apply an adaptive threshold value to encode facial image in different scales, and concatenate a series of histograms based on the MALDTP to generate facial descriptor in term of Gabor filters. In addition, some dedicated experiments were conducted to evaluate the performance of the MALDTP method in a person-independent way. The experimental results demonstrate that our proposed method achieves higher recognition rate than local directional texture pattern (LDTP). Moreover, the MALDTP method has lower computational complexity, fewer storage space and higher classification accuracy than local Gabor binary pattern histogram sequence (LGBPHS) method. In a nutshell, the proposed MALDTP method can not only avoid choosing the threshold by experience but also contain much more structural and contrast information of facial image than LDTP.

• 한국컴퓨터그래픽스학회논문지
• /
• 제16권2호
• /
• pp.29-37
• /
• 2010

본 논문에서는 얼굴의 3차원 스캔 데이터로부터 특징을 고려하여 비대칭적인 요소를 완화시키는 대칭적 변형 기법을 제안한다. 이를 위해 얼굴의 전체 윤곽뿐만 아니라 세밀한 영역까지 다룰 수 있는 얼굴의 특징점과 표면 곡률에 기초한 새로운 3차원 형상 기술자(shape descriptor)를 개발하였다. 개발된 형상 기술자는 이상적인 대칭 평면을 정의하여 정확한 대칭쌍 정점을 결정할 수 있기 때문에, 보다 정교하게 3차원 얼굴의 대칭성을 향상 시킬 수 있다. 또한 변형을 위한 모든 단계에서 처리를 쉽게 하도록 포인트 기반 표현법을 사용하였다. 마지막으로 제안한 대칭적 변형 기법을 통해 얼굴의 비대칭성을 감소시킴으로써 얼굴에 대한 호감도를 향상시킬 수 있다는 것을 통계적으로 검증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권12호
• /
• pp.6000-6017
• /
• 2018

This paper presents a new descriptor, named Histograms of Prominent Edge Directions (HPED), for the recognition of facial expressions in a person-independent environment. In this paper, we raise the issue of sampling error in generating the code-histogram from spatial regions of the face image, as observed in the existing descriptors. HPED describes facial appearance changes based on the statistical distribution of the top two prominent edge directions (i.e., primary and secondary direction) captured over small spatial regions of the face. Compared to existing descriptors, HPED uses a smaller number of code-bins to describe the spatial regions, which helps avoid sampling error despite having fewer samples while preserving the valuable spatial information. In contrast to the existing Histogram of Oriented Gradients (HOG) that uses the histogram of the primary edge direction (i.e., gradient orientation) only, we additionally consider the histogram of the secondary edge direction, which provides more meaningful shape information related to the local texture. Experiments on popular facial expression datasets demonstrate the superior performance of the proposed HPED against existing descriptors in a person-independent environment.

• 인터넷정보학회논문지
• /
• 제3권6호
• /
• pp.13-24
• /
• 2002

본 논문에서는 색상 정보와 변형 모델을 이용한 얼굴 영역 및 얼굴의 특징 영역의 자동 검출 방법을 제시한다. 영상으로부터 획득할 수 있는 정보 중 가장 빠르고 쉽게 얻을 수 있는 정보가 색상 정보이며, 색상정보는 사물을 판단함에 있어서 가장 효율적이면서 컴퓨터의 계산량을 줄일 수 있다는 장점을 갖고 있기 때문에 얼굴 영역 검출 방법으로 많이 이용되고 있다. 본 연구에서는 얼굴영역 및 얼굴 특성 추출함에 있어 컬러모델 사용 시 외부 조명의 영향을 줄여주는 조명 보정 방법을 제시하고, 조명 보정에 의해 평활화 된 YCbCr 색상모델에 적용하여 각 성분 특성을 고려한 얼굴영역 및 얼굴의 특성 영역에 해당하는 후보 영역을 검출하는 방법을 제시한다. 검출된 얼굴후보 영역 및 특성 영역은 가변 모델인 동적 윤곽선 모델의 초기 값으로 자동 적용되어 윤곽선 모델 적용 시 문제점가운데 하나인 초기 값 설정문제를 해결함과 동시에 얼굴 및 얼굴 특징 정보의 정확한 윤곽선을 추출하는데 사용된다. 실험 결과 제시된 방법을 적용한 결과 빠르고 효과적으로 얼굴 및 특성 영역을 검출 할 수 있음을 입증 할 수 있었다. 이상에서 추출된 얼굴의 특성정보는 차후 얼굴 인식 및 얼굴 특성을 설명하는 얼굴 특성 서술자로 사용될 수 있다.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.692-702
• /
• 2017

LBP기반 특징점 기술자를 이용한 얼굴검출은 얼굴의 형태정보 및 눈, 코, 입과 같은 얼굴 요소들 간 공간정보를 표현할 수 없는 문제가 있다. 이러한 문제를 해결하기 위해 선행 연구들은 얼굴 영상을 다수개의 사각형 부분영역들로 분할하였다. 하지만, 연구마다 서로 다른 개수와 크기로 부분 영역을 분할하였기 때문에 실험에 사용하는 데이터베이스에 적합한 부분 영역의 분할 기준이 모호하며, 부분 영역의 수에 비례하여 LBP 히스토그램 차원이 증가되고, 부분 영역의 개수가 증가함에 따라 얼굴의 방향 회전에 대한 민감도가 크게 증가한다. 본 논문은 LBP기반 특징점 기술자의 방향 회전 문제와 특징점 차원의 수 문제를 해결할 수 있는 새로운 부분 영역 분할 방법을 제안한다. 실험 결과, 제안하는 방법은 방향 회전된 단일 얼굴 영상에서 99.0278%의 검출 정확도를 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권4호
• /
• pp.2124-2148
• /
• 2017

Accurate facial expression recognition (FER) requires reliable signal filtering and the effective feature extraction. Considering these requirements, this paper presents a novel approach for FER which is robust to noise. The main contributions of this work are: First, to preserve texture details in facial expression images and remove image noise, we improved the anisotropic diffusion filter by adjusting the diffusion coefficient according to two factors, namely, the gray value difference between the object and the background and the gradient magnitude of object. The improved filter can effectively distinguish facial muscle deformation and facial noise in face images. Second, to further improve robustness, we propose a new feature descriptor based on a combination of the Histogram of Oriented Gradients with the Canny operator (Canny-HOG) which can represent the precise deformation of eyes, eyebrows and lips for FER. Third, Canny-HOG's block and cell sizes are adjusted to reduce feature dimensionality and make the classifier less prone to overfitting. Our method was tested on images from the JAFFE and CK databases. Experimental results in L-O-Sam-O and L-O-Sub-O modes demonstrated the effectiveness of the proposed method. Meanwhile, the recognition rate of this method is not significantly affected in the presence of Gaussian noise and salt-and-pepper noise conditions.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권11호
• /
• pp.5605-5623
• /
• 2016

We propose a face recognition method that utilizes the LCP face descriptor. The proposed method applies a LoG mask to extract a face contour response, and employs the LCP algorithm to produce a binary pattern representation that ensures high recognition performance even under the changes in illumination, noise, and aging. The proposed LCP algorithm produces excellent noise reduction and efficiency in removing unnecessary information from the face by extracting a face contour response using the LoG mask, whose behavior is similar to the human eye. Majority of reported algorithms search for face contour response information. On the other hand, our proposed LCP algorithm produces results expressing major facial information by applying the threshold to the search area with only 8 bits. However, the LCP algorithm produces results that express major facial information with only 8-bits by applying a threshold value to the search area. Therefore, compared to previous approaches, the LCP algorithm maintains a consistent accuracy under varying circumstances, and produces a high face recognition rate with a relatively small feature vector. The test results indicate that the LCP algorithm produces a higher facial recognition rate than the rate of human visual's recognition capability, and outperforms the existing methods.