• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권4호
• /
• pp.2124-2148
• /
• 2017

Accurate facial expression recognition (FER) requires reliable signal filtering and the effective feature extraction. Considering these requirements, this paper presents a novel approach for FER which is robust to noise. The main contributions of this work are: First, to preserve texture details in facial expression images and remove image noise, we improved the anisotropic diffusion filter by adjusting the diffusion coefficient according to two factors, namely, the gray value difference between the object and the background and the gradient magnitude of object. The improved filter can effectively distinguish facial muscle deformation and facial noise in face images. Second, to further improve robustness, we propose a new feature descriptor based on a combination of the Histogram of Oriented Gradients with the Canny operator (Canny-HOG) which can represent the precise deformation of eyes, eyebrows and lips for FER. Third, Canny-HOG's block and cell sizes are adjusted to reduce feature dimensionality and make the classifier less prone to overfitting. Our method was tested on images from the JAFFE and CK databases. Experimental results in L-O-Sam-O and L-O-Sub-O modes demonstrated the effectiveness of the proposed method. Meanwhile, the recognition rate of this method is not significantly affected in the presence of Gaussian noise and salt-and-pepper noise conditions.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권12호
• /
• pp.6000-6017
• /
• 2018

This paper presents a new descriptor, named Histograms of Prominent Edge Directions (HPED), for the recognition of facial expressions in a person-independent environment. In this paper, we raise the issue of sampling error in generating the code-histogram from spatial regions of the face image, as observed in the existing descriptors. HPED describes facial appearance changes based on the statistical distribution of the top two prominent edge directions (i.e., primary and secondary direction) captured over small spatial regions of the face. Compared to existing descriptors, HPED uses a smaller number of code-bins to describe the spatial regions, which helps avoid sampling error despite having fewer samples while preserving the valuable spatial information. In contrast to the existing Histogram of Oriented Gradients (HOG) that uses the histogram of the primary edge direction (i.e., gradient orientation) only, we additionally consider the histogram of the secondary edge direction, which provides more meaningful shape information related to the local texture. Experiments on popular facial expression datasets demonstrate the superior performance of the proposed HPED against existing descriptors in a person-independent environment.

• 한국멀티미디어학회논문지
• /
• 제9권11호
• /
• pp.1465-1473
• /
• 2006

본 논문에서는 Active Shape Models(ASM)과 상태기반 모델을 사용하여 동영상으로부터 얼굴 표정을 인식하는 방법을 제시한다. ASM을 이용하여 하나의 입력 영상에 대한 얼굴요소특징점들을 정합하고, 그 과정에서 생성되는 모양변수벡터를 추출한다. 동영상에 대해 추출되는 모양변수벡터 집합을 세 가지 상태 중 한 가지를 가지는 상태벡터로 변환하고 분류기를 통해 얼굴의 표정을 인식한다. 분류단계에서는 표정별 표정변화에 따른 변화영역의 차이를 고려한 새로운 유사도 측정치를 제안한다. 공개데이터베이스 KCFD에 대한 실험에서는 제안한 측정치와 기존의 이친 측정치를 사용한 k-NN의 인식률이 k가 1일 때 각각 89.1% 및 86.2%을 보임으로써, 제안한 측정치가 기존의 이진 측정치보다 더 높은 인식률을 나타내는 것을 보인다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.667-674
• /
• 2007

Facial expressions provide significant clues about one's emotional state; however, it always has been a great challenge for machine to recognize facial expressions effectively and reliably. In this paper, we report a method of feature-based adaptive motion energy analysis for recognizing facial expression. Our method optimizes the information gain heuristics of ID3 tree and introduces new approaches on (1) facial feature representation, (2) facial feature extraction, and (3) facial feature classification. We use minimal reasonable facial features, suggested by the information gain heuristics of ID3 tree, to represent the geometric face model. For the feature extraction, our method proceeds as follows. Features are first detected and then carefully "selected." Feature "selection" is finding the features with high variability for differentiating features with high variability from the ones with low variability, to effectively estimate the feature's motion pattern. For each facial feature, motion analysis is performed adaptively. That is, each facial feature's motion pattern (from the neutral face to the expressed face) is estimated based on its variability. After the feature extraction is done, the facial expression is classified using the ID3 tree (which is built from the 1728 possible facial expressions) and the test images from the JAFFE database. The proposed method excels and overcomes the problems aroused by previous methods. First of all, it is simple but effective. Our method effectively and reliably estimates the expressive facial features by differentiating features with high variability from the ones with low variability. Second, it is fast by avoiding complicated or time-consuming computations. Rather, it exploits few selected expressive features' motion energy values (acquired from intensity-based threshold). Lastly, our method gives reliable recognition rates with overall recognition rate of 77%. The effectiveness of the proposed method will be demonstrated from the experimental results.

• 인터넷정보학회논문지
• /
• 제5권6호
• /
• pp.79-91
• /
• 2004

다양한 얼굴 포즈 검출 및 인식은 매우 어려운 문제로서, 이는 특징 공간상의 다양한 포즈의 분포가 정면 영상에 비해 매우 흩어져있고 복잡하기 때문이다. 이에 본 논문에서는 기존의 얼굴 인식 방법들이 제한 사항으로 두었던 입력 영상의 다양한 포즈 및 표정에 강인한 얼굴 인식 시스템을 제안하였다. 제안한 방법은 먼저, TLS 모델을 사용하여 얼굴 영역을 검출한 뒤, 얼굴의 구성요소를 통하여 얼굴 포즈를 추정한다. 추정된 얼굴 포즈는 3차원 X-Y-Z축으로 분해되는데, 두 번째 과정에서는 추정된 벡터를 통하여 만들어진 가변 템플릿과 3D CAN/DIDE모델을 이용하여 얼굴을 정합한다 마지막으로 정합된 얼굴은 분석된 포즈와 표정에 의하여 얼굴 인식에 적합한 정면의 정규화 된 얼굴로 변환된다. 실험을 통하여 얼굴 검출 모델의 사용과 포즈 추정 방법의 타당성을 보였으며, 포즈 및 표정 정규화를 통하여 인식률이 향상됨을 확인하였다.

• Journal of Multimedia Information System
• /
• 제6권1호
• /
• pp.15-22
• /
• 2019

There are many ways to perform face recognition. The first step of face recognition is the face detection step. If the face is not found in the first step, the face recognition fails. Face detection research has many difficulties because it can be varied according to face size change, left and right rotation and up and down rotation, side face and front face, facial expression, and light condition. In this study, facial features are extracted and the extracted features are geometrically reconstructed in order to improve face recognition rate in extracted face region. Also, it is aimed to adjust face angle using reconstructed facial feature vector, and to improve recognition rate for each face angle. In the recognition attempt using the result after the geometric reconstruction, both the up and down and the left and right facial angles have improved recognition performance.

• 전기전자학회논문지
• /
• 제25권3호
• /
• pp.430-436
• /
• 2021

비접촉형 체온 측정 시스템은 광학 및 열화상 카메라를 활용하여 집단시설의 발열성 질병을 관리하는 핵심 요소 중 하나이다. 기존 체온 측정 시스템은 딥러닝 기반 얼굴검출 알고리즘이 사용되어 얼굴영역의 단순 체온 측정에는 활용할 수 있지만, 의사표현이 어려운 영유아의 이상 징후를 인지하는데 한계가 있다. 본 논문에서는 기존의 체온 측정 시스템에서 영유아의 이상징후 감지를 위해 표정인식 알고리즘을 개선한다. 제안된 방법은 객체탐지 모델을 사용하여 영상에서 영유아를 검출한 후 얼굴영역을 추출하고 표정인식의 핵심 요소인 눈, 코, 입의 좌표를 획득한다. 이후 획득된 좌표를 기반으로 선택적 샤프닝 필터를 적용하여 표정인식을 진행한다. 실험결과에 따르면 제안된 알고리즘은 UTK 데이터셋에서 무표정, 웃음, 슬픔 3가지 표정에 대해 각각 2.52%, 1.12%, 2.29%가 향상되었다.

• ETRI Journal
• /
• 제37권6호
• /
• pp.1199-1210
• /
• 2015

Automatic emotion recognition based on facial cues, such as facial action units (AUs), has received huge attention in the last decade due to its wide variety of applications. Current computer-based automated two-phase facial emotion recognition procedures first detect AUs from input images and then infer target emotions from the detected AUs. However, more robust AU detection and AU-to-emotion mapping methods are required to deal with the error accumulation problem inherent in the multiphase scheme. Motivated by our key observation that a single AU detector does not perform equally well for all AUs, we propose a novel two-phase facial emotion recognition framework, where the presence of AUs is detected by group decisions of multiple AU detectors and a target emotion is inferred from the combined AU detection decisions. Our emotion recognition framework consists of three major components - multiple AU detection, AU detection fusion, and AU-to-emotion mapping. The experimental results on two real-world face databases demonstrate an improved performance over the previous two-phase method using a single AU detector in terms of both AU detection accuracy and correct emotion recognition rate.

• 한국인터넷방송통신학회논문지
• /
• 제24권1호
• /
• pp.155-161
• /
• 2024

본 논문에서는 기존의 CNN 기반 얼굴 감정 분석 모델에 랜드마크 정보를 특징 벡터로 추가하여 새로운 모델을 제안한다. CNN 기반 모델을 이용한 얼굴 감정 분류 연구는 다양한 방법으로 연구되고 있으나 인식률이 매우 저조한 편이다. 본 논문에서는 CNN 기반 모델의 성능을 향상시키기 위하여 CNN 모델에 ASM으로 구한 랜드마크 기반 완전 연결 네트워크를 결합함으로써 얼굴 표정 분류 정확도를 향상시키는 알고리즘을 제안한다. CNN 모델에 랜드마크를 포함시킴으로써 인식률이 VGG 0.9%, Inception 0.7% 개선되었으며, 랜드마크에 FACS 기반 액션 유닛 추가를 통하여 보다 VGG 0.5%, Inception 0.1%만큼 향상된 결과를 얻을 수 있음을 실험으로 확인하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권6호
• /
• pp.799-807
• /
• 2004

본 논문에서는 사람의 얼굴표정과 음성 속에 담긴 6개의 기본감정(기쁨, 슬픔, 화남, 놀람, 혐오, 공포)에 대한 특징을 추출하고 인식하고자 한다. 이를 위해 얼굴표정을 이용한 감정인식에서는 이산 웨이블렛 기반 다해상도 분석을 이용하여 선형판별분석기법으로 특징을 추출하고 최소 거리 분류 방법을 이용하여 감정을 인식한다. 음성에서의 감정인식은 웨이블렛 필터뱅크를 이용하여 독립적인 감정을 확인한 후 다중의사 결정 기법에 외해 감정인식을 한다. 최종적으로 얼굴 표정에서의 감정인식과 음성에서의 감정인식을 융합하는 단계로 퍼지 소속함수를 이용하며, 각 감정에 대하여 소속도로 표현된 매칭 감은 얼굴에서의 감정과 음성에서의 감정별로 더하고 그중 가장 큰 값을 인식 대상의 감정으로 선정한다.