• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권4호
• /
• pp.2124-2148
• /
• 2017

Accurate facial expression recognition (FER) requires reliable signal filtering and the effective feature extraction. Considering these requirements, this paper presents a novel approach for FER which is robust to noise. The main contributions of this work are: First, to preserve texture details in facial expression images and remove image noise, we improved the anisotropic diffusion filter by adjusting the diffusion coefficient according to two factors, namely, the gray value difference between the object and the background and the gradient magnitude of object. The improved filter can effectively distinguish facial muscle deformation and facial noise in face images. Second, to further improve robustness, we propose a new feature descriptor based on a combination of the Histogram of Oriented Gradients with the Canny operator (Canny-HOG) which can represent the precise deformation of eyes, eyebrows and lips for FER. Third, Canny-HOG's block and cell sizes are adjusted to reduce feature dimensionality and make the classifier less prone to overfitting. Our method was tested on images from the JAFFE and CK databases. Experimental results in L-O-Sam-O and L-O-Sub-O modes demonstrated the effectiveness of the proposed method. Meanwhile, the recognition rate of this method is not significantly affected in the presence of Gaussian noise and salt-and-pepper noise conditions.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2002년도 ITC-CSCC -2
• /
• pp.814-817
• /
• 2002

High-dimensional data with two or more attributes are considered. A typical example of such data is face images of various individuals and expressions. In these cases, collecting a complete data set is often difficult since the number of combinations can be large. In the present study, we propose a method to interpolate data of missing combinations from other data. If this becomes possible, robust recognition of multiple attributes is expectable. The key of this subject is appropriate extraction of the similarity that the face images of same individual or same expression have. Bilinear model ［1］has been proposed as a solution of this subjcet. However, experiments on application of bilinear model to classification of face images resulted in low performance ［2］. In order to overcome the limit of bilinear model, in this research, a nonlinear model on a neural network is adopted and usefulness of this model is experimentally confirmed.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권6호
• /
• pp.570-579
• /
• 2005

표정인식 연구는 맨$\cdot$머신 인터페이스 개발, 개인 식별, 가상모델에 의한 표정복원 등 응용가치의 무한한 가능성과 함께 다양한 분야에서 연구되고 있다 본 논문에서는 인간의 기본정서 중 행복, 분노, 놀람, 슬픔에 대한 4가지 표정을 얼굴의 강체 움직임이 없는 얼굴동영상으로부터 간단히 표정인식 할 수 있는 방법을 제안한다. 먼저, 얼굴 및 표정을 결정하는 요소들과 각 요소의 특징영역들을 색상, 크기 그리고 위치정보를 이용하여 자동으로 검출한다. 다음으로 Gradient Method를 이용하여 추정한 광류 값으로 특징영역들에 대한 방향패턴을 결정한 후, 본 연구가 제안한 방향모델을 이용하여 방향패턴에 대한 매칭을 행한다. 각 정서를 대표하는 방향모델과의 패턴 매칭에서 그 조합 값이 최소를 나타내는 부분이 가장 유사한 정서임을 판단하고 표정인식을 행한다. 마지막으로 실험을 통하여 본 논문의 유효성을 확인한다.

• 융합보안논문지
• /
• 제14권5호
• /
• pp.17-24
• /
• 2014

본 논문에서는 얼굴 표정 인식을 위한 지역미세패턴(local micro pattern)의 하나인 LBP(Local Binary Pattern) 코드의 잡음에 대한 단점을 해결하기위하여 새로운 미세패턴 방법인 LDP(Local Directional Pattern)를 제안한다. 제안된 방법은 LBP의 문제점을 해결하기 위해 $m{\times}m$ 마스크를 이용하여 8개의 방향 성분을 구하고, 이를 크기에 따라서 정렬한 후 상위 k개를 선정하여 해당 방향을 나타내는 비트를 1로 설정한다. 그리고 8개의 방향 비트를 순차적으로 연결하여 최종 패턴 코드를 생성한다. 실험결과, 제안된 방법은 기존 방법에 비해 회전에 대한 영향이 적으며, 잡음에 대한 적응력이 현저히 높았다. 또한, 제안된 방법을 기반으로 얼굴의 영구적인 특징과 일시적인 특징을 함께 표현하는 새로운 지역미세패턴의 개발이 가능함을 확인하였다.

• ETRI Journal
• /
• 제37권6호
• /
• pp.1199-1210
• /
• 2015

Automatic emotion recognition based on facial cues, such as facial action units (AUs), has received huge attention in the last decade due to its wide variety of applications. Current computer-based automated two-phase facial emotion recognition procedures first detect AUs from input images and then infer target emotions from the detected AUs. However, more robust AU detection and AU-to-emotion mapping methods are required to deal with the error accumulation problem inherent in the multiphase scheme. Motivated by our key observation that a single AU detector does not perform equally well for all AUs, we propose a novel two-phase facial emotion recognition framework, where the presence of AUs is detected by group decisions of multiple AU detectors and a target emotion is inferred from the combined AU detection decisions. Our emotion recognition framework consists of three major components - multiple AU detection, AU detection fusion, and AU-to-emotion mapping. The experimental results on two real-world face databases demonstrate an improved performance over the previous two-phase method using a single AU detector in terms of both AU detection accuracy and correct emotion recognition rate.

• 한국지능시스템학회논문지
• /
• 제19권4호
• /
• pp.562-567
• /
• 2009

얼굴 표정은 사람의 감정을 전달하는 핵심 메커니즘으로 이를 적절하게 활용할 경우 Robotics의 HRI(Human Robot Interface)와 같은 Human Computer Interaction에서 큰 역할을 수행할 수 있다. 이는 HCI(Human Computing Interface)에서 사용자의 감정 상태에 대응되는 다양한 반응을 유도할 수 있으며, 이를 통해 사람의 감정을 통해 로봇과 같은 서비스 에이전트가 사용자에게 제공할 적절한 서비스를 추론할 수 있도록 하는 핵심요소가 된다. 본 논문에서는 얼굴표정에서의 감정표현을 인식하기 위한 방법으로 FACS(Facial Action Coding System)와 AAM(Active Appearance Model)을 이용한 특징 추출과 Bayesian Network 기반 표정 추론 기법이 융합된 얼굴표정 인식 시스템의 개발에 대한 내용을 제시한다.

• 한국콘텐츠학회논문지
• /
• 제5권2호
• /
• pp.147-155
• /
• 2005

본 논문은 여러 가지 감정들 중에서 4가지 감정의 범주 즉, 중성, 두려움, 싫증 및 놀람을 포함한 음성과 감성이 결합되어진 얼굴의 표정을 좀 더 정확하고 자연스러운 3차원 모델로 만들 수 있는 FAES(a Facial Animation with Emotion and Speech) 시스템을 구축하는데 그 주된 목적이 있다. 이를 위해서 먼저 사용할 훈련자료를 추출하고 난후에 감성을 처리한 얼굴 애니메이션에서는 SVM(Support vector machine)[11]을 사용하여 4개의 감정을 수반한 얼굴 표정을 데이터베이스로 구축한다. 마지막으로 얼굴 표정에 감정과 음성이 표현되는 시스템을 개발하는 것이다. 얼굴 표정을 위해서 본 논문에서는 한국인 청년을 대상으로 이루어졌다. 이런 시스템을 통한 결과가 기존에 제시된 방법에 비해서 감정의 영역을 확대시킴은 물론이고 감정인지의 정확도가 약 7%, 어휘의 연속 음성인지가 약 5%의 향상을 시켰다.

• 한국정보전자통신기술학회논문지
• /
• 제14권4호
• /
• pp.239-246
• /
• 2021

컴퓨터 그래픽스 및 HCI 분야에서 캐릭터를 만들고 자연스럽게 상호작용하는 시스템에 관한 많은 연구가 있었다. 이와 같은 연구들은 사용자의 행동에 대한 반응에 중점을 두었으며, 사용자에게 긍정적 감정을 끌어내기 위한 캐릭터의 행동 연구는 여전히 어려운 문제로 남아있다. 본 논문에서는 인공지능 기술을 이용하여 가상 캐릭터의 움직임에 따른 사용자의 긍정적 감정을 끌어내기 위한 상호작용 시스템 프로토타입을 개발한다. 제안된 시스템은 표정 인식과 가상 캐릭터의 동작 생성으로 구분된다. 표정 인식을 위해 깊이 카메라를 사용하며 인식된 사용자의 표정 데이터는 동작 생성으로 전달된다. 우리는 개인화된 상호작용 시스템 개발을 위하여 학습모델로서 모방학습을 사용한다. 동작 생성에서는 최초 사용자의 표정 데이터에 따라 무작위 행동을 수행하고 지속적인 모방학습을 통하여 사용자가 긍정적 감정을 끌어낼 수 있는 행동을 학습한다.

• 대한전자공학회논문지SP
• /
• 제49권4호
• /
• pp.77-84
• /
• 2012

얼굴인식 기술은 지능형 보안, 웹에서 콘텐츠 검색, 지능로봇의 시각부분, 머신인터페이스 등, 활용이 광범위 하다. 그러나 일반적으로 대상자의 표정과 포즈 변화, 주변의 조명 환경과 같은 문제가 있으며 이와 더불어 원거리에서 획득한 영상의 경우 저해상도를 비롯하여 블러와 잡음에 의한 영상의 열화 등의 여러 가지 어려움이 발생한다. 본 논문에서는 포톤 카운팅(Photon-counting) 선형판별법(Linear Discriminant Analysis)을 이용한 다중 분류기(Classifier)에 의한 판정을 융합하여 얼굴 영상 인식을 수행한다. Fisher 선형판별법은 집단 간 분산을 최대로 하고 집단 내 분산을 최소로 하는 공간으로 선형 투영하는 방법으로, 학습영상의 수가 적을 경우 특이행렬 문제가 발생하지만 포톤카운팅 선형 판별법은 이러한 문제가 없으므로 차원축소를 위한 전 처리 과정이 필요 없다. 본 논문의 다중 분류기는 포톤 카운팅 선형판별법의 유클리드 거리(Euclidean Distance) 또는 정규화된 상관(Normalized Correlation)을 적용하는 판정규칙에 따라 구성된다. 다중분류기의 판정의 융합은 각 분류기 cost의 정규화(Normalization), 유효화(Validation), 그리고 융합규칙(Fusion Rule)으로 구성된다. 각 분류기에서 도출된 cost는 같은 범위로 정규화된 후 유효화 과정에서 선별되고 Minimum, 또는 Average, 또는 Majority-voting의 융합규칙에 의하여 융합된다. 실험에서는 원거리에서 획득한 효과를 구현하기 위하여 고해상도 데이터베이스 영상을 인위적으로 Unfocusing과 Motion 블러를 이용하여 열화하여 테스트하였다. 실험 결과는 다중분류기 융합결과의 인식률은 단일분류기보다 높다는 것을 보여준다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.724-726
• /
• 2004

본 논문에서는 말스버그가 주장한 가보 웨이블릿을 기반으로 하는 얼굴 인식과 표정에 강인한 얼굴 인식에 대한 내용을 소개하였다. 표정을 분류하는 방법론에 대한 연구는 활발한 편이지만, 유사한 표정을 지니는 타인에 대한 구분이라던가, 동일인의 다양한 표정을 한 사람으로 정확히 인식하는 연구는 전무한 실정이다. 본 논문에서는 얼굴을 구성하는 특징 중에서 표정에 가장 많이 영향을 받는 특징을 분석하기 위한 실험과정과 결과, 그리고 근거를 제시하였고, 그에 따르는 방법론에 대한 연구를 제안한다.