• 정보처리학회논문지B
• /
• 제16B권5호
• /
• pp.395-402
• /
• 2009

본 연구는 표정 인식률을 개선하기 위한, 강도가 다른 표정을 인식하는 새로운 표정 인식 방법을 제안한다. 사람마다 다르게 나타나는 표정과 표정마다 다른 강도는 표정 인식률 저하에 지대한 영향을 미친다. 하지만 얼굴 표정의 다양한 강도를 처리하는 방법은 많이 제시되지 않고 있다. 본 연구에서는 표정 템플릿과 표정 강도 분포모델을 이용하여 다양한 얼굴 표정 강도를 인식하는 방법을 제시한다. 표정 템플릿과 표정강도 분포모델은 얼굴의 특징 부위에 표시한 관심 점과 얼굴 특징 부위간의 움직임이 다른 표정과 강도에 따라 어떻게 달라지는지 설명하여 표정 인식률 개선에 기여한다. 제안 방법은 정지 이미지뿐만 아니라 비디오시퀀스에서도 빠른 측정 과정을 통해 다양한 강도의 표정을 인식할 수 있는 장점이 있다. 실험 결과, 제안 연구가 특히 약한 강도의 표정에 대해 타 방법보다 높은 인식 결과를 보여 제안 방법이 다양한 강도의 표정 인식에 강건함을 알 수 있다.

• 한국콘텐츠학회논문지
• /
• 제8권2호
• /
• pp.18-26
• /
• 2008

본 논문은 사용자로 하여금 표정공간으로부터 일련의 표정들을 선택하게 함으로써 3차원 아바타의 표정을 제어할 수 있는 표정공간의 단계적 가시화 기법을 기술한다. 본 기법에 의한 시스템은 무표정 상태를 포함하여 11개의 서로 다른 모션들로 구성된 2400여개의 표정 프레임으로 2차원 표정공간을 구성하였으며, 3차원 아바타의 표정 제어는 사용자가 표정공간을 항해함으로서 수행되어진다. 그러나 표정공간에서는 과격한 표정 변화에서부터 세밀한 표정 변화까지 다양한 표정 제어를 수행할 수 있어야하기 때문에 단계적 가시화 기법이 필요하다. 표정공간을 단계적으로 가시화하기 위해서는 퍼지 클러스터링을 이용한다. 초기 단계에서는 11개의 클러스터 센터를 가지도록 클러스터링하고, 단계가 증가될 때 마다 클러스터 센터의 수를 두 배씩 증가시켜 표정들을 클러스터링한다. 이때 클러스터 센터와 표정공간에 분포된 표정들의 위치는 서로 다른 경우가 많기 때문에, 클러스터 센터에서 가장 가까운 표정상태를 찾아 클러스터 센터로 간주한다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 단계적 표정 제어를 수행하게 하였으며, 그 결과를 평가한다.

• 제어로봇시스템학회논문지
• /
• 제12권3호
• /
• pp.255-263
• /
• 2006

In the last decade, face analysis, e.g. face detection, face recognition, facial expression recognition, is a very lively and expanding research field. As computer animated agents and robots bring a social dimension to human computer interaction, interest in this research field is increasing rapidly. In this paper, we introduce an artificial emotion mimic system which can recognize human facial expressions and also generate the recognized facial expression. In order to recognize human facial expression in real-time, we propose a facial expression classification method that is performed by weak classifiers obtained by using new rectangular feature types. In addition, we make the artificial facial expression using the developed robotic system based on biological observation. Finally, experimental results of facial expression recognition and generation are shown for the validity of our robotic system.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1998년도 Proceedings of International Workshop on Advanced Image Technology
• /
• pp.16.1-164
• /
• 1998

This paper describes Facial Expression Explorer to search for the components of a facial expression and to map the expression to other expressionless figures like a robot, frog, teapot, rabbit and others. In general, it is a time-consuming and laborious job to create a facial expression manually, especially when the facial expression must personify a well-known public figure or an actor. In order to extract a blending ratio from facial images automatically, the Facial Expression Explorer uses Networked Genetic Algorithm(NGA) which is a fast method for the convergence by GA. The blending ratio is often used to create facial expressions through shape blending methods by animators. With the Facial Expression Explorer a realistic facial expression can be modeled more efficiently.

• 정보처리학회논문지A
• /
• 제14A권2호
• /
• pp.85-90
• /
• 2007

본 논문은 애니메이터로 하여금 표정공간으로부터 임의의 표정상태 수 개를 선택하도록 하면, 최적의 표정전이경로를 자동적으로 설정하도록 해줌으로써, 얼굴 표정 애니메이션을 실시간적으로 생성하거나 표정 제어가 가능하도록 하기 위한 기법을 기술한다. 표정공간은 약 2500개의 얼굴 표정상태 간의 거리를 구하고, 다차원 스케일링 기법을 사용하여 2차원 평면에 분포시킴으로서 형성된다. 표정공간에서 최적의 표정전이경로를 설정하기 위해서는 임의의 얼굴 표정상태를 기준으로 사분면처럼 4개의 영역으로 나눈다. 그리고 각 영역별로 최단거리에 존재하는 열굴 표정상태를 결정하고, 그 중에서 가장 가까운 얼굴 표정상태를 선택하여 전이시키고, 전이가 끊어진 얼굴 표정상태에서는 두 번째, 세 번째 혹은 네 번째로 가까운 얼굴 표정상태를 선택하여 순서대로 전이시킴으로써 완전한 표정전이경로가 결정된다. 그리고 애니메이터가 표정공간에서 대표적인 수 개의 표정상태만을 선택해주면 시스템은 자동적으로 최적의 표정전이경로를 설정하여 준다. 본 논문은 애니메이터들로 하여금 본 시스템을 사용하여 얼굴 애니메이션을 생성하거나 표정 제어를 수행하도록 하였으며, 그 결과를 평가한다.

• Journal of Information Science Theory and Practice
• /
• 제7권2호
• /
• pp.32-39
• /
• 2019

A convolutional neural network (CNN) has been widely used in facial expression recognition (FER) because it can automatically learn discriminative appearance features from an expression image. To make full use of its discriminating capability, this paper suggests a simple but effective method for CNN based FER. Specifically, instead of an original expression image that contains facial appearance only, the expression image with facial geometry visualization is used as input to CNN. In this way, geometric and appearance features could be simultaneously learned, making CNN more discriminative for FER. A simple CNN extension is also presented in this paper, aiming to utilize geometric expression change derived from an expression image sequence. Experimental results on two public datasets (CK+ and MMI) show that CNN using facial geometry visualization clearly outperforms the conventional CNN using facial appearance only.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.449-454
• /
• 2009

일반적인 물체와 달리 사람의 얼굴은 표정이라는 중요한 시각적 요소를 포함하고 있다. 이러한 이유로 만화가들은 빛에 의한 음영 이외에도, 장면의 분위기와 캐릭터의 특징을 효과적으로 전달하기 위해 특별한 음영을 얼굴에 그려 넣는다. 이러한 음영은 물리적으로 타당하지는 않지만 얼굴의 형태와 표정을 강조하기 때문에 얼굴 표정의 카툰 렌더링에서 반드시 고려해야 할 사항이다. 이 논문에서는 실제 만화가의 음영 표현방식에 착안하여 캐릭터 얼굴을 위한 새로운 카툰 렌더링 방법을 제안한다. 이를 위해 먼저 다양한 만화 이미지를 수집하여 얼굴의 음영표현을 분석하고, 캐릭터의 표정에 따라 카툰 렌더링을 달리 하기 위해서 음영표현 템플릿을 정의하였다. 그리고 이러한 만화가들의 음영표현방식을 바탕으로 기존의 카툰 렌더링 방법을 발전시켜 효과적으로 캐릭터의 표정을 강조하는 캐릭터 얼굴 카툰 렌더링 시스템을 구현하였다. 마지막으로 사용자평가를 통해 논문에서 제안한 방법의 유용성을 증명한다.

• 한국멀티미디어학회논문지
• /
• 제20권5호
• /
• pp.748-757
• /
• 2017

In order to recognize the facial expressions, good features that can express the facial expressions are essential. It is also essential to find the characteristic areas where facial expressions appear discriminatively. In this study, we propose a directional LBP feature for facial expression recognition and a method of finding directional LBP operation and feature region for facial expression classification. The proposed directional LBP features to characterize facial fine micro-patterns are defined by LBP operation factors (direction and size of operation mask) and feature regions through AdaBoost learning. The facial expression classifier is implemented as a SVM classifier based on learned discriminant region and directional LBP operation factors. In order to verify the validity of the proposed method, facial expression recognition performance was measured in terms of accuracy, sensitivity, and specificity. Experimental results show that the proposed directional LBP and its learning method are useful for facial expression recognition.

• 한국콘텐츠학회논문지
• /
• 제7권2호
• /
• pp.117-124
• /
• 2007

본 논문은 얼굴 모션 캡쳐 데이터를 재사용하여 실시간 표정 제어 및 표정 애니메이션을 생성하기 위한 방법론을 기술한다. 이 방법의 핵심요소는 얼굴 표정들을 정의할 수 있는 표정상태 표현법을 정하고, 이를 LLE 알고리즘에 적용하여 표정들을 적당한 공간에 분포시키는 방법론과, 이 공간을 사용하여 실시간 표정 애니메이션 생성 및 표정제어를 수행하기 위한 사용자 인터페이스 기법이다. 본 논문에서는 약 2400개의 얼굴 표정 프레임 데이터를 이용하여 공간을 생성하고, 애니메이터가 이 공간을 자유롭게 항해할 때, 항해경로 상에 위치한 얼굴 표정 프레임 데이터들이 연속적으로 선택되어 하나의 애니메이션이 생성되거나 표정제어가 가능하도록 하였다. 약 2400개의 얼굴 표정 프레임 데이터들을 직관적인 공간상에 분포하기 위해서는 얼굴 표정 프레임 데이터로부터 얼굴 표정상태를 표현할 필요가 있고, 이를 위해서는 임의의 두 마커 사이의 거리들로 구성된 거리행렬 벡터를 이용한다. 직관적인 공간에서의 데이터 배치는 얼굴 표정상태벡터들의 집합을 LLE 알고리즘에 적용하고, 이로부터 2차원 평면에 균일하게 분포하였다. 본 논문에서는 애니메이터로 하여금 사용자 인터페이스를 사용하여 실시간으로 표정 애니메이션을 생성하거나 표정제어를 수행하도록 하였으며, 그 결과를 평가한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권8호
• /
• pp.827-833
• /
• 2000

본 논문에서는 인간의 중요한 감정표현 수단인 얼굴표정을 분석하는 방법을 제시하였다. 제안된 방법에서는 기준얼굴과 그의 혼합 비율의 관점에서 얼굴표정을 분석한다. 기준얼굴은 인간의 대표적인 얼굴표정인 놀람, 두려움, 분노, 혐오, 행복, 슬픔, 그리고 무표정으로 설정하였다. 얼굴 모델의 생성을 위해 일반 얼굴 모델이 얼굴영상으로 정합하는 방법을 사용하였다. 기준얼굴의 혼합 비율을 구하기 위해 유전자 알고리즘과 Simulated Annealing 방법을 사용하였고 탐색된 얼굴표정 정보를 이용한 얼굴표정 생성 실험을 통해 제안된 방법의 유용성을 입증하였다.