• Journal of Korea Multimedia Society
• /
• v.11 no.8
• /
• pp.1138-1145
• /
• 2008

Recently, performance-driven facial animation has been popular in various area. In television or game, it is important to guarantee real-time animation for various characters with different appearances between a performer and a character. In this paper, we present a new facial animation approach based on motion capture. For this purpose, we address three issues: facial expression capture, expression mapping and facial animation. Finally, we show the results of various examination for different types of face models.

• Korean Journal of Cognitive Science
• /
• v.14 no.4
• /
• pp.33-42
• /
• 2003

This paper presents a new system for facial expression recognition based in dimension model of internal states. The information of facial expression are extracted to the three steps. In the first step, Gabor wavelet representation extracts the edges of face components. In the second step, sparse features of facial expressions are extracted using fuzzy C-means(FCM) clustering algorithm on neutral faces, and in the third step, are extracted using the Dynamic Model(DM) on the expression images. Finally, we show the recognition of facial expression based on the dimension model of internal states using a multi-layer perceptron. The two dimensional structure of emotion shows that it is possible to recognize not only facial expressions related to basic emotions but also expressions of various emotion.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1999.11a
• /
• pp.193-196
• /
• 1999

컴퓨터 그래픽스에서 인간의 얼굴 표정을 생성하는 것은 고전적인 주제중의 하나이다. 따라서 관련된 많은 연구가 이루어져 왔지만 대부분의 연구들은 특정 모델을 이용한 얼굴 표정 애니메이션을 제공하였다. 이는 얼굴 표정에는 얼굴 근육 정보 및 부수적인 정보가 필요하고 이러한 정보는 3D 얼굴 모델에 종속되기 때문이다. 본 논문에서는 일반적인 3D 얼굴 모델에 근육을 설정하고 기타 정보를 편집하여, 다양한 3D 얼굴모델에서 표정 애니메이션이 가능한 도구를 제안한다.

• Journal of Internet Computing and Services
• /
• v.10 no.4
• /
• pp.55-70
• /
• 2009

Vision-based Human computer interaction is an emerging field of science and industry to provide natural way to communicate with human and computer. In that sense, inferring the emotional state of the person based on the facial expression recognition is an important issue. In this paper, we present a novel approach to recognize facial expression from a sequence of input images using emotional specific HMM (Hidden Markov Model) and facial motion tracking based on optical flow. Conventionally, in the HMM which consists of basic emotional states, it is considered natural that transitions between emotions are imposed to pass through neutral state. However, in this work we propose an enhanced transition framework model which consists of transitions between each emotional state without passing through neutral state in addition to a traditional transition model. For the localization of facial features from video sequence we exploit template matching and optical flow. The facial feature displacements traced by the optical flow are used for input parameters to HMM for facial expression recognition. From the experiment, we can prove that the proposed framework can effectively recognize the facial expression in real time.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.425-427
• /
• 2000

얼굴 표정은 사람의 감정을 표현함과 동시에 그것을 이해할 수 있는 중요한 수단이다. 최근 이러한 얼굴 표정의 자동인식과 추적을 위한 연구가 많이 진행되고 있다. 본 연구에서는 대략적인 얼굴영역을 설정하여 얼굴의 표정을 나타내는 표정요소들을 찾아낸 후, 각 요소의 특징점을 추출하고 추적하는 방법을 제시한다. 제안하는 시스템의 개요는 입력영상의 첫 프레임에서 얼굴영역 및 특징점을 찾고, 연속되는 프레임에서 반복적으로 이를 추적한다. 특징점 추출과 추적에는 템플릿 매칭과 Canny 경계선 검출기, Gabor 웨이블릿 변환을 사용하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.129-131
• /
• 2022

얼굴 표정 데이터셋에는 특정 감정 부류로 분류하기 어려운 이상치들이 존재한다. 이러한 이상치들은 얼굴 표정 인식과 더불어 얼굴 표정 조작의 성능을 저하시키는 원인 중 하나이다. 따라서, 본 논문에서는 이상치 억제를 통한 개선된 얼굴 표정 조작 프레임워크를 제안한다. 우리는 이상치 억제를 위해 의미론적 속성 분류 측면에서 우수한 성능을 보여주는 CLIP 을 활용하였다. 우리는 정성적인 비교를 통해 기존의 얼굴 표정 조작 기법보다 개선된 성능을 제시한다.

• The KIPS Transactions:PartB
• /
• v.16B no.5
• /
• pp.395-402
• /
• 2009

This paper proposes an approach of a novel facial expression recognition to deal with different intensities to improve a performance of a facial expression recognition. Various expressions and intensities of each person make an affect to decrease the performance of the facial expression recognition. The effect of different intensities of facial expression has been seldom focused on. In this paper, a face expression template and an expression-intensity distribution model are introduced to recognize different facial expression intensities. These techniques, facial expression template and expression-intensity distribution model contribute to improve the performance of facial expression recognition by describing how the shift between multiple interest points in the vicinity of facial parts and facial parts varies for different facial expressions and its intensities. The proposed method has the distinct advantage that facial expression recognition with different intensities can be very easily performed with a simple calibration on video sequences as well as still images. Experimental results show a robustness that the method can recognize facial expression with weak intensities.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 2009.05a
• /
• pp.51-54
• /
• 2009

다양한 미디어에서 인물과 색채는 가장 중심적인 요소로서 활용되므로 인물의 표정에서 느껴지는 감성과 색채 자극에 대한 감성적 반응에 연구는 심리학 분야에서 각각 심도 있게 연구되어왔다. 본 연구에서는 감성 자극물로서의 얼굴 표정과 색채가 상호 작용을 하였을 때 이에 대한 감성적 반응에 대하여 조사하는데 그 목적이 있다. 즉, 인물의 표정과 배경 색상을 배치하였을 때 인물의 표정에서 느껴지는 감성이 어떻게 변하는지에 관한 실험 연구를 진행하여 이를 미디어에서 활용할 수 있는 방안을 제시하고자 한다. 60명의 피실험자들을 대상으로 진행한 실험연구에서는 Ekman의 7가지의 universal facial expression 중 증오(Contempt)의 표정을 제외한 분노(Anger), 공포(Fear), 역겨움(Disgusting), 기쁨(Happiness), 슬픔(Sadness), 놀람(Surprising) 등의 6가지의 표정의 이미지를 인물의 표정으로 활용하였다. 그리고, 배경 색채로서 빨강, 노랑, 파랑, 초록의 색상들을 기준으로 각각 밝은(light), 선명한(vivid), 둔탁한(dull), 그리고 어두운(dark) 등의 4 가지 톤(tone)의 영역에서 색채를 추출하였고, 추가로 무채색의 5 가지 색상이 적용되었다. 총 120 장(5 가지 얼굴표정 ${\times}$ 20 가지 색채)의 표정에서 나타나는 감성적 표현을 평가하도록 하였으며, 각각의 피실험자는 무작위 순위로 60개의 자극물을 평가하였다. 실험에서 측정된 데이터는 각 표정별로 분류되었으며 배경에 적용된 색채에 따라 얼굴 표현에서 나타나는 감성적 표현이 다름을 보여주었다. 특히 색채에 대한 감성적 반응에 대한 기존연구에서 제시하고 있는 자료를 토대로 색채와 얼굴표정의 감성이 상반되는 경우, 얼굴표정에서 나타나는 감성적 표현이 약하게 전달되었음을 알 수 있었으며, 이는 부정적인 얼굴표정일수록 더 두드러지는 것으로 나타났다. 이러한 현상은 색상과 톤의 경우 공통적으로 나타나는 현상으로서 광고 및 시각 디자인 분야의 실무에서 활용될 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2009.01a
• /
• pp.163-167
• /
• 2009

본 논문에서는 크게 2단계에 걸쳐 다양한 형태의 얼굴을 가진 2차원 애니메이션 상의 캐릭터 얼굴구성요소를 추출하고 표정을 분석한다. 첫 번째 단계에서는, 기존의 얼굴인식 및 표정인식 분야에서 이용되었던 동적메쉬모델을 간소화하여 캐릭터 얼굴에 적용하기 위한 최적의 표준 메쉬모델을 제작하고, 이 모델을 사용하여 얼굴구성요소의 위치 및 형태정보를 추출한다. 두 번째 단계에서는, 앞 단계에서 추출된 3가지 얼굴구성요소(눈썹, 눈, 입)를 사용하여 FACS(Facial Action Coding System)에 정의된 AU(Action Units) 44개 중 12개의 AU를 사용하여 캐릭터의 5까지 기본적인 얼굴 표정에 대해 분석 및 정의한다. 본 논문에서 정의한 AU로 기본적인 5가지 얼굴표정에 대해 표정분석 정확도를 측정하였고, 서로 다른 캐릭터에 실험함으로써 제안된 AU정의의 타당성을 제시한다.

• The KIPS Transactions:PartB
• /
• v.15B no.5
• /
• pp.477-486
• /
• 2008

Facial expression, which changes face geometry, usually has an adverse effect on the performance of a face recognition system. To improve the face recognition rate, we propose a normalization method of facial expression to diminish the difference of facial expression between probe and gallery faces. Two approaches are used to facial expression modeling and normalization from single still images using a generic facial muscle model without the need of large image databases. The first approach estimates the geometry parameters of linear muscle models to obtain a biologically inspired model of the facial expression which may be changed intuitively afterwards. The second approach uses RBF(Radial Basis Function) based interpolation and warping to normalize the facial muscle model as unexpressed face according to the given expression. As a preprocessing stage for face recognition, these approach could achieve significantly higher recognition rates than in the un-normalized case based on the eigenface approach, local binary patterns and a grey-scale correlation measure.