• 한국콘텐츠학회논문지
• /
• 제8권2호
• /
• pp.18-26
• /
• 2008

본 논문은 사용자로 하여금 표정공간으로부터 일련의 표정들을 선택하게 함으로써 3차원 아바타의 표정을 제어할 수 있는 표정공간의 단계적 가시화 기법을 기술한다. 본 기법에 의한 시스템은 무표정 상태를 포함하여 11개의 서로 다른 모션들로 구성된 2400여개의 표정 프레임으로 2차원 표정공간을 구성하였으며, 3차원 아바타의 표정 제어는 사용자가 표정공간을 항해함으로서 수행되어진다. 그러나 표정공간에서는 과격한 표정 변화에서부터 세밀한 표정 변화까지 다양한 표정 제어를 수행할 수 있어야하기 때문에 단계적 가시화 기법이 필요하다. 표정공간을 단계적으로 가시화하기 위해서는 퍼지 클러스터링을 이용한다. 초기 단계에서는 11개의 클러스터 센터를 가지도록 클러스터링하고, 단계가 증가될 때 마다 클러스터 센터의 수를 두 배씩 증가시켜 표정들을 클러스터링한다. 이때 클러스터 센터와 표정공간에 분포된 표정들의 위치는 서로 다른 경우가 많기 때문에, 클러스터 센터에서 가장 가까운 표정상태를 찾아 클러스터 센터로 간주한다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 단계적 표정 제어를 수행하게 하였으며, 그 결과를 평가한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제2권2호
• /
• pp.120-133
• /
• 2008

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.

• 한국멀티미디어학회논문지
• /
• 제9권7호
• /
• pp.894-903
• /
• 2006

하드웨어의 급속한 기술발전은 3차원 영상정보를 포함한 다양한 디지털 영상정보의 급속한 발전과 확대를 가져왔다. 애니메이션, 가상현실, 영화, 광고, 게임 분야에서도 3차원 디지털 영상처리는 매우 다양하고 광범위하게 사용되고 있다. 이러한 3차원 디지털 영상 속에 등장하는 3D캐릭터는 의인화된 동작이나 음성, 표정등을 통해 관객에게 감동과 정보를 전달하는 중요한 역할을 담당한다. 3D캐릭터의 활용도와 사용범위가 확대되어감에 따라 효과적인 3D캐릭터의 동작연구나 표정연출에 대한 관심도 또한 높아지고 있다. 본 연구에서는 내적감정상태의 효과적 수단으로 사용되는 표정에 대해 연구해본다. 해부학적 구조에 기반한 얼굴근육의 운동방향과 변화에 따른 3D 캐릭터의 표정구현에 대해 살펴보고 효과적인 표현방법을 모색해보고자 한다. 또한 선행연구로 진행된 2D캐릭터 표정연구와의 비교를 통하여 그 차이점과 특징에 대해 살펴보고자 한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2005년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.113-115
• /
• 2005

This thesis presents a method for 3D modeling of facial expression from frontal and mirror-reflected multi-image. Since the proposed system uses only one camera, two mirrors, and simple mirror's property, it is robust, accurate and inexpensive. In addition, we can avoid the problem of synchronization between data among different cameras. Mirrors located near one's cheeks can reflect the side views of markers on one's face. To optimize our system, we must select feature points of face intimately associated with human's emotions. Therefore we refer to the FDP (Facial Definition Parameters) and FAP (Facial Animation Parameters) defined by MPEG-4 SNHC (Synlhetic/Natural Hybrid Coding). We put colorful dot markers on selected feature points of face to detect movement of facial deformation when subject makes variety expressions. Before computing the 3D coordinates of extracted facial feature points, we properly grouped these points according to relative part. This makes our matching process automatically. We experiment on about twenty koreans the subject of our experiment in their late twenties and early thirties. Finally, we verify the performance of the proposed method tv simulating an animation of 3D facial expression.

• 한국정보통신학회논문지
• /
• 제16권5호
• /
• pp.932-938
• /
• 2012

얼굴 표정은 상호간 의사소통에 있어 중요한 의미를 갖는 것으로, 인간이 사용하는 다양한 언어보다도 수많은 인간 내면의 감정을 표현할 수 있는 유일한 수단이다. 본 논문에서는 쉽고 자연스러운 얼굴 표정 생성을 위한 근육 모델 기반 3D 얼굴 표정 생성 시스템을 제안한다. 3D 얼굴 모델의 표정 생성을 위하여 Waters의 근육 모델을 기반으로 자연스러운 얼굴 표정 생성에 필요한 근육을 추가하여 사용하고, 표정 생성의 핵심적 요소인 눈썹, 눈, 코, 입, 볼 등의 특징요소들을 중심으로 얼굴 근육과 근육벡터를 이용하여 해부학적으로 서로 연결된 얼굴 근육 움직임의 그룹화를 통해 얼굴 표정 변화의 기본 단위인 AU를 단순화하고 재구성함으로써 쉽고 자연스러운 얼굴 표정을 생성할 수 있도록 하였다.

• 한국지능시스템학회논문지
• /
• 제19권1호
• /
• pp.1-5
• /
• 2009

본 논문은 거울 투영을 이용하여 2D의 감정인식 데이터베이스를 3D에 적용 가능하다는 것을 증명한다. 또한, 감정 확률을 이용하여 퍼지 모델링 기반의 얼굴표정을 생성하고, 표정을 움직이는 3가지 기본 움직임에 대한 퍼지이론을 적용하여 얼굴표현함수를 제안한다. 제안된 방법은 거울 투영을 통한 다중 이미지를 이용하여 2D에서 사용되는 감정인식에 대한 특징벡터를 3D에 적용한다. 이로 인해, 2D의 모델링 대상이 되는 실제 모델의 기본감정에 대한 비선형적인 얼굴표정을 퍼지를 기반으로 모델링한다. 그리고 얼굴표정을 표현하는데 기본 감정 5가지인 행복, 슬픔, 혐오, 화남, 놀람, 무서움으로 표현되며 기본 감정의 확률에 대해서 각 감정의 평균값을 사용하고 6가지 감정 확률을 이용하여 동적 얼굴표정을 생성한다. 제안된 방법을 3D 인간형 아바타에 적용하여 실제 모델의 표정 벡터와 비교 분석한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권3호
• /
• pp.135-138
• /
• 2014

본 논문에서는 2D-DCT와 EHMM 알고리즘을 이용하여 과적합에 강인한 얼굴 표정인식 방법을 고안하였다. 특히, 본 논문에서는 2D-DCT 특징추출을 위한 윈도우 크기를 크게 설정하여 EHMM의 관측벡터를 추출함으로써, 표정인식 성능 향상을 도모하였다. 제안 방법의 성능평가는 공인 CK 데이터베이스와 JAFFE 데이터베이스를 이용하여 수행되었고, 실험 결과로부터 특징추출 윈도우의 크기가 커질수록 표정 인식률이 향상됨을 확인하였다. 또한, CK 데이터베이스를 이용하여 표정 모델을 생성하고 JAFFE 데이터베이스 전체 샘플을 테스트한 결과, 제안 방법은 87.79%의 높은 인식률을 보였으며, 기존의 히스토그램 특징 기반의 표정인식 접근법보다 46.01~50.05%의 향상된 인식률을 보였다.

• Journal of information and communication convergence engineering
• /
• 제11권3호
• /
• pp.207-215
• /
• 2013

In this paper, we address the challenging computer vision problem of obtaining a reliable facial expression analysis from a naturally interacting person. We propose a system that combines a 3D generic face model, 3D head tracking, and 2D tracker to track facial landmarks and recognize expressions. First, we extract facial landmarks from a neutral frontal face, and then we deform a 3D generic face to fit the input face. Next, we use our real-time 3D head tracking module to track a person's head in 3D and predict facial landmark positions in 2D using the projection from the updated 3D face model. Finally, we use tracked 2D landmarks to update the 3D landmarks. This integrated tracking loop enables efficient tracking of the non-rigid parts of a face in the presence of large 3D head motion. We conducted experiments for facial expression recognition using both framebased and sequence-based approaches. Our method provides a 75.9% recognition rate in 8 subjects with 7 key expressions. Our approach provides a considerable step forward toward new applications including human-computer interactions, behavioral science, robotics, and game applications.

• 한국멀티미디어학회논문지
• /
• 제7권10호
• /
• pp.1478-1484
• /
• 2004

본 논문은 사용자로 하여금 얼굴표정들의 공간으로부터 일련의 표정을 실시간적으로 선택하게 함으로써 3차원 아바타의 실시간적 얼굴 표정을 제어하는 기법을 기술한다. 본 시스템에서는 약 2400여개의 얼굴 표정 프레임을 이용하여 표정공간을 구성하였다. 본 기법에서는 한 표정을 표시하는 상태표현으로 얼굴특징점들 간의 상호거리를 표시하는 거리행렬을 사용한다. 이 거리행렬의 집합을 표정공간으로 한다. 3차원 아바타의 얼굴 표정은 사용자가 표정공간을 항해하면서 실시간적으로 제어한다. 이를 도와주기 위해 표정공간을 PCA투영 기법을 이용하여 2차원 공간으로 가시화했다. 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 얼굴 표정을 제어하게 했는데, 본 논문은 그 결과를 평가한다.

• 한국전자통신학회논문지
• /
• 제8권8호
• /
• pp.1187-1193
• /
• 2013

본 논문은 사실적인 3D 얼굴 모델링과 얼굴 표정 생성 시스템을 제안한다. 사실적인 3D 얼굴 모델링 기법에서 개별적인 3D 얼굴 모양과 텍스쳐 맵을 만들기 위해 Generic Model Fitting 기법을 적용하였다. Generic Model Fitting에서 Deformation Function을 계산하기 위해 개별적인 얼굴과 Generic Model 사이의 대응점을 결정하였다. 그 후, Calibrated Stereo Camera로부터 캡쳐 된 영상들로부터 특징점을 3D로 복원하였다. 텍스쳐 매핑을 위해 Fitted된 Generic Model을 영상으로 Projection하였고 사전에 정의된 Triangle Mesh에서 텍스쳐를 Generic Model에 매핑 하였다. 잘못된 텍스쳐 매핑을 방지하기 위해, Modified Interpolation Function을 사용한 간단한 방법을 제안하였다. 3D 얼굴 표정을 생성하기 위해 Vector Muscle기반 알고리즘을 사용하고, 보다 사실적인 표정 생성을 위해 Deformation 과 vector muscle 기반의 턱 rotation을 적용하였다.