• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1057-1062
• /
• 2007

얼굴표정 인식은 심리학 연구, 얼굴 애니메이션 합성, 로봇공학, HCI(Human Computer Interaction) 등 다양한 분야에서 중요성이 증가하고 있다. 얼굴표정은 사람의 감정 표현, 관심의 정도와 같은 사회적 상호작용에 있어서 중요한 정보를 제공한다. 얼굴표정 인식은 크게 정지영상을 이용한 방법과 동영상을 이용한 방법으로 나눌 수 있다. 정지영상을 이용할 경우에는 처리량이 적어 속도가 빠르다는 장점이 있지만 얼굴의 변화가 클 경우 매칭, 정합에 의한 인식이 어렵다는 단점이 있다. 동영상을 이용한 얼굴표정 인식 방법은 신경망, Optical Flow, HMM(Hidden Markov Models) 등의 방법을 이용하여 사용자의 표정 변화를 연속적으로 처리할 수 있어 실시간으로 컴퓨터와의 상호작용에 유용하다. 그러나 정지영상에 비해 처리량이 많고 학습이나 데이터베이스 구축을 위한 많은 데이터가 필요하다는 단점이 있다. 본 논문에서 제안하는 실시간 얼굴표정 인식 시스템은 얼굴영역 검출, 얼굴 특징 검출, 얼굴표정 분류, 아바타 제어의 네 가지 과정으로 구성된다. 웹캠을 통하여 입력된 얼굴영상에 대하여 정확한 얼굴영역을 검출하기 위하여 히스토그램 평활화와 참조 화이트(Reference White) 기법을 적용, HT 컬러모델과 PCA(Principle Component Analysis) 변환을 이용하여 얼굴영역을 검출한다. 검출된 얼굴영역에서 얼굴의 기하학적 정보를 이용하여 얼굴의 특징요소의 후보영역을 결정하고 각 특징점들에 대한 템플릿 매칭과 에지를 검출하여 얼굴표정 인식에 필요한 특징을 추출한다. 각각의 검출된 특징점들에 대하여 Optical Flow알고리즘을 적용한 움직임 정보로부터 특징 벡터를 획득한다. 이렇게 획득한 특징 벡터를 SVM(Support Vector Machine)을 이용하여 얼굴표정을 분류하였으며 추출된 얼굴의 특징에 의하여 인식된 얼굴표정을 아바타로 표현하였다.

• Journal of Korea Multimedia Society
• /
• v.7 no.10
• /
• pp.1478-1484
• /
• 2004

This paper presents a method that controls facial expression in realtime of 3D avatar by having the user select a sequence of facial expressions in the space of facial expressions. The space of expression is created from about 2400 frames of facial expressions. To represent the state of each expression, we use the distance matrix that represents the distances between pairs of feature points on the face. The set of distance matrices is used as the space of expressions. Facial expression of 3D avatar is controled in real time as the user navigates the space. To help this process, we visualized the space of expressions in 2D space by using the Principal Component Analysis(PCA) projection. To see how effective this system is, we had users control facial expressions of 3D avatar by using the system. This paper evaluates the results.

• Journal of Korea Multimedia Society
• /
• v.11 no.8
• /
• pp.1138-1145
• /
• 2008

Recently, performance-driven facial animation has been popular in various area. In television or game, it is important to guarantee real-time animation for various characters with different appearances between a performer and a character. In this paper, we present a new facial animation approach based on motion capture. For this purpose, we address three issues: facial expression capture, expression mapping and facial animation. Finally, we show the results of various examination for different types of face models.

• The Journal of the Korea Contents Association
• /
• v.7 no.3
• /
• pp.9-16
• /
• 2007

This paper describe methodology that is distributed on 2-dimensional plane to much high-dimensional facial motion datas using Isomap algorithm, and user interface techniques to control facial expressions by selecting expressions while user navigates this space in real-time. Isomap algorithm is processed of three steps as follow; first define an adjacency expression of each expression data, and second, calculate manifold distance between each expressions and composing expression spaces. These facial spaces are created by calculating of the shortest distance(manifold distance) between two random expressions. We have taken a Floyd algorithm for it. Third, materialize multi-dimensional expression spaces using Multidimensional Scaling, and project two dimensions plane. The smallest adjacency distance to define adjacency expressions uses Pearson Correlation Coefficient. Users can control facial expressions of 3-dimensional avatar by using user interface while they navigates two dimension spaces by real-time.

• The Journal of the Korea Contents Association
• /
• v.7 no.2
• /
• pp.117-124
• /
• 2007

This paper describes methodology that enables animators to create the facial expression animations and to control the facial expressions in real-time by reusing motion capture datas. In order to achieve this, we fix a facial expression state expression method to express facial states based on facial motion data. In addition, by distributing facial expressions into intuitive space using LLE algorithm, it is possible to create the animations or to control the expressions in real-time from facial expression space using user interface. In this paper, approximately 2400 facial expression frames are used to generate facial expression space. In addition, by navigating facial expression space projected on the 2-dimensional plane, it is possible to create the animations or to control the expressions of 3-dimensional avatars in real-time by selecting a series of expressions from facial expression space. In order to distribute approximately 2400 facial expression data into intuitional space, there is need to represents the state of each expressions from facial expression frames. In order to achieve this, the distance matrix that presents the distances between pairs of feature points on the faces, is used. In order to distribute this datas, LLE algorithm is used for visualization in 2-dimensional plane. Animators are told to control facial expressions or to create animations when using the user interface of this system. This paper evaluates the results of the experiment.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.748-750
• /
• 2004

본 논문은 연속적으로 입력되는 2차원 얼굴 영상에서 얼굴의 특징 영역들을 추출하여 3차원 얼굴 모델의 표정을 실시간으로 제어하는 방법에 관한 연구이다. 2차원 얼굴 영상에서 얼굴을 추출하기 위해 Hue, Saturation 색상 값을 사용하며, 두 가지 색상 값을 이용하여 피부색과 배경색을 분리함으로써 얼굴 영역을 추출 할 수 있다. 추출 된 얼굴에서 특징 영역인 눈 코, 입술 영역 등의 일지를 각각의 영역에 적합한 추출 방법을 이용하여 추출한 뒤, 프레임 별로 영역들의 움직임을 비교함으로써 영역의 움직임 정보를 획득 할 수 있다. 이 정보를 3차원 얼굴 모델에 적용하여 2차원 동영상에서 획득된 대상의 얼굴의 표정을 3차원 얼굴 모델에 실시간으로 표현 할 수 있도록 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06a
• /
• pp.109-111
• /
• 2006

본 논문은 애니메이터로 하여금 얼굴 표정들의 공간으로부터 일련의 표정을 선택하게 함으로써 3차원 아바타의 표정을 실시간적으로 제어할 수 있도록 하기 위한 표정공간의 생성방법에 관하여 기술한다. 본 시스템에서는 약 2400여개의 얼굴 표정 프레임을 이용하여 표정공간을 구성하였다. 본 기법에서는 한 표정을 표시하는 상태표현으로 얼굴특징 점들 간의 상호거리를 표시하는 거리행렬을 사용한다. 이 거리행렬의 집합을 표정공간으로 한다. 그러나 이 표정공간은 한 표정이 다른 표정까지 이동할 때 두 표정간의 직선경로를 통해 이동할 수 있는 그런 공간이 아니다. 본 기법에서는 한 표정에서 다른 표정까지 거쳐 갈 수 있는 경로를 캡쳐된 표정 데이터로부터 근사적으로 유추한다. 우선, 각 표정상태를 표현하는 거리행렬간의 거리가 일정 값 이하인 경우 두 표정을 인접해 있다고 간주한다. 임의의 두 표정 상태가 일련의 인접표정들의 집합으로 연결되어 있으면 두 표정간에 경로가 존재한다고 간주한다. 한 표정에서 다른 표정으로 변화할 때 두 표정간의 최단경로를 통해 이동한다고 가정한다. 두 표정간의 최단거리를 구하기 위해 다이내믹 프로그래밍 기법을 이용한다. 이 거리행렬의 집합인 표정공간은 다차원 공간이다. 3차원 아바타의 얼굴 표정 제어는 애니메이터들이 표정공간을 항해할 때 실시간적으로 수행된다. 이를 도와주기 위해 표정공간을 차원 스케일링 기법을 이용하여 2차원 공간으로 가시화하였고, 애니메이터들로 하여금 본 시스템을 사용하여 실시간 표정 제어를 수행하게 했는데, 본 논문은 그 결과를 평가한다.참여하는 빈들 간의 관계를 분석하여 워크플로우에 대한 성능 측정이 가능하도록 한다. 또한 제안된 메트릭을 통하여 EJB 어플리케이션의 성능 향상을 도모할 수 있도록 한다.로 표면 위로 자라났고, 부종은 창상 밑 조직까지 감소하였으며, 육아조직은 교원질 섬유로 대체되었다. 창상 유발 21일 후, 다른 창상에 비해, HG 처치창은 유의적으로 창상 표면이 거의 재생성 상피로 덮였으며, 육아조직은 창상 유발 14일 후와 비교해서 유의적으로 교원질 섬유로 대체되었다. 위의 모든 결과에서 보듯이, 개에서 전층피부 창상의 처치 시 HG의 사용은 HC와 생리 식염수에 비해 창상치유 복구기의 치유 속도를 촉진하는 것으로 사료된다.시범학교의 자녀를 들 부모들은 환경관련문제에 대한 의식 및 환경관련 제품에 대한 구매행동의 변화가 두드러지게 나타났다.EX>$d^{2+}$ + SA처리구는 두 화합물의 이중 효과에 의해 전반적인 생리 활성을 억제하여, 결국에는 식물의 고사를 유도하는 것으로 사료된다.목에 대한 보안'이 가장 중요한 것으로 나타났다. 본 연구에서는 솔루션 선정요인에 관한 중요도를 e-마켓플레이스의 유형과 산업 별로 평가해보았는데, 여기에서 밝혀진 중요도를 통해 e 마켓플레이스를 구축하고 자 하는 기업은 솔루션을 자체 개발하거나 구입할 때 올바른 의사결정을 할 수 있다. 그리고 솔루션을 제공하려는 기업측면에서는 e-마켓플레이스를 구축하고자 하는 기업에게 유형과 산업별로 적절한 솔루션을 제공할 수 있다.순환이 뇌대사 및 수술 후 신경학적 결과에 보다 유익한 효과를 제공해 줄 수 있음

• The KIPS Transactions:PartA
• /
• v.14A no.2
• /
• pp.85-90
• /
• 2007

This paper presents a facial animation and expression control method that enables the animator to select any facial frames from the facial expression space, whose expression transfer paths the system can setup automatically. Our system creates the facial expression space from approximately 2500 captured facial frames. To create the facial expression space, we get distance between pairs of feature points on the face and visualize the space of expressions in 2D space by using the Multidimensional scaling(MDS). To setup most suitable expression transfer paths, we classify the facial expression space into four field on the basis of any facial expression state. And the system determine the state of expression in the shortest distance from every field, then the system transfer from the state of any expression to the nearest state of expression among thats. To complete setup, our system continue transfer by find second, third, or fourth near state of expression until finish. If the animator selects any key frames from facial expression space, our system setup expression transfer paths automatically. We let animators use the system to create example animations or to control facial expression, and evaluate the system based on the results.

• The KIPS Transactions:PartA
• /
• v.11A no.5
• /
• pp.383-390
• /
• 2004

This paper propose a method that controls facial expression of 3D avatar by having the user select a sequence of facial expressions in the space of facial expressions. And we setup its system. The space of expression is created from about 2400 frames consist of motion captured data of facial expressions. To represent the state of each expression, we use the distance matrix that represents the distances between pairs of feature points on the face. The set of distance matrices is used as the space of expressions. But this space is not such a space where one state can go to another state via the straight trajectory between them. We derive trajectories between two states from the captured set of expressions in an approximate manner. First, two states are regarded adjacent if the distance between their distance matrices is below a given threshold. Any two states are considered to have a trajectory between them If there is a sequence of adjacent states between them. It is assumed . that one states goes to another state via the shortest trajectory between them. The shortest trajectories are found by dynamic programming. The space of facial expressions, as the set of distance matrices, is multidimensional. Facial expression of 3D avatar Is controled in real time as the user navigates the space. To help this process, we visualized the space of expressions in 2D space by using the multidimensional scaling(MDS). To see how effective this system is, we had users control facial expressions of 3D avatar by using the system. As a result of that, users estimate that system is very useful to control facial expression of 3D avatar in real-time.

• Journal of Internet Computing and Services
• /
• v.7 no.2
• /
• pp.23-35
• /
• 2006

This work presents o novel method which extract facial region und features from motion picture automatically and controls the 3D facial expression in real time. To txtract facial region and facial feature points from each color frame of motion pictures a new nonparametric skin color model is proposed rather than using parametric skin color model. Conventionally used parametric skin color models, which presents facial distribution as gaussian-type, have lack of robustness for varying lighting conditions. Thus it needs additional work to extract exact facial region from face images. To resolve the limitation of current skin color model, we exploit the Hue-Tint chrominance components and represent the skin chrominance distribution as a linear function, which can reduce error for detecting facial region. Moreover, the minimal facial feature positions detected by the proposed skin model are adjusted by using edge information of the detected facial region along with the proportions of the face. To produce the realistic facial expression, we adopt Water's linear muscle model and apply the extended version of Water's muscles to variation of the facial features of the 3D face. The experiments show that the proposed approach efficiently detects facial feature points and naturally controls the facial expression of the 3D face model.