Realtime Facial Expression Control of 3D Avatar by PCA Projection of Motion Data

모션 데이터의 PCA투영에 의한 3차원 아바타의 실시간 표정 제어

This paper presents a method that controls facial expression in realtime of 3D avatar by having the user select a sequence of facial expressions in the space of facial expressions. The space of expression is created from about 2400 frames of facial expressions. To represent the state of each expression, we use the distance matrix that represents the distances between pairs of feature points on the face. The set of distance matrices is used as the space of expressions. Facial expression of 3D avatar is controled in real time as the user navigates the space. To help this process, we visualized the space of expressions in 2D space by using the Principal Component Analysis(PCA) projection. To see how effective this system is, we had users control facial expressions of 3D avatar by using the system. This paper evaluates the results.

본 논문은 사용자로 하여금 얼굴표정들의 공간으로부터 일련의 표정을 실시간적으로 선택하게 함으로써 3차원 아바타의 실시간적 얼굴 표정을 제어하는 기법을 기술한다. 본 시스템에서는 약 2400여개의 얼굴 표정 프레임을 이용하여 표정공간을 구성하였다. 본 기법에서는 한 표정을 표시하는 상태표현으로 얼굴특징점들 간의 상호거리를 표시하는 거리행렬을 사용한다. 이 거리행렬의 집합을 표정공간으로 한다. 3차원 아바타의 얼굴 표정은 사용자가 표정공간을 항해하면서 실시간적으로 제어한다. 이를 도와주기 위해 표정공간을 PCA투영 기법을 이용하여 2차원 공간으로 가시화했다. 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 얼굴 표정을 제어하게 했는데, 본 논문은 그 결과를 평가한다.