Abstract
This paper presents a facial animation method that enables the user to select a sequence of facial frames from the facial expression space, whose level of details the user can select hierarchically Our system creates the facial expression space from about 2400 captured facial frames. To represent the state of each expression, we use the distance matrix that represents the distance between pairs of feature points on the face. The shortest trajectories are found by dynamic programming. The space of facial expressions is multidimensional. To navigate this space, we visualize the space of expressions in 2D space by using the multidimensional scaling(MDS). But because there are too many facial expressions to select from, the user faces difficulty in navigating the space. So, we visualize the space hierarchically. To partition the space into a hierarchy of subspaces, we use fuzzy clustering. In the beginning, the system creates about 10 clusters from the space of 2400 facial expressions. Every tine the level increases, the system doubles the number of clusters. The cluster centers are displayed on 2D screen and are used as candidate key frames for key frame animation. The user selects new key frames along the navigation path of the previous level. At the maximum level, the user completes key frame specification. We let animators use the system to create example animations, and evaluate the system based on the results.
본 논문은 애니메이터로 하여금 계층적 가시화 기법에 의한 표정들의 공간으로부터 일련의 표정을 실시간적으로 선택하게 함으로써 얼굴 표정 애니메이션을 생성하는 기법을 기술한다 본 시스템에서는 약 2400여개의 표정 프레임을 이용하여 2차원 표정공간을 구성하였으며, 이를 위해서는 한 표정을 표시하는 상태표현으로 얼굴 특징 점들 간의 상호거리를 표시하는 거리 행렬을 사용한다. 또한 두 표정 간의 최단거리를 구하기 위해 다이내믹 프로그래밍 기법을 사용한다. 그리고 다차원 공간인 표정공간을 항해하기 위해서 다차원 스케일링 기법을 이용하여 2차원 공간으로 가시화한다. 그러나 표정의 수가 너무 많아 애니메이터가 항해를 하는데 어려움이 많기 때문에 계층적 가시화 기법이 필요하다. 표정공간을 계층적으로 분할하기 위해, 퍼지 클러스터링을 이용한다. 초기 단계에서는 약 10개의 클러스터 센터(후보 키 프레임)를, 단계가 증가될 때마다 후보 키 프레임의 수를 두 배로 하여 클러스터링하고 2차원 평면에 표시한다. 애니메이터는 초기 단계의 후보 키 프레임들 중에서 특정 키 프레임들을 선택하여 항해경로를 생성한다. 특정 단계에서는 그전 단계의 항해경로를 따라 새로운 키 프레임들을 선택하여 항해경로를 갱신하고, 마지막 단계에서 항해경로를 갱신하면 애니메이션 설정이 끝난다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 애니메이터들로 하여금 본 시스템을 사용하여 얼굴 애니메이션을 생성하게 하였으며, 그 결과를 평가한다.