Journal of KIISE:Computer Systems and Theory (한국정보과학회논문지:시스템및이론)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Hierarchical Visualization of the Space of Facial Expressions

얼굴 표정공간의 계층적 가시화

  • 김성호 (숭의여대 정보통신계열) ;
  • 정문렬 (서강대학교 영상대학원 미디어공학과)
  • Published : 2004.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a facial animation method that enables the user to select a sequence of facial frames from the facial expression space, whose level of details the user can select hierarchically Our system creates the facial expression space from about 2400 captured facial frames. To represent the state of each expression, we use the distance matrix that represents the distance between pairs of feature points on the face. The shortest trajectories are found by dynamic programming. The space of facial expressions is multidimensional. To navigate this space, we visualize the space of expressions in 2D space by using the multidimensional scaling(MDS). But because there are too many facial expressions to select from, the user faces difficulty in navigating the space. So, we visualize the space hierarchically. To partition the space into a hierarchy of subspaces, we use fuzzy clustering. In the beginning, the system creates about 10 clusters from the space of 2400 facial expressions. Every tine the level increases, the system doubles the number of clusters. The cluster centers are displayed on 2D screen and are used as candidate key frames for key frame animation. The user selects new key frames along the navigation path of the previous level. At the maximum level, the user completes key frame specification. We let animators use the system to create example animations, and evaluate the system based on the results.

본 논문은 애니메이터로 하여금 계층적 가시화 기법에 의한 표정들의 공간으로부터 일련의 표정을 실시간적으로 선택하게 함으로써 얼굴 표정 애니메이션을 생성하는 기법을 기술한다 본 시스템에서는 약 2400여개의 표정 프레임을 이용하여 2차원 표정공간을 구성하였으며, 이를 위해서는 한 표정을 표시하는 상태표현으로 얼굴 특징 점들 간의 상호거리를 표시하는 거리 행렬을 사용한다. 또한 두 표정 간의 최단거리를 구하기 위해 다이내믹 프로그래밍 기법을 사용한다. 그리고 다차원 공간인 표정공간을 항해하기 위해서 다차원 스케일링 기법을 이용하여 2차원 공간으로 가시화한다. 그러나 표정의 수가 너무 많아 애니메이터가 항해를 하는데 어려움이 많기 때문에 계층적 가시화 기법이 필요하다. 표정공간을 계층적으로 분할하기 위해, 퍼지 클러스터링을 이용한다. 초기 단계에서는 약 10개의 클러스터 센터(후보 키 프레임)를, 단계가 증가될 때마다 후보 키 프레임의 수를 두 배로 하여 클러스터링하고 2차원 평면에 표시한다. 애니메이터는 초기 단계의 후보 키 프레임들 중에서 특정 키 프레임들을 선택하여 항해경로를 생성한다. 특정 단계에서는 그전 단계의 항해경로를 따라 새로운 키 프레임들을 선택하여 항해경로를 갱신하고, 마지막 단계에서 항해경로를 갱신하면 애니메이션 설정이 끝난다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 애니메이터들로 하여금 본 시스템을 사용하여 얼굴 애니메이션을 생성하게 하였으며, 그 결과를 평가한다.

Keywords

References

  1. Demetri Terzopoulos, Barbara Mones-Hattal, Beth Hofer, Frederic Parke, Doug Sweetland, Keith Waters, 'Facial animation : Past, present and future,' Panel, SIGGRAPH97 https://doi.org/10.1145/258734.258899
  2. Frederic I. Parke, Keith Waters, 'Computer facial animation,' A K Peters, 1996
  3. Brian Guenter, Cindy Grimm, Daniel Wood, Henrique Malvar, and Frederic Pighin. 'Making Faces,' In SIGGRAPH 98 Conference Proceedings. ACM SIGGRAPH, July 1998
  4. M. Escher, G. Sannier, N. Magnenat-Thalmann, 'Real-Time Interactive Facial Animation,' WSCG'99, Pilzen, 1999
  5. F. Pighin, J. Hecker, D. Lischinski, R. Szeliski, D. Salesin, 'Synthesizing Realistic Facial Expressions from Photographs,' SIGGRAPH98 Proceedings, pp.75-84, 1998 https://doi.org/10.1145/280814.280825
  6. Cyriaque Kouadio, Pierre Poulin, and Pierre Lachapelle, 'Real-time facial animation based upon a bank of 3D facial expressions,' Proc. Computer Animation 98, June 1998 https://doi.org/10.1109/CA.1998.681917
  7. Erol Fatih, Gudukbay Ugur, 'An Interactive Facial Animation System,' WSCG'2001 Conference Proceeding, 2001
  8. Zhang Y., Prakash E., Sung E., 'Real-time Facial Expression Animation on An Individualized Face Using Adaptive Simulation Algorithm,' September 16 - September 21, GraphicCon'2002, 2002
  9. M. Gleicher, 'Retargetting Motion to New Characters,' ACM SIGGRAPH 98, pp.33-42, 1998 https://doi.org/10.1145/280814.280820
  10. Kwangjin Choi and Hyeongseok Ko, 'On-line motion retargetting,' In Proceedings of the International Pacific Graphics '99, 1999 https://doi.org/10.1109/PCCGA.1999.803346
  11. Jehee Lee, Jinxiang Chai, Paul Reitsma, Jessica Hodgins, and Nancy Pollard, 'Interactive Control of Avatars Animated with Human Motion Data,' ACM Transactions on Graphics (SIGGRAPH 2002), volume 21, number 3, 491-500, July 2002 https://doi.org/10.1145/566570.566607
  12. R. W. Floyd, 'Algorithm 97 : Shortest Path,' CACM Vol.5, pp. 345, 1962 https://doi.org/10.1145/367766.368168
  13. T. Cox and M. Cox. 'Multidimensional Scaling,' Chapman & Hall, London, 1994
  14. J.C Bezdek, 'Pattern Recognition with Fuzzy Objective Function Algorithms:, Plenum Press, New York, 1981
  15. R.O. Duda and P.E. Hart, 'Pattern Classification and Scene Analysis,' Wiley, New York, 1973
  16. J. C. Dunn, 'A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters,' Journal of Cybernetics 3: 32-57, 1973 https://doi.org/10.1080/01969727308546046
  17. Uprendra Shardanand, 'Social information filtering for music recommendation,' Master's thesis, MIT, 1994
  18. Ya Chang, Changbo Hu, and Turk, M., 'Manifold of Facial Expression,' In IEEE International Workshop on Analysis and Modeling of Faces and Gesture, pp. 28-35, Oct. 17, 2003
  19. Ying Zhao and George Karypis, 'Evaluation of hierarchical clustering algorithms for document datasets,' pages 515-524. ACM Press, 2002 https://doi.org/10.1145/584792.584877
  20. S. C. Johnson, 'Hierarchical Clustering Schemes,' Psychometrika, 2:241-254, 1967 https://doi.org/10.1007/BF02289588
  21. Seber, G.A.F., 'Multivariate Observations,' Wiley, New York, 1984