Abstract
As a means of overcoming the linguistic barrier between different languages in the Internet, a new sign-language communication system with CG animation techniques has been developed and proposed. In the system, the joint angles of the arms and the hands corresponding to the gesture as a non-verbal communication tool have been considered. The emotional expression, however, could as play also an important role in communicating each other. Especially, a comic expression is more efficient than real facial expression, and the movements of the cheeks and the jaws are more important AU's than those of the eyebrow, eye, mouth etc. Therefore, in this paper, we designed a 3D emotion editor using 2D model, and we extract AU's (called as PAU, here) which play a principal function in expressing emotions. We also proposed a method of generating the universal emotional expression with Avatar models which have different vertex structures. Here, we employed a method of dynamically adjusting the AU movements according to emotional intensities. The proposed system is implemented with Visual C＋＋ and Open Inventor on windows platforms. Experimental results show a possibility that the system could be used as a non-verbal communication means to overcome the linguistic barrier.
인터넷 가상공간에서 서로 다른 언어 사이의 언어 장벽을 극복하기 위한 한 방법으로 CG 애니메이션 기술을 이용한 수화 통신 시스템이 연구되고 있다. 지금까지 연구에서는 비언어 통신 수단으로서 팔과 손의 제스춰만을 고려하였으나, 얼굴 표정이 의사전달에 중요한 요소가 된다. 특히 사실적인 감정표현보다는 얼굴 요소가 과장된 코믹한 표현이 보다 효과적이고, 또 눈썹, 눈, 입 등의 AU(Action Units)만이 아니라 뺨과 턱의 움직임도 중요한 역할을 하게 됨을 알게 되었다. 따라서 3D 표정 생성 에디터에서 AU를 추출하고, 보다 효율적을 표정 생성을 위해 FACS(Facial Action Unit)으로 분류한다. 또 기존에 표정 에디터에 비해서 제안된 표정 에디터는 PAU에 대한 강도를 강하게 줌으로써, 6가지 표정을 분리할 수 있음을 보인다. 또한 얼굴 표정 생성에서 “뺨을 올림”과 “턱을 내림”에 대한 움직임을 자동화하기 위해서 포물형 편미분식(Parabolic Partial Differential Equations)과 Runge-Kutta법을 이용하여 보다 자연스러운 표정을 생성하였다. 또한 이를 이용하여 구조가 서로 다른 아바타 모델에 감정을 재생하는 방법을 제안하였다. 본 방법을 윈도우 플렛폼에서 Visual C＋＋와 Open Inventor 라이브러리를 이용하여 구현하였으며, 실험 결과 언어의 장벽을 넘을 수 있는 비언어 통신수단으로 이용될 수 있는 가능성을 확인하였다.