A Real-time Interactive Shadow Avatar with Facial Emotions

감정 표현이 가능한 실시간 반응형 그림자 아바타

In this paper, we propose a Real-time Interactive Shadow Avatar(RISA) which can express facial emotions changing as response of user's gestures. The avatar's shape is a virtual Shadow constructed from the real-time sampled picture of user's shape. Several predefined facial animations overlap on the face area of the virtual Shadow, according to the types of hand gestures. We use the background subtraction method to separate the virtual Shadow, and a simplified region-based tracking method is adopted for tracking hand positions and detecting hand gestures. In order to express smooth change of emotions, we use a refined morphing method which uses many more frames in contrast with traditional dynamic emoticons. RISA can be directly applied to the area of interface media arts and we expect the detecting scheme of RISA would be utilized as an alternative media interface for DMB and camera phones which need simple input devices, in the near future.

본 논문에서는 사용자의 동작에 대한 반응으로 표정을 변화하여 감정을 표현할 수 있는 실시간 반응형 그림자 아바타인 RISA(Real-time Interactive Shadow Avatar)를 제안한다. 아바타 형태는 사용자의 실사로부터 실시간으로 추출한 가상의 그림자를 사용하며, 손동작의 유형에 따라 변화하는 표정 애니메이션이 그림자의 얼굴 위치에 겹쳐지도록 하였다. 가상 그림자의 추출을 위해서는 배경 차분화 기법을 사용하며, 머리위치 및 손동작의 추적 및 유형 탐지를-위해-단순화된 영역 단위 추적 기법을 사용하였다. 또한 표정의 자연스러운 변화를 표현하기 위해 표정 애니메이션은 기존의 동적 이모티콘보다 많은 수의 애니메이션 프레임들을 사용하는 변형된 모핑 기법을 적용하였다. RISA는 인터페이스 미디어 아트 분야에 직접 응용될 수 있을 것이며, RISA에 적용된 탐지 기법은 향후 입력 장치의 간결성이 요구되는 DMB나 카메라폰 등을 위한 대체 인터페이스에도 활용될 수 있을 것이다.