Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지

Emotion-based Gesture Stylization For Animated SMS

모바일 SMS용 캐릭터 애니메이션을 위한 감정 기반 제스처 스타일화

  • 변혜원 (성신여자대학교 IT학부) ;
  • 이정숙 (성신여자대학교 일반대학원 전산학과)
  • Received : 2010.02.18
  • Accepted : 2010.05.04
  • Published : 2010.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

To create gesture from a new text input is an important problem in computer games and virtual reality. Recently, there is increasing interest in gesture stylization to imitate the gestures of celebrities, such as announcer. However, no attempt has been made so far to stylize a gestures using emotion such as happiness and sadness. Previous researches have not focused on real-time algorithm. In this paper, we present a system to automatically make gesture animation from SMS text and stylize the gesture from emotion. A key feature of this system is a real-time algorithm to combine gestures with emotion. Because the system's platform is a mobile phone, we distribute much works on the server and client. Therefore, the system guarantees real-time performance of 15 or more frames per second. At first, we extract words to express feelings and its corresponding gesture from Disney video and model the gesture statistically. And then, we introduce the theory of Laban Movement Analysis to combine gesture and emotion. In order to evaluate our system, we analyze user survey responses.

새로운 텍스트 입력으로부터 제스처를 생성하는 것은 컴퓨터 게임, 가상현실 등의 응용분야에서 종종 요구되는 중요한 문제이다. 최근에는 유명 아나운서와 같은 특정인의 제스처를 모방하는 제스처 스타일화에 관한 관심이 증가하고 있다. 그러나 기쁨이나 슬픔과 같은 감정을 이용하여 제스처를 스타일화하려는 시도는 많지 않다. 또한 이전의 연구는 대부분 실시간 알고리즘에 초점을 맞추고 있지 않다. 본 논문에서는 SMS 문장을 캐릭터 얼굴 표정과 제스처 애니메이션으로 자동 변환하고 감정 요소를 이용하여 제스처를 스타일화하는 시스템을 제안한다. 이 시스템의 가장 큰 특징은 제스처에 희로애락의 감정을 결합하는 실시간 알고리즘을 제시하는데 있다. 모바일 단말기를 플랫폼으로 하기 때문에 서버와 단말기에 작업을 적절하게 분배하고 초당 20프레임 이상의 실시간 수행을 보장한다. 먼저, 디즈니 영상에서 감정을 표현하는 단어와 이에 해당하는 제스처를 추출하고 통계적으로 모델링 한 후, 감정과 제스처의 결합을 위하여 Laban의 움직임 이론을 도입한다. 제안된 시스템의 타당성과 기존 서비스와의 대체 적정도를 알아보기 위해서 사용자 반응을 조사 분석한다.

Keywords

Acknowledgement

Supported by : 한국학술진흥재단

References

  1. Cassel, J. Pelachaud, C., Badler, N., Steedman, M., Achorn, B., Becket, T., Douville, B., Prevost, S., and Stone, M., "Animated Conversation: Rule-based Generation of Facial Expression, Gesture and Spoken Intonation for Multiple Conversational Agents," ACM SIGGRAPH Proceedings, 413-420, 1994.
  2. Noma, T., Zhao, L., and Badler, N., "Design of a Virtual Human Presenter," IEEE Computer Graphics and Applications, Vol.4, pp. 79-85, 2000.
  3. Cassell H.. Vilhjalmsson T., and Bickmore. "BEAT: the Behavior Expression Animation Toolkit," ACM SIGGRAPH Proceedings, 2001.
  4. Sergey Levine, Christian Theobalt, and Vladlen Koltun, "Real-time Prosody-driven Synthesis of Body Language," ACM SIGGRAPH ASIA Proceedings, 2009.
  5. Catherine Pelachaud, "Studies on Gesture Expressivity for a Virtual Agent," Speech Communication, Vol.51, Issue7, pp.630-639, 2009. https://doi.org/10.1016/j.specom.2008.04.009
  6. Juan Abadia, Alun Evans, Eduard Gonzales, Sergi Gonzales, Daniel Soto, Santi Fort, Marco Romeo, and Josep Blat, "Assisted animated production creation and programme generation," Proceedings of the International Conference on Advances in Computer Entertainment Technology, pp. 207-214, 2009.
  7. Stone, M., Decarlo, D., Oh, I., Rodriguez, C., Stere, A., Lees, A., and Bregler, C., "Speaking with Hands: Creating Animated Convertsational Characters from Recordings of Human Performance," ACM SIGGRAPH proceedings, pp.506-513, 2004.
  8. Hartmann, B., Mancini, M., and Pelachaud, C., "Implementing Expressive Gesture Synthesis for Embodied Conversational Agents," Lecture Notes Artificial Intelligence, Vol.3881, pp. 45-55, 2006.
  9. Michael N, Michael K, Irene A, and Hans-peter S, "Gesture Modeling and Animation Based on a Probabilistic Re-Creation of Speaker Style," ACM Transactions on Graphics, Vol.27. 2008.
  10. Chi D, Costa M, Zhao L, and Badler N, "The EMOTE Model for Effort and Shape," ACM SIGGRAPH Proceedings, pp 173-182, 2000.
  11. Fagerberg P., Stahl A., and Hook K., "Designing Gestures for Affective Input: An Analysis of Shape, Effort and Valence." ACM 1-58113-826-1/01/12, 2003.
  12. Emura K., Yasugi M, Tanaka T, Miyazaki S., and Motoike S., "Personal Media Producer: A System for Creating 3D CG Animation from Mobile Phone E-mail," Journal of Multimedia, Vol.1, No.2, 2006.
  13. Per Persson, "ExMS: an Animated and Avatar-based Messaging System for Expressive peer Communication," Proceedings of the International ACM SIGGROUP Conference on Supporting Group Work, pp.31-39, 2003.
  14. 최승혁, 김재경, 임순범, 최윤철, "모바일 환경에서 스크립트를 이용한 3차원 아바타 동작 제어" 한국정보과학회 한국컴퓨터종합학술대회 논문집 (B), pp.574-576, 2005.
  15. 윤재홍, 송용규, 김은석, 허기택, "SMS 메시지에 따른 모바일 3D 아바타의 입술 모양과 음성 동기화" 한국콘텐츠학회 추계종합학술대회 논문집, 제4권 제2호, pp.682-686, 2006
  16. 이정윤, 이경진, 송왕철, "휴대폰에서 Avata컨텐츠 기반의 E-mail Client / Server 모델 설계 및 구현" 한국콘텐츠학회 춘계종합학술대회 논문집, 제2권 제1호, pp.385-391, 2004.
  17. McNeil, D., "Hand and Mind: What Gestures Reveal about Thought." University of Chicago, 1992.