Journal of KIISE:Computing Practices and Letters (한국정보과학회논문지:컴퓨팅의 실제 및 레터)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

A Full Body Gumdo Game with an Intelligent Cyber Fencer using Multi-modal(3D Vision and Speech) Interface

멀티모달 인터페이스(3차원 시각과 음성 )를 이용한 지능적 가상검객과의 전신 검도게임

  • 윤정원 (광주과학기술원 기전공학과) ;
  • 김세환 (광주과학기술원 정보통신공학과) ;
  • 류제하 (광주과학기술원 기전공학과) ;
  • 우운택 (광주과학기술원 정보통신공학과)
  • Published : 2003.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents an immersive multimodal Gumdo simulation game that allows a user to experience the whole body interaction with an intelligent cyber fencer. The proposed system consists of three modules: (i) a nondistracting multimodal interface with 3D vision and speech (ii) an intelligent cyber fencer and (iii) an immersive feedback by a big screen and sound. First, the multimodal Interface with 3D vision and speech allows a user to move around and to shout without distracting the user. Second, an intelligent cyber fencer provides the user with intelligent interactions by perception and reaction modules that are created by the analysis of real Gumdo game. Finally, an immersive audio-visual feedback by a big screen and sound effects helps a user experience an immersive interaction. The proposed system thus provides the user with an immersive Gumdo experience with the whole body movement. The suggested system can be applied to various applications such as education, exercise, art performance, etc.

본 논문에서는 멀티모달(multi-modal) 인터페이스를 통해 지능적 가상검객과 체감형 검도게임을 할 수 있는 시스템을 제안한다. 제안된 검도게임 시스템은 멀티모달 인터페이스(시각과 청각), 인공지능(AI), 피드백(스크린과 사운드) 등 크게 세 가지 모듈로 구성된다. 첫 번째로, 멀티모달 인터페이스는 시각기반, 3차원 인터페이스를 이용하여 사용자가 자유롭게 3차원 공간에서 움직일 수 있도록 하고, 음성기반 인터페이스를 이용하여 사용자가 현실감 있는 검도게임을 즐길 수 있도록 한다. 두 번째, 인공지능은 가상검객에게 멀티모달 인터페이스에서 입력되는 시각과 음성을 인식하여 가상검객의 반응을 유도한다. 마지막으로, 대형 스크린과 스피커를 통한 시청각 피드백은 체감형 상호작용을 통하여 사용자가 몰입감을 느끼며 검도게임을 경험할 수 있도록 한다. 따라서 제안된 시스템은 전신의 움직임으로 사용자에게 몰입감의 검도게임을 제공한다. 제안된 시스템은 오락 외에 교육, 운동, 예술행위 등 다양한 분야에 적용될 수 있다.

Keywords

References

  1. J. Bates, J. Altucher, A. Hauptman A, M. Kant-rwoitz, A. Loyall, K. Murakami, P. Olbrich P, Z. Popovic Z, W. Reilly, P. Sengers P, W. Welch, P. Weyharauch, and A. Witkin, 'Edge of Intention,' SIGGRAPH 93 Visual Proceedings, Machine Culture, ACM SIGGRAPH, pp. 113-114, 1993
  2. F. Fisher, M. Girard, S. Amkraut, and Menagerie, 'Tomorrow's Realities,' SIGGRAPH-93 Visual Proceeding, ACM SIGGRAPH 1993, pp. 212-213, 1993
  3. I.S-Y Yoon, R. Burke, B. Blumberg, and G. Schneider, 'Interactive Training for Synthetic Characters,' submitted to AAAI 2000
  4. L. Emering, R. Boulic, and D. Thalmann, 'Interacting with Virtual Humans through Body Actions,' IEEE Computer Graphics and Applications, Vol.18, Nol, pp.8-11, 1998 https://doi.org/10.1109/38.637261
  5. L. Emering, R. Boulic R, S. Balcisoy, and D. Thalmann D, 'Real-Time Interactions with Virtual Agents Driven by Human Action Identification,' First ACM Conf. on Autonomous Agents'97, Marina Del Rey, pp.476-477, 1997 https://doi.org/10.1145/267658.269948
  6. T. Molet, A. Aubel., T. Capin, S. Carion., E. Lee, N. M. Thalmann, H. Noser, I. Pandzic, G. Sannier, and D. Thalmann, 'ANYONE FOR TENNIS?,' Presence, Vol. 8, No. 2, pp. 140-156, April 1999 https://doi.org/10.1162/105474699566134
  7. P. Maes, T. Darrell, B. Blumberg, and A. Pentland, 'The ALIVE System: Full-body Interaction with Autonomous Agents,' In Proc. Computer Animation, Geneva, Switzerland, IEEE Computer Society Press, Los Alamitos, California, ISBN 0-8186-7062-2, pp. 11 18, 1995
  8. F. Bobick, S. Intille, J. Davis, F. Baird, C. Pinhanez, L. Campell, Y. Ivanov, A. Schutte, and A. Wilson, 'The KidsRoom: A Perceptually Based Interactive and Immersive Story Environment,' Presence, Vol. 8, NO. 4, pp. 369393, Aug.1999 https://doi.org/10.1162/105474699566297
  9. Gavrila, L.S. Davis, '3D Model -Based Tracking of Humans in Action: A Multi-View Approach,' Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp 73-80, SanFrancisco, USA, June 1996
  10. A. Mulder, Human movement tracking technology, Simon Fraser University: Technical Report 94-1, 1994
  11. B. K. P. Horn. Robot vision. MIT Press, 1986
  12. Shuzo Saito, 'Fundamentals of Speech Signal Processing,' Academic Press, 1985
  13. Bruce F. Naylor. A Tutorial On Binary Space Partitioning Trees. Computer Games Developer conference Proceedings, pp 433457, 1998
  14. S. Gottschalk, M. Lin, D. Manocha, 'OBB-Tree: A Hierarchical Structure for Rapid Interference Detection,' SIGGRAPH 1996, pp.171-180, 1996
  15. W. Woo and Y. Iwadate, 'Object-oriented hybrid segmentation using stereo images,' in Proc. SPIE VCIP, pp. 487-495, Jan. 2000 https://doi.org/10.1117/12.382982
  16. W. Woo, N. Kim, and Y. Iwadate, 'Object segmentation for z-keying using stereo images,' in Proc. WCC, pp. 1249-1253, Aug. 2000 https://doi.org/10.1109/ICOSP.2000.891773
  17. N. Kim, W. Woo, and M. Tadenuma, 'Photo-realistic 3d virtual environment using multiview video,' in Proc. SPIE VCIP, Jan. 2001
  18. Polhemus, httnV/www.polhemus.com/ftrakds.htm.