KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Automatic Adaptation Based Metaverse Virtual Human Interaction

자동 적응 기반 메타버스 가상 휴먼 상호작용 기법

  • Received : 2021.06.30
  • Accepted : 2021.09.02
  • Published : 2022.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, virtual human has been widely used in various fields such as education, training, information guide. In addition, it is expected to be applied to services that interact with remote users in metaverse. In this paper, we propose a novel method to make a virtual human' interaction to perceive the user's surroundings. We use the editing authoring tool to apply user's interaction for providing the virtual human's response. The virtual human can recognize users' situations based on fuzzy, present optimal response to users. With our interaction method by context awareness to address our paper, the virtual human can provide interaction suitable for the surrounding environment based on automatic adaptation.

최근 가상 휴먼은 국방, 의료, 산업, 유통, 문화, 엔터테인먼트 등 다양한 서비스 분야에서 교육, 훈련 정보 가이드, 홍보 전시 등 널리 활용되고 있다. 또한, 가상 휴먼을 통해 원격지에 접속한 사용자와 상호작용하기 위한 메타버스 서비스가 급속히 확대 적용될 것으로 전망하고 있다. 메타버스 환경 안에서 가상 휴먼(혹은 아바타)을 이용한 상호작용은 참여자가 현실 세계의 실제 친구와 대화하는 것처럼 자연스럽게 소통하는 방식으로 운용이 되고, 이를 위해서는 사용자의 음성, 동작, 감정 등 다양한 입력을 기반으로 반응하는 가상 휴먼 상호작용 매핑 관계를 제작하여야 한다. 또한, 현실 세계의 변화에 동작하는 가상 휴먼의 경우 현실의 환경에 기반한 상호작용 동작이 되도록 지원하여야 한다. 하지만, 기존 가상 휴먼 상호작용 방법은 미리 정해진 반응형 패턴을 제작하기 위해 수작업으로 동작 결과를 프로그래밍하여 구현되었다. 이러한 방법은 개발 기간이 상대적으로 많이 소요되고, 상호작용 수정이 쉽게 변경하지 못하는 단점이 있다. 또한, 실제 주변 환경의 영향에 의해 반응적으로 동작하는 상호작용을 지원하기가 어렵다고 할 수 있다. 본 논문에서는 가상 휴먼의 직관적인 상호작용을 위해 음성, 동작, 감정 등 사용자의 멀티모달 입력과 주변 환경에 대한 반응하는 가상 휴먼 제작 방법을 제시한다. 이를 위한 가상 휴먼 상호작용 저작도구를 통해 쉽고 빠르게 사용자와 반응하는 가상 휴먼의 표현을 생성하고, 가상 휴먼이 자동 적응 기반으로 사용자 입력 및 주변 환경에 변화에 동작할 수 있도록 하였다.

Keywords

Acknowledgement

This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(2021R1I1A3060198).

References

  1. S. Gandhe, "Rapid prototyping and evaluation of dialogue systems for virtual humans," Dissertation of University of Southern California, 2014.
  2. H. Y. Song, I. J. Kim, and D. S. Jo, "Virtual human interaction based on reinforcement learning," In Proceeding of the Korea Institute of Information and Communication Engineering, 2020.
  3. K. S. Shin and D. S. Jo, "Exploring the effects of the virtual human with physicality on co-presence and emotional response," Journal of The Korea Society of Computer and Information, Vol.24, No.1, pp.67-71, 2019. https://doi.org/10.9708/JKSCI.2019.24.01.067
  4. K. Otsuka, "MMSpace: Kinetically-augmented telepresence for small group-to-group conversations," In IEEE Conference on Virtual Reality, pp.19-28, 2016.
  5. K. P. Tee, R. Yan, Y. Chua, Z. Huang, and S. Liemhetcharat, "Gesture-based attention direction for a telepresence robot: Design and experimental study," In IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.4090-4095. 2014.
  6. D. Jo, K.-H. Kim, and G. Kim, "SpaceTime: Adaptive control of the teleported avatar for improved AR tele-conference experience," Computer Animation and Virtual Worlds (CAVW), Vol.26, No.3-4, pp.259-269, 2015. https://doi.org/10.1002/cav.1645
  7. C. Breiteneder, S. Gibbs, and C. Arapis, "Teleport-an augmented reality teleconferencing environment," In Eurographics Workshops, Virtual Environments and Scientific Visualization, pp.41-49, 2006.
  8. A. Maimone, X. Yang, N. Dierk, A. State, M. Dou, and H. Fuchs, "General-purpose telepresence with head-worn optical see-through displays and projector-based lighting," In IEEE Conference on Virtual Reality, pp.23-26, 2013.
  9. S. Zhao, "Toward a taxonomy of copresence," Presence: Teleoperators and Virtual Environments, Vol.12, No.5, pp.445-455, 2003. https://doi.org/10.1162/105474603322761261
  10. D. Kim and D. Jo, "Exploring the effects of gesture interaction on co-presence of a virtual human in a hologram-like system," Journal of the Korea Institute of Information and Communication Engineering, Vol.24, No.10, pp.1390-1393, 2020. https://doi.org/10.6109/JKIICE.2020.24.10.1390
  11. D. Jo, "Effects of virtual humans on co-presence," In Proceeding of the International Conference on Future Information and Communication Engineering, 2019.
  12. E. Shin and D. Jo, "Virtual human authoring toolKit for a senior citizen living alone," Journal of the Korea Institute of Information and Communication Engineering, Vol.24, No.9, pp.1245-1248, 2020. https://doi.org/10.6109/JKIICE.2020.24.9.1245
  13. J.-H. Chung and D. Jo, "Authoring toolkit for interaction with a virtual human," In Proceeding of the Spring Conference on Korea Information Processing Society(KIPS), 2021.
  14. S. Scherer, S. C. Marsella, G. Stratou, Y. Xu, F. Morbini, A. Egan, A. Rizzo, and L.-P. Morency, "Perception markup language: Towards a standardized representation of perceived nonverbal behaviors," In The 12th International Conference on Intelligent Virtual Agents (IVA), 2012.
  15. B. Lok, "Training with virtual operating room teammates to influence team behaviors," International Conference on Collaboration Technologies and Systems(CTS), 2016.
  16. E. Ho, T. Komura, and C, Tai, "Spatial relationship preserving character motion adaptation," In Proceedings of SIGGRAPH ACM Transactions on Graphics, Vol.29, No.4, Article 33, 2010.
  17. R. Al-Asqhar, T, Komura, and M. Choi, "Relationship descriptors for interactive motion adaptation," In Proceedings of 12th ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pp.45-53, 2013.
  18. P. Ekman and R. Davidson, "The nature of emotion: Fundamental questions," Oxford University Press, 1994.