Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Real-time Interactive Animation System for Low-Priced Motion Capture Sensors

저가형 모션 캡처 장비를 이용한 실시간 상호작용 애니메이션 시스템

  • Kim, Jeongho (Department of Computer Science, Hanyang University Graduate School) ;
  • Kang, Daeun (Department of Computer Science, Hanyang University Graduate School) ;
  • Lee, Yoonsang (Department of Computer Science, Hanyang University Graduate School) ;
  • Kwon, Taesoo (Department of Computer Science, Hanyang University Graduate School)
  • 김정호 (한양대학교 일반대학원 컴퓨터소프트웨어학과) ;
  • 강다은 (한양대학교 일반대학원 컴퓨터소프트웨어학과) ;
  • 이윤상 (한양대학교 일반대학원 컴퓨터소프트웨어학과) ;
  • 권태수 (한양대학교 일반대학원 컴퓨터소프트웨어학과)
  • Received : 2022.03.04
  • Accepted : 2022.05.06
  • Published : 2022.06.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we introduce a novel real-time, interactive animation system which uses real-time motion inputs from a low-cost motion-sensing device Kinect. Our system generates interaction motions between the user character and the counterpart character in real-time. While the motion of the user character is generated mimicking the user's input motion, the other character's motion is decided to react to the user avatar's motion. During a pre-processing step, our system analyzes the reference motion data and generates mapping model in advance. At run-time, our system first generates initial poses of two characters and then modifies them so that it could provide plausible interacting behavior. Our experimental results show plausible interacting animations in that the user character performs a modified motion of user input and the counterpart character properly reacts against the user character. The proposed method will be useful for developing real-time interactive animation systems which provide a better immersive experience for users.

본 논문에서는 대표적인 보급형 장비인 키넥트를 활용하여 실시간으로 사용자 캐릭터의 자세를 제어하고, 상대 캐릭터와 함께 자연스러운 상호작용 동작을 수행하는 실시간 상호작용 애니메이션 시스템을 소개한다. 해당 상호작용 애니메이션 시스템은 실시간으로 두 캐릭터의 상호작용 동작을 연출하는 시스템으로, 사용자는 키넥트를 이용한 자세 입력을 통해 사용자 캐릭터의 동작을 제어하고 상대 캐릭터는 사용자 캐릭터의 동작에 따라 반응하는데 이 반응 동작은 시스템에 의해 자동으로 결정된다. 전처리 과정은 예제 동작 데이터 정보를 사전에 관측 및 분석하여 맵핑 모델을 생성하고, 실시간 처리 과정에서는 사용자의 실시간 입력에 맞는 두 캐릭터의 자세(동작)을 실시간으로 생성 및 보정 후 최종 결과 애니메이션을 화면에 출력한다. 실험 결과를 통해 해당 시스템은 사용자의 입력 동작에 맞추어 상대 캐릭터는 적절한 대응 동작을 수행하고, 화면상의 두 캐릭터가 서로 상호작용 동작을 연출하는 것을 확인할 수 있다. 본 논문에서 제안하는 기술 및 아이디어는 응용하여 실제 사용자 상호작용 소프트웨어 개발에 적용할 수 있고, 이를 통해 사용자에게 더 나은 몰입감을 제공할 수 있을 것이다.

Keywords

Acknowledgement

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(NRF-2019R1A4A1029800, NRF-2020R1A2C1012847) 및 정보통신기획평가원의 지원(No.2021-0-00320, 실 공간 대상 XR 생성 및 변형/증강 기술 개발)을 받아 수행된 연구임.

References

  1. Z. Zhang, "Microsoft kinect sensor and its effect," IEEE multimedia, vol. 19, no. 2, pp. 4-10, 2012. https://doi.org/10.1109/MMUL.2012.24
  2. A. Zabatani, V. Surazhsky, E. Sperling, S. B. Moshe, O. Menashe, D. H. Silver, Z. Karni, A. M. Bronstein, M. M. Bronstein, and R. Kimmel, "Intel® realsenseTM sr300 coded light depth camera," IEEE transactions on pattern analysis and machine intelligence, vol. 42, no. 10, pp. 2333-2345, 2019. https://doi.org/10.1109/tpami.2019.2915841
  3. T.-h Kim, S. I. Park, and S. Y. Shin, "Rhythmic-motion synthesis based on motion-beat analysis," ACM Transactions on Graphics (TOG), vol. 22, no. 3, pp. 392-401, 2003. https://doi.org/10.1145/882262.882283
  4. M. R. Jones and M. Boltz, "Dynamic attending and responses to time," Psychological review, vol. 96, no. 3, p. 459, 1989. https://doi.org/10.1037/0033-295X.96.3.459
  5. E. Hsu, S. Gentry, and J. Popovic, "Example-based control of human motion," in Proceedings of the 2004 ACM SIG-GRAPH/Eurographics symposium on Computer animation, pp. 69-77, 2004.
  6. T. Kwon, Y.-S. Cho, S. I. Park, and S. Y. Shin, "Two-character motion analysis and synthesis," IEEE Transactions on Visualization and Computer Graphics, vol. 14, no. 3, pp. 707-720, 2008. https://doi.org/10.1109/TVCG.2008.22
  7. H. P. Shum, T. Komura, and S. Yamazaki, "Simulating competitive interactions using singly captured motions," in Proceedings of the 2007 ACM symposium on Virtual reality software and technology, pp. 65-72, 2007.
  8. H. P. Shum, T. Komura, and S. Yamazaki, "Simulating interactions of avatars in high dimensional state space," in Proceedings of the 2008 Symposium on interactive 3D Graphics and Games, pp. 131-138, 2008.
  9. H. P. Shum, T. Komura, M. Shiraishi, and S. Yamazaki, "Interaction patches for multi-character animation," ACM transactions on graphics (TOG), vol. 27, no. 5, pp. 1-8, 2008.
  10. H. P. Shum, T. Komura, and S. Yamazaki, "Simulating multiple character interactions with collaborative and adversarial goals," IEEE Transactions on Visualization and Computer Graphics, vol. 18, no. 5, pp. 741-752, 2010. https://doi.org/10.1109/TVCG.2010.257
  11. K. Wampler, E. Andersen, E. Herbst, Y. Lee, and Z. Popovic, "Character animation in two-player adversarial games," ACM Transactions on Graphics (TOG), vol. 29, no. 3, pp. 1-13, 2010.
  12. J. Lee and K. H. Lee, "Precomputing avatar behavior from human motion data," Graphical models, vol. 68, no. 2, pp. 158-174, 2006. https://doi.org/10.1016/j.gmod.2005.03.004
  13. E. S. Ho and T. Komura, "A finite state machine based on topology coordinates for wrestling games," Computer Animation and Virtual Worlds, vol. 22, no. 5, pp. 435-443, 2011. https://doi.org/10.1002/cav.376
  14. E. S. Ho and T. Komura, "Character motion synthesis by topology coordinates," Computer Graphics Forum, vol. 28, no. 2. pp. 299-308, 2009. https://doi.org/10.1111/j.1467-8659.2009.01369.x
  15. E. S. Ho, J. C. Chan, T. Komura, and H. Leung, "Interactive partner control in close interactions for real-time applications," ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), vol. 9, no. 3, pp. 1-19, 2013.
  16. E. S. Ho, T. Komura, and C.-L. Tai, "Spatial relationship preserving character motion adaptation," ACM Transactions on Graphics (TOG), vol. 29, no. 4, pp. 1-8, 2010.
  17. R. Kulpa, F. Multon, and B. Arnaldi, "Morphology-independent representation of motions for interactive humanlike animation," Computer Graphics Forum, vol. 24, no. 3, pp. 343-351, 2005. https://doi.org/10.1111/j.1467-8659.2005.00859.x
  18. L. Kovar, M. Gleicher, "Automated extraction and parameterization of motions in large data sets," ACM Transactions on Graphics (TOG), vol. 23, no. 3, pp. 559-568, 2004. https://doi.org/10.1145/1015706.1015760
  19. J. Kim, Y. Seol, H. Kim, and T. Kwon, "Interactive character posing with efficient collision handling," Computer Animation and VirtualWorlds, vol. 31, no. 3, p. e1923, 2020.