Proposal of a Hand Motion and Control Method Matching System for Interaction Optimized for Mixed Reality Control - Focusing on Meta Interface and Augmented Behavior

혼합현실 컨트롤에 최적화된 인터랙션을 위한 손 동작과 컨트롤 방식 Matching체계의 제안 - Augmented Behavior와 Meta Interface를 중심으로

  • 이사야 (한동대학교 문화미디어디자인학과) ;
  • 이은종 (한동대학교 콘텐츠융합디자인학부)
  • Received : 2022.06.27
  • Accepted : 2022.09.28
  • Published : 2022.10.31

Abstract

In an era where non-face-to-face meetings become common, eXtended Reality(XR) is rapidly developing and filling areas that are not satisfied in online meetings based on existing photos/video method. In particular, general users are also able to easily access and use HMD-type mixed reality devices. However, the basic operations applied in HMD-type in Mixed Reality(MR) with hands as the main input tool do not have a standardized system, and each manufacturer operates in a separate response to each other's hand movements. Therefore, this study considered that a systematic hand motion matching system considering the usability and efficiency of operations performed in mixed reality was necessary, and conducted a study to clarify this. First, the basic operation performed in the MR environment and its attributes were investigated, and at the same time, the structure of the hand and the attributes of the possible hand movements were identified. Based on the identified properties, it is intended to present a system that can intuitively and efficiently match basic operation properties in the MR environment with subtle operation properties according to the structure/context of the hand.

비대면 만남이 일반화 되는 시대에 기존의 사진/영상을 기반으로 한 온라인 만남에서 충족되지 못하는 영역을 확장현실이 빠르게 발전해 나가며 채워가고 있다. 하지만, 가장 보편적으로 확장현실을 경험할 수 있는, 손을 주요 입력도구로 하는 HMD(Head Mount Display)형 혼합현실에서 적용되고 있는 기본 조작들은 표준화 된 체계가 없고 각각의 제조사들에 따라 다른 손동작에 별개로 대응되어 동작하고 있다. 이에 본 연구는 혼합현실에서 수행되는 조작들의 사용성과 효율성을 고려한 체계화된 손동작 매칭체계가 필요하다고 여겨 이를 규명하는 연구를 진행하였다. 먼저, MR환경에서 수행되는 기본적인 조작과 그 속성을 규명하였고, 동시에 손의 구조와 발생할 수 있는 손동작들의 속성들을 규명하였다. 규명한 속성들을 토대로 MR(Mixed Reality)환경에서의 기본조작과 손의 구조/맥락에 따른 미묘한 작동속성을 직관적이고 효율적으로 매칭할 수 있는 체계를 제시하고자 한다.

Keywords

References

  1. Ali Abbas, Choi, Minji, Seo, JoonOh, Cha, Seung Hyun and Heng Li, "Effectiveness of Immersive Virtual Reality-Based Communication for Constr uction Projects," KSCE Journal of Civil Enginee ring, Vol. 23, No. 12, pp.4972 - 4983, Dec. 2019. https://doi.org/10.1007/s12205-019-0898-0
  2. Mixed Reality documentation(2019), https://docs.microsoft.com/en-us/windows/mixed-reality/, (acce ssed Oct., 19, 2021).
  3. D. J. Sturman, "Whole-hand input," Massachusetts Institute of Technology, pp. 23-29, Dec. 1991
  4. Mixed Reality documentation(2019), https://docs.microsoft.com/en-us/windows/mixed-reality/, (acce ssed Oct., 19, 2021).
  5. Interaction Types in Automotive HMI(2021), https://docs.ultraleap.com/automotive-guidelines/, (acc essed Dec., 30, 2021).
  6. UEBA YASUO, "손의 기능과 해부," 김풍택 역, 경북대학교출판부, 25-30쪽, 2001년 2월
  7. 컨트롤러 및 핸드 트래킹(2020), https://store.facebook.com/ko-kr/help/quest/articles/headsets-and-accessories/controllers-and-hand-tracking (accesse d Jun., 20, 2022).
  8. Interaction Types in Automotive HMI(2021), https://docs.ultraleap.com/automotive-guidelines/, (acc essed Dec., 30, 2021).
  9. 김현정, "제스처 인터랙션 사례 분석을 통한 하향식 제스처 디자인 방안 연구," 디지털디자인학연구, 제14권, 제2호, 439-449쪽, 2014년 6월 https://doi.org/10.17280/JDD.2014.14.2.041
  10. 존 야블론스키, "UX/UI 10 가지 심리학 법칙," 책만, 23-32쪽, 2020년 9월
  11. 김현석, 황성원, 문현정, "동작인식기반 Digital T V 인터페이스를 위한 지시동작에 관한 연구," Arc hives of Design Research, 제20권, 제3호, 257-26 8쪽, 2007년 5월
  12. Allan Pease, Barabara Pease, "The Definitive Bo ok of Body Language," The Orion Publishing Group Ltd., Jul. 2006.
  13. Piumsomboon, Thammathip, Adrian J. Clark, Mark Billinghurst, and Andy Cockburn. "User-Defi ned Gestures for Augmented Reality," In 14th In ternational Conference on Human-Computer Int eraction (INTERACT), Vol 8118, 282-299, Apr. 2013.
  14. Jacob O. Wobbrock, Meredith Ringel Morris, and Andrew D. Wilson., "User- defined gestures f or surface computing," In Proceedings of the SI GCHI Conference on Human Factors in Comput ing Systems(CHI '09). pp. 1083-1092, Apr. 2009.
  15. 제프 래스킨, "humane Interface 인간 중심 인터페이스", 안그라픽스, 148쪽, 2003년 2월