Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation of Hand-Gesture-Based Augmented Reality Interface on Mobile Phone

휴대폰 상에서의 손동작 기반 증강현실 인터페이스 구현

  • Choi, Jun-Yeong (Hanyang University Department of Electronics and Computer Engineering) ;
  • Park, Han-Hoon (NHK Science & Technology Research Laboratories) ;
  • Park, Jung-Sik (Hanyang University Department of Electronics and Computer Engineering) ;
  • Park, Jong-Il (Hanyang University Department of Computer Science and Engineering)
  • 최준영 (한양대학교 전자컴퓨터통신공학과) ;
  • 박한훈 (NHK 방송기술연구소) ;
  • 박정식 (한양대학교 전자컴퓨터통신공학과) ;
  • 박종일 (한양대학교 컴퓨터공학부)
  • Received : 2011.09.06
  • Accepted : 2011.11.02
  • Published : 2011.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

With the recent advance in the performance of mobile phones, many effective interfaces for them have been proposed. This paper implements a hand-gesture-and-vision-based interface on a mobile phone. This paper assumes natural interaction scenario when user holds a mobile phone in a hand and sees the other hand's palm through mobile phone's camera. Then, a virtual object is rendered on his/her palm and reacts to hand and finger movements. Since the implemented interface is based on hand familiar to humans and does not require any additional sensors or markers, user freely interacts with the virtual object anytime and anywhere without any training. The implemented interface worked at 5 fps on mobile phone (Galaxy S2 having a dual-core processor).

최근 휴대폰의 발전과 더불어 휴대폰 환경에 적합한 인터페이스에 대한 연구가 많이 이루어지고 있다. 본 논문에서는 특히 사람에게 친숙한 손동작을 이용한 상호작용에 주목하여, 휴대폰 상에서 손동작을 이용한 비전 기반 인터페이스를 구현하였다. 사용자가 한손에 휴대폰을 들고 휴대폰의 카메라를 통해서 다른 손의 손바닥을 바라보면, 사용자의 손바닥 위에 가상 객체가 증강되고 사용자는 자신의 손과 손가락의 움직임을 통해서 가상 객체와 상호작용 할 수 있다. 구현된 인터페이스는 사람에게 친숙한 손동작을 기반으로 동작하기 때문에, 사용자는 별도의 훈련 과정 없이 친숙하게 사용가능하다. 또한, 추가적인 센서나 마커를 요구하지 않기 때문에, 사용자가 원하는 시간과 장소에서 자유롭게 가상 객체와 상호작용 할 수 있다. 일부 시간이 많이 걸리는 처리 과정을 휴대폰 환경에 적합하도록 최적화, 고속화함으로써, 구현된 인터페이스는 상용화된 휴대폰(Galaxy S2)에서 5 fps로 동작한다.

Keywords

References

  1. M. W. Krueger, Artificial Reality, 2nd ed., Addison-Wesley: Redwood City, CA, 1991.
  2. T. Miyaki and J. Rekimoto, "GraspZoom: zomming and scrolling control model for single-handed mobile interaction," In proceedings of MobileHCI'09, 2009.
  3. A. T. Campbell, T. Choudhury, S. Hu, H. Lu, M. K. Mukerjee, M. Rabbi, and R. D. S. Raizada, "NeuroPhone: Brain-mobile phone interface using a wireless EEG headset," In proceedings of MobiHeld'10 2010.
  4. A. Haro, K. Mori, T. Capin, and S. Wilkinson, "Mobile camera-based user interaction," In proceedings of ICCV, Workshop on HCI'05, pages 79-89, 2005.
  5. T. Nagamatsu, Michiya Yamamoto, and Hiroshi Sato, "MobiGaze: Development of a Gaze Interface for Handheld Mobile Devices," In proceedings of CHI'11, 2011.
  6. J. An and K. Hong, "Finger gesture-based mobile user interface using a rear-facing camera," In proceedings of ICCE'11, pages 303-304, 2011.
  7. O. Gallo, S. M. Arteaga, and J. E. Davis, "A camera-based pointing interface for mobile devices," In proceedings of ICIP'08, 2008.
  8. T. Lee and T. Hollerer, "Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking," In Proceedings of ISWC'07, 2007
  9. B.-K. Seo, J. Choi, J. Han, H. Park, and J.-I. Park, "One-handed interaction with augmented virtual objects on mobile devices," In proceedings of VRCAI'08, 2008.
  10. J. Choi, H. Park, and J.-I. Park, "Hand shape recognition using distance transform and shape decomposition," In proceedings of ICIP'11, 2011.
  11. D. G. Lowe, "Object recognition from local scale-invariant features," IJCV, volume 60, number 2, pages 91-110, 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94