DOI QR코드

DOI QR Code

3D Physical User Interface System using a Dominant Eye and an Index Fingertip

주시안과 검지 끝 점을 이용한 3차원 물리 사용자 인터페이스 시스템

  • Received : 2012.09.24
  • Accepted : 2012.12.05
  • Published : 2013.02.28

Abstract

In this paper, we propose a new 3D PUI(Physical User Interface) system in which the index fingertip points and moves a mouse position on a given monitor screen. There are two 3D PUI schemes to control smart devices like smart TVs remotely, the relative pointing one and the absolute pointing one. The former has a problem in that it does not match the human perception process, and the latter requires excessive movement of the body. We combined the relative one and the absolute one, and develop a new intuitive and user-friendly pointing method, 3D PUI. It requires an establishment of a pyramid shape visible area (view volume) to point a mouse position on a screen with the dominant eye. In order to maintain the real-time view volume, however, it requires large computation depending on the movement of the dominant eye. We optimized the computation of the view volume in which it determines the internal and external position on the screen. In addition, Kalman filter is applied with tracing of the mouse pointer position to stabilize the trembling of the pointer and offers the user ease of use.

본 논문에서는 검지 끝으로 모니터 스크린 평면상의 마우스 위치를 가리키고 이동시키는 새로운 3차원 물리 사용자 인터페이스 방식(PUI)을 제안한다. 스마트 TV와 같은 각종 스마트 기기를 원격으로 제어하는 기존의 3D PUI 방식에는 상대적 지시 방식과 절대적 지시 방식의 두 가지가 있다. 전자의 경우는 사람의 인식과정과 불일치하며, 후자는 과도한 몸의 이동이 필요한 문제가 있었다. 이에 본 연구에서는 상대적인 포인팅 방식과 절대적인 포인팅 방식을 결합하여 직관적이고 사용자 중심의 인간 친화적인 3D PUI 포인팅 방식을 개발하였다. 제안한 방법은 스크린영역 내에서의 포인팅을 위해서 주시안을 기준으로 사각뿔 모양의 가시영역을 설정할 필요가 있다. 가시영역을 실시간으로 유지하기 위해서는 주시안의 움직임에 따라 많은 계산량을 요구한다. 본 논문에서는 스크린 상의 검지 끝 투영 위치좌표의 내외부를 판정하는 방식으로 가시영역 계산량을 최적화 하였다. 아울러 포인터 위치좌표 추적에 칼만필터를 적용하여 마우스 커서의 떨림을 안정화시켜 사용자의 편의성을 높였다.

Keywords

References

  1. 최승억, 정종우, 서영완, "테이블탑 기기와 인터랙티브 벽면 디스플레이의 기술 동향과 응용," 한국정보과학회, 제26권, 제3호, pp. 5-14, 2008.
  2. 이기영, 임명재, 김규호, 이민기, 김정래, "가상 마우스 인터페이스 시스템에 관한 연구," 한국인터넷방송통신학회, 제11권, 제2호, pp. 57-62, 2011.
  3. 박양재, 강성관, "사용자 상호작용을 위한 색상 기반 손과 손가락 탐지 기술," 한국정보기술학회, 제8권, 제2호, pp. 51-58, 2010.
  4. 김효성, 정현기, 김병규, "적외선 카메라를 이용한 에어 인터페이스 시스템(AIS) 연구," 한국정보과학회, 제18-B권, 제3호, pp. 109-116, 2011. https://doi.org/10.3745/KIPSTB.2011.18B.3.109
  5. 이정진, 김종호, 김태영, "증강현실 응용을 위한 손 끝점 추출과 손 동작 인식 기법," 멀티미디어학회지, 제13권, 제2호, pp. 316-323, 2010.
  6. 박지영, 이준호, "휴먼마우스 구현을 위한 효율적인 손끝좌표 추적 및 마우스 포인트 제어기법," 한국정보과학회, 제29권, 제11호, pp. 851-859, 2002.
  7. Kent L. Norman and Kirk D. Norman, "Comparison of Relative Versus Absolute Pointing Devices," Technical Report in HCIL, 2010.
  8. P. Viola and M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," IEEE Proc. Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, 2001.
  9. 김성필, MATLAB활용 칼만 필터의 이해, 아진, 서울, 2010.
  10. G. Welch and G. Bishop, "An Introduction to the Kalman Filter," Proc. ACM SIGGRAPH Conference Course 8, pp. 19-41, 2001.
  11. 안지윤, 이종배, 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치, 특허출원 10-2012-0011584, 대한민국, 2012.