3D Physical User Interface System using a Dominant Eye and an Index Fingertip

In this paper, we propose a new 3D PUI(Physical User Interface) system in which the index fingertip points and moves a mouse position on a given monitor screen. There are two 3D PUI schemes to control smart devices like smart TVs remotely, the relative pointing one and the absolute pointing one. The former has a problem in that it does not match the human perception process, and the latter requires excessive movement of the body. We combined the relative one and the absolute one, and develop a new intuitive and user-friendly pointing method, 3D PUI. It requires an establishment of a pyramid shape visible area (view volume) to point a mouse position on a screen with the dominant eye. In order to maintain the real-time view volume, however, it requires large computation depending on the movement of the dominant eye. We optimized the computation of the view volume in which it determines the internal and external position on the screen. In addition, Kalman filter is applied with tracing of the mouse pointer position to stabilize the trembling of the pointer and offers the user ease of use.

주시안과 검지 끝 점을 이용한 3차원 물리 사용자 인터페이스 시스템

본 논문에서는 검지 끝으로 모니터 스크린 평면상의 마우스 위치를 가리키고 이동시키는 새로운 3차원 물리 사용자 인터페이스 방식(PUI)을 제안한다. 스마트 TV와 같은 각종 스마트 기기를 원격으로 제어하는 기존의 3D PUI 방식에는 상대적 지시 방식과 절대적 지시 방식의 두 가지가 있다. 전자의 경우는 사람의 인식과정과 불일치하며, 후자는 과도한 몸의 이동이 필요한 문제가 있었다. 이에 본 연구에서는 상대적인 포인팅 방식과 절대적인 포인팅 방식을 결합하여 직관적이고 사용자 중심의 인간 친화적인 3D PUI 포인팅 방식을 개발하였다. 제안한 방법은 스크린영역 내에서의 포인팅을 위해서 주시안을 기준으로 사각뿔 모양의 가시영역을 설정할 필요가 있다. 가시영역을 실시간으로 유지하기 위해서는 주시안의 움직임에 따라 많은 계산량을 요구한다. 본 논문에서는 스크린 상의 검지 끝 투영 위치좌표의 내외부를 판정하는 방식으로 가시영역 계산량을 최적화 하였다. 아울러 포인터 위치좌표 추적에 칼만필터를 적용하여 마우스 커서의 떨림을 안정화시켜 사용자의 편의성을 높였다.