Stereo Vision Based 3D Input Device

This paper concerns extracting 3D motion information from a 3D input device in real time focused to enabling effective human-computer interaction. In particular, we develop a novel algorithm for extracting 6 degrees-of-freedom motion information from a 3D input device by employing an epipolar geometry of stereo camera, color, motion, and structure information, free from requiring the aid of camera calibration object. To extract 3D motion, we first determine the epipolar geometry of stereo camera by computing the perspective projection matrix and perspective distortion matrix. We then incorporate the proposed Motion Adaptive Weighted Unmatched Pixel Count algorithm performing color transformation, unmatched pixel counting, discrete Kalman filtering, and principal component analysis. The extracted 3D motion information can be applied to controlling virtual objects or aiding the navigation device that controls the viewpoint of a user in virtual reality setting. Since the stereo vision-based 3D input device is wireless, it provides users with a means for more natural and efficient interface, thus effectively realizing a feeling of immersion.

스테레오 비전을 기반으로 한 3차원 입력 장치

본 논문은 실시간으로 3차원 공간상에서의 움직임 정보를 추출할 수 있는 입력 장치를 제안한다. 제안하는 3차원 입력 장치는 스테레오 카메라의 기하학적 구조와 색상, 움직임, 형태상의 특성을 이용하여 복잡한 환경에서 사전 카메라 캘리브레이션 없이 3차원 움직임 정보를 추출할 수 있다. 움직임 추출을 위해서 perspepctive projection 행렬과 perspective distortion 행렬을 이용한 스테레오 카메라의 기하학적 특성을 이용하며, 효과적인 좌우 영상의 특징점 추적 및 추출을 위해 색상 변환(Color transform)과 UPC(Unmatched Pixel Count) 및 이산 칼만 필터(Discrete Kalman Filter)의 효과적인 결합으로 이루어진 MAWUPC(Motion Adaptive Weighted Pixel Count)과 PCA(Principal Component Analysis)로 구성된 알고리즘을 제안한다. 추출된 3차원 공간상에서의 움직임은 가상환경에서의 가상 물체를 제어하거나 사용자 시점의 이동을 나타내는 인터페이스로 사용한다. 스테레오 비전을 이용한 입력 장치는 선으로 연결되지 않기 때문에 사용자가 가상환경에서 작업하기가 편리하며 몰입감을 높일 수 있는 등 보다 효율적인 상호작용을 가능하게 해준다.