대한전자공학회논문지SP (Journal of the Institute of Electronics Engineers of Korea SP)

대한전자공학회 (The Institute of Electronics and Information Engineers)
권호 표지

스테레오 비전을 기반으로 한 3차원 입력 장치

Stereo Vision Based 3D Input Device

  • 윤상민 (三星綜合技術院 HCLLAB) ;
  • 김익재 (韓國科學技術院 映像미디어 硏究센터) ;
  • 안상철 (韓國科學技術院 映像미디어 硏究센터) ;
  • 고한석 (高麗大學敎 電子工學科) ;
  • 김형곤 (韓國科學技術院 映像미디어 硏究센터)
  • 발행 : 2002.07.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문은 실시간으로 3차원 공간상에서의 움직임 정보를 추출할 수 있는 입력 장치를 제안한다. 제안하는 3차원 입력 장치는 스테레오 카메라의 기하학적 구조와 색상, 움직임, 형태상의 특성을 이용하여 복잡한 환경에서 사전 카메라 캘리브레이션 없이 3차원 움직임 정보를 추출할 수 있다. 움직임 추출을 위해서 perspepctive projection 행렬과 perspective distortion 행렬을 이용한 스테레오 카메라의 기하학적 특성을 이용하며, 효과적인 좌우 영상의 특징점 추적 및 추출을 위해 색상 변환(Color transform)과 UPC(Unmatched Pixel Count) 및 이산 칼만 필터(Discrete Kalman Filter)의 효과적인 결합으로 이루어진 MAWUPC(Motion Adaptive Weighted Pixel Count)과 PCA(Principal Component Analysis)로 구성된 알고리즘을 제안한다. 추출된 3차원 공간상에서의 움직임은 가상환경에서의 가상 물체를 제어하거나 사용자 시점의 이동을 나타내는 인터페이스로 사용한다. 스테레오 비전을 이용한 입력 장치는 선으로 연결되지 않기 때문에 사용자가 가상환경에서 작업하기가 편리하며 몰입감을 높일 수 있는 등 보다 효율적인 상호작용을 가능하게 해준다.

This paper concerns extracting 3D motion information from a 3D input device in real time focused to enabling effective human-computer interaction. In particular, we develop a novel algorithm for extracting 6 degrees-of-freedom motion information from a 3D input device by employing an epipolar geometry of stereo camera, color, motion, and structure information, free from requiring the aid of camera calibration object. To extract 3D motion, we first determine the epipolar geometry of stereo camera by computing the perspective projection matrix and perspective distortion matrix. We then incorporate the proposed Motion Adaptive Weighted Unmatched Pixel Count algorithm performing color transformation, unmatched pixel counting, discrete Kalman filtering, and principal component analysis. The extracted 3D motion information can be applied to controlling virtual objects or aiding the navigation device that controls the viewpoint of a user in virtual reality setting. Since the stereo vision-based 3D input device is wireless, it provides users with a means for more natural and efficient interface, thus effectively realizing a feeling of immersion.

키워드

참고문헌

  1. G.R.Bradski,'Computer Vision Face Tracking as a Component of a Perceptual User Interface,' IEEE workshop. on Applic Vis., Princeton, pp. 214-219, 1998 https://doi.org/10.1109/ACV.1998.732882
  2. Kazuyuki Imagawa, Shan Lu, Seiji Igi, 'Closed-Based hands Tracking System for Sign Language Recognition,' Intermational Conference on Face and Gusture Recognition, April 14-16, 1998
  3. Y.Wu, T.S.Huang, 'Human Hand Modeling, Analysis and Anmation in the Context of HCI,' ICIP'99. Vol. 3, pp. 6-10, 1999 https://doi.org/10.1109/ICIP.1999.817058
  4. T.He, and K.E.Kaufman, 'Virtual input device for 3D systems,' In Proceedings Visualization '93. pp. 142-148, 1993 https://doi.org/10.1109/VISUAL.1993.398862
  5. R.T.Tsai, 'An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision,' In Proceedings CVPR'86, Miami Beach, Florida, pp. 364-374, IEEE, June 1986
  6. O.D.Fuageras, 'What can be seen in three dimensions with an uncalibrated stereo rig,' In Proceedings European Conference on Ccmputer Vision, pp. 563 -578, 1992
  7. Z.Z.hang, O.D.Faugeras, R.Denriche, 'An Effecive Technique for Calibrating a Binocular Stereo Through Projective Reconstruction Using Both a Calibration Object and the Envirnrnont,' VIDERE1:1, pp. 58-68, 1997
  8. H.G.Kim, N.H.Kim, S.C.Ahn, 'Skin Region Extraction Using Moving Color Technique', The 4th IEEE Intermtional Workshop on Intelligent Signal Processing and Communication Systems, pp. 73-33, Nov. 1998, Australia
  9. 조오영, 김형곤, 고성제, 안상철, '인터액티브 가상 환경을 위한 손 제스처 인식 시스템,' 대한전자공학회 논문지, 제36권 5편 4호 pp. 70-82, 1999, 4
  10. 이상환, '컴퓨터 비전을 이용한 사람의 3차원 움직임 정보 추출', 연세대학교 대학원 전기전자공학과 석사학위 논문, 2001,2
  11. R.G.Brown, Y.C.Patrick, Y.C.Hwang, 'Introduction to Random Signals and Applied Kalman Filtering,' John Wiley and sons, Inc., 1997
  12. R.O.Duda, P.E.Hart, 'Use of the Hough Transformation to Detect Lines and Curves in Pictures,' Comm of ACM, Vol. 15, No.1, pp. 11 -15, Jana, 1972 https://doi.org/10.1145/361237.361242
  13. C.Kimme, D.H.Ballard. J.Sklansky, 'Finding Circles by an array of Accumulators,' Comm of ACM, Vol. 18, No. 2, pp. 120-I22, Feb., 1975 https://doi.org/10.1145/360666.360677
  14. Y.Cheng, 'Mean Shift, Mode Seeking, and Clustering,' IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 17, No. 8, pp. 790-799, Aug., 1995 https://doi.org/10.1109/34.400568
  15. M,Turk, A.Pentland, 'Eigenfaces for recognition,' Joumal of Cognitive Neuroscience, Vol. 12, No. 1, pp. 71 -85, 1991