The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Autonomous Mobile Robot System Using Adaptive Spatial Coordinates Detection Scheme based on Stereo Camera

스테레오 카메라 기반의 적응적인 공간좌표 검출 기법을 이용한 자율 이동로봇 시스템

  • 고정환 (광운대학교 차세대 3D 디스플레이 연구센터) ;
  • 김성일 (경원대학교 전자공학과) ;
  • 김은수 (광운대학교 차세대 3D 디스플레이 연구센터)
  • Published : 2006.01.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, an automatic mobile robot system for a intelligent path planning using the detection scheme of the spatial coordinates based on stereo camera is proposed. In the proposed system, face area of a moving person is detected from a left image among the stereo image pairs by using the YCbCr color model and its center coordinates are computed by using the centroid method and then using these data, the stereo camera embedded on the mobile robot can be controlled for tracking the moving target in real-time. Moreover, using the disparity map obtained from the left and right images captured by the tracking-controlled stereo camera system and the perspective transformation between a 3-D scene and an image plane, depth information can be detected. Finally, based-on the analysis of these calculated coordinates, a mobile robot system is derived as a intelligent path planning and a estimation. From some experiments on robot driving with 240 frames of the stereo images, it is analyzed that error ratio between the calculated and measured values of the distance between the mobile robot and the objects, and relative distance between the other objects is found to be very low value of $2.19\%$ and $1.52\%$ on average, respectably.

본 논문에서는 지능적인 경로 계획을 위한 스테레오 카메라 기반의 공간좌표 검출 기법을 이용한 자율 이동 로봇 시스템을 제안하였다. 우선 스테레오 카메라로부터 입력된 영상 중 좌 영상에 YCbCr 컬러 모델 및 무게 중심법을 이용하여 이동중인 보행자의 얼굴 영역과 중심좌표를 검출하고, 검출된 좌표 값에 따라 스테레오 카메라의 능동적인 로봇 제어를 통해 이동하는 보행자를 실시간적으로 검출하게 된다. 다음으로, 로봇구동에 의해 추적 제어된 스테레오 카메라의 좌, 우 영상간의 시차정보와 스테레오 카메라 내부 변환관계를 통해 깊이 정보를 검출한 후, 검출된 깊이 지도로부터 각 열에 존재하는 최소값을 이용한 2차원 공간좌표를 검출하여 이동 로봇과 보행자간의 거리와 위치좌표는 물론 다른 물체들과의 상대 거리를 산출하게 되며, 산출된 위치 좌표를 토대로 이동 로봇의 지능적인 경로 추정 및 판단에 따라 자율적인 주행을 수행하게 된다. 실시간적으로 입력되는 240 프레임의 스테레오 영상을 사용한 실험결과, 이동 로봇과 전방에 존재하는 장애물간의 거리 및 보행자와 장애물간 상대거리의 계산치와 측정치간의 오차가 평균 $2.19\%$와 $1.52\%$이하로 각각 유지됨으로써 경로 계획을 위한 공간좌표 검출에 기반을 둔 실질적인 이동 로봇 시스템의 구현 가능성을 제시하였다.

Keywords

References

  1. T. Kanade, A. Yoshida, K. ada, H. Kano, and M. Tanaka, 'A stereo machine for video- rate dense depth mapping and its new applications', Proc. of IEEE CVPR '96, pp. 196-202, 1966
  2. James Black, Tim Ellis, 'Multi-camera image measurement and correspondence', Measureme nt, vol. 32, pp.61-71, 2002 https://doi.org/10.1016/S0263-2241(01)00050-1
  3. Douglas Chai, 'Face segmentation using skin-color map in videophone applications,' IEEE Trans. on Circuits and Systems for Video Technology, vol.9, no.4, pp.551-564, 1999 https://doi.org/10.1109/76.767122
  4. J. S. Lee, C. W. Seo, E. S. Kim, 'Implementation of opto-digital stereo object tracking system', Optics Communications, vol. 200, pp.73-85, 2001 https://doi.org/10.1016/S0030-4018(01)01572-3
  5. S. B. Gokturk, J. Y. Bouguet, R. Grzeszczuk, 'A data-driven model for monocular face tracking', International Conference on Computer Vision, vol.2, pp.701-708, 2001
  6. D. Murray and Anuo Basu 'Motion tracking with an active camera', IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 16, no. 5, pp. 449-459, 1994 https://doi.org/10.1109/34.291452
  7. K. Fujimoto, H. Muro, N. Shimomura, T. Oki, K. Maeda, Y. Kishi and M. Hagino, 'A study on pedestrian detection technologyh using stereo images', JASE Review, vol.1, pp.1-3, 2002
  8. J. S. Lee, J. H. Ko, E. S. Kim, 'Real-time stereo object tracking system by using block matching algorithm and optical binary phase extraction joint transform correlator', Optics Communication, vol. 191, pp.191-202, 2001 https://doi.org/10.1016/S0030-4018(01)01137-3
  9. T. Darrell, G. Gordon, M. Harville, J. Woodfill, 'Integrated person tracking using stereo, color, and pattern detection,' IEEE Conference on Computer Vision and Pattern Recognition, pp. 601-608, 1998
  10. D. Tzovaras, N. Grmmaiidis and M. G. Strintzis, 'Three-dimensional camera motion estimation and foreground/background seperation for stereoscopic image sequences', Optical Engineering, vol.36, no.2, pp.574-579, 1997 https://doi.org/10.1117/1.601229
  11. K. H. Bae, J. S. Koo, E. S. Kim, 'A New Stereo Object Tracking System using Disparity Motion Vector', Optics Communications, vol.221, no 13, pp.23-35, 2003 https://doi.org/10.1016/S0030-4018(03)01453-6
  12. 박창주, 고정환, 김은수, '스테레오 영상 보정 알고리즘에 기반한 새로운 중간시점 영상합성 기법', 한국 통신학회 논문지, vol.29, no.5C, pp.632-641, 2004