Stereo Object Tracking System using Multiview Image Reconstruction Scheme

다시점 영상복원 기법을 이용한 스테레오 물체추적 시스템

  • Published : 2006.06.25

Abstract

In this paper, a new stereo object tracking system using the disparity motion vector is proposed. In the proposed method, the time-sequential disparity motion vector can be estimated from the disparity vectors which are extracted from the sequence of the stereo input image pair and then using these disparity motion vectors, the area where the target object is located and its location coordinate are detected from the input stereo image. Basing on this location data of the target object, the pan/tilt embedded in the stereo camera system can be controlled and as a result, stereo tracking of the target object can be possible. From some experiments with the 2 frames of the stereo image pairs having $256\times256$ pixels, it is shown that the proposed stereo tracking system can adaptively track the target object with a low error ratio of about 3.05 % on average between the detected and actual location coordinates of the target object.

본 논문에서는 적응적 시차 움직임 벡터에 기반한 스테레오 물체추적 및 3차원 디스플레이 시스템을 제안하였다. 즉, 제안된 시스템에서는 스테레오 입력영상 시퀀스로부터 적응적으로 추출된 시차 벡터로부터 프레임간 적응적 시차 움직임 벡터를 구한 다음 이를 이용하여 각 프레임에서 표적물체가 존재하는 영역 및 위치좌표를 효과적으로 검출하였다. 또한, 이를 프레임간 표적의 이동거리 좌표를 구하여 최종적으로 팬/틸트를 제어해 줌으로써 표적 물체를 추적하였다. $256\times256$ 픽셀 크기의 스테레오 영상 20 프레임을 사용한 물체추적 실험 결과, 표적 물체의 실제위치와 실험을 통해 얻은 이동위치 간의 평균 에러율이 약 3.05%로 낮게 나타남으로써 본 논문에서 새로이 제안한 적응적 시차 움직임 벡터 기반의 스테레오 물체추적 시스템의 실질적인 응용 가능성과 영상복원 기법을 사유하여 이동 물체의 3차원적 입체 디스플레이 또한 가능하다.

Keywords

References

  1. J. S. Lee, J. H. Ko, and E. S. Kim, 'Real-time stereo object tracking system by using block matching algorithm and optical binary phase extraction joint transform correlator', Optics Comm., Vol. 191, pp. 191-202, May 2001 https://doi.org/10.1016/S0030-4018(01)01137-3
  2. J. S. Lee, C. W. Sea, and E. S. Kim, Implementation of opto-digital stereo object tracking system, Optics Comm., Vol. 200, pp. 73-85, December 2001 https://doi.org/10.1016/S0030-4018(01)01572-3
  3. K. H. Bae, J. J Kim, and E. S. Kim, 'New disparity estimation scheme based on adaptive matching window for intermediate view reconstruction', Optical Engineering, vol. 42, no. 6, pp. 1778-1786, June 2003 https://doi.org/10.1117/1.1571828
  4. D. J. Coombs and C. M. Brown, 'Cooperative gaze holding in binocular vision', IEEE Control Systems Magazine, Vol. 11, pp. 24-33, June 1991
  5. David Coombs and Christopher Brown, 'Real-time binocular smooth pursuit', International Journal of Computer Vision, Vol. 11, no. 2, pp. 147-164, Jul 1993 https://doi.org/10.1007/BF01469226
  6. Priyan Victor S. Grinberg, Gregg Podnar and M. W. Siegel, Geomeby of binocular imaging', in Proc. SPIE Internat Conf. on Stereoscopic Displays and Virtual Reality Systems, Vol. 2177, 6-10, pp. 56-65, San Jose, USA, February 1994
  7. A. Mancini, 'Disparity estimation and intermediate view reconstruction for noble applications in stereoscopic video', Master thesis, McGill University, February 1998
  8. Jeffrey S. McVeigh, M. W. Siegel, and Angel G. Jordan 'Intermediate view synthesis considering occluded and ambiguously referenced image regions', Signal Processing: Image Communication, vol. 9, pp. 21-28, February 1996 https://doi.org/10.1016/S0923-5965(96)00005-7