Stereo Object Tracking and Multiview image Reconstruction System Using Disparity Motion Vector

시차 움직임 벡터에 기반한 스데레오 물체추적 및 다시점 영상복원 시스템

  • 고정환 (광운대학교 차세대 3D 디스플레이 연구센터) ;
  • 김은수 (광운대학교 차세대 3D 디스플레이 연구센터)
  • Published : 2006.02.01

Abstract

In this paper, a new stereo object tracking system using the disparity motion vector is proposed. In the proposed method, the time-sequential disparity motion vector can be estimated from the disparity vectors which are extracted from the sequence of the stereo input image pair and then using these disparity motion vectors, the area where the target object is located and its location coordinate are detected from the input stereo image. Being based on this location data of the target object, the pan/tilt embedded in the stereo camera system can be controlled and as a result, stereo tracking of the target object can be possible. From some experiments with the 2 frames of the stereo image pairs having 256$\times$256 pixels, it is shown that the proposed stereo tracking system can adaptively track the target object with a low error ratio of about 3.05$\%$ on average between the detected and actual location coordinates of the target object.

본 논문에서는 적응적 시차 움직임 벡터에 기반한 스테레오 물체추적 및 3차원 디스플레이 시스템을 제안하였다. 즉, 제안된 시스템에서는 스테레오 입력영상 시퀸스로부터 적응적으로 추출된 시차 벡터로부터 프레임간 적응적 시차 움직임 벡터를 구한 다음 이를 이용하여 각 프레임에서 표적물체가 존재하는 영역 및 위치좌표를 효과적으로 검출하였다. 또한, 이를 프레임간 표적의 이동거리 좌표를 구하여 최종적으로 팬/틸트를 제어해 줌으로써 표적 물체를 추적하였다. 256$\times$256 픽셀 크기의 스테레오 영상 20 프레임을 사용한 물체추적 실험 결과, 표적 물체의 실제위치와 실험을 통해 얻은 이동위치 간의 평균 에러율이 약 3.05$\%$로 낮게 나타남으로써 본 논문에서 새로이 제안한 적응적 시차 움직임 벡터 기반의 스테레오 물체추적 시스템의 실질적친 응용 가능성과 영상복원 기법을 사용하여 이동 물체의 3차원적 입체 디스플레이 또한 가능하다.

Keywords

References

  1. J. S. Lee, J. H. Ko, and E. S. Kim, Realtime stereo object tracking system by using block matching algorithm and optical binary phase extraction joint transform correlator', Optics Comm., vol. 191, pp. 191-202, May 2001 https://doi.org/10.1016/S0030-4018(01)01137-3
  2. S. T. Lim, K. H. Bae, and E. S. Kim, 'A New Approach for 3-Dimensional Object Tracking & Display System', Proc. of SPIE, Vol. 4736, April 2002
  3. D. J. Coombs and C. M. Brown, 'Cooperative gaze holding in binocular vision', IEEE Control Systems Magazine, vol. 11, pp. 24-33, June 1991
  4. David Coombs and Christopher Brown, 'Real-time binocular smooth pursuit', International Journal of Computer Vision, vol. 11, no. 2, pp. 147-164, 1993 https://doi.org/10.1007/BF01469226
  5. Priyan Victor S. Grinberg, Gregg Podnar and M. W. Siegel, Geometry of binocular imaging', Proc. SPIE Internat. Conf. on Stereoscopic Displays and Virtual Reality Systems, Vol. 2177, San Jose, CA, 6-10, pp. 56-65, February 1994
  6. D. Gunatilake, M. W. Siegel, and A. G. Jordan, 'Compression of Stereo Video Streams', in SMPTE Proc. International Workshop on HDTV '93, Ottawa, Ontario, CANADA, Elsevier, October 1993
  7. D. Comaniciu, V. Ramesh, 'Robust detection and tracking of human faces with an active camera', Third IEEE International Workshop on Visual Surveillance, vol.1, pp. 11-18, 2000
  8. K. H. Bae, J. J. Kim, and E. S. Kim, 'A new disparity estimation scheme based-on adaptive matching window for intermediate view reconstruction, Opt. Eng., Vol. 42, pp. 1778-1786, 2003 https://doi.org/10.1117/1.1571828
  9. M. Kam, 'Computing the cost of occlusion gabriel fielding', Computer Vision and Image Understanding, vol. 79, no. 2, pp. 324-329, 2000 https://doi.org/10.1006/cviu.2000.0853
  10. M. E. Izquierdo, 'Stereo matching for enhanced telepresence in three-dimensional ideo communications', IEEE Transactions on circuits and systems for video technology, vol. 7, no. 4, pp. 629-643, August 1997 https://doi.org/10.1109/76.611174
  11. J. S. Lee, C. W. Seo, and E. S. Kim, 'Implementation of opto-digital stereo object tracking system', Optics Communications, Vol.200, pp.73-85, 2001 https://doi.org/10.1016/S0030-4018(01)01572-3