DOI QR코드

DOI QR Code

Detection of View Reversal in a Stereo Video

스테레오 동영상에서의 좌우 영상 바뀜 검출 기법

  • Received : 2012.12.26
  • Published : 2013.05.25

Abstract

This paper proposes detection of view reversal in a stereo video using depth map and motion vector information. We obtain a depth map by using a stereo matching and divide the input image into foreground and background. Next, we obtain a motion vector field by using a motion estimation. In general, an occluded region is in background when foreground goes toward the adjacent background or the background goes toward the adjacent foreground. But, we will face with the change of foreground and background because their depths also change when view reversal occurs. Therefore, we can detect the view reversal in stereo videos by using the observation that the foreground goes toward the adjacent background or the background goes toward the adjacent foreground. The experimental results show that the proposed algorithm achieves good detection rate when the background region is sufficiently occluded by the moving foreground.

본 논문은 스테레오 동영상에서 깊이 정보와 움직임 정보를 이용하여 좌영상과 우영상이 바뀐 것을 검출하는 기법을 제안한다. 스테레오 정합 기법을 통해 깊이 정보를 얻어 영상을 전경과 배경 영역으로 나누고 움직임 추정 기법을 이용해 움직임 벡터를 얻는다. 제안 기법은 전경이 인접한 배경 쪽으로 움직이거나 배경이 인접한 전경 쪽으로 움직였을 때 가려짐이 발생하는 영역이 배경이라는 것을 이용한다. 그러나 좌영상과 우영상이 바뀐 경우에는 깊이 정보가 반대로 얻어져 전경과 배경 영역도 반대로 얻어지므로 위와 같은 움직임이 있을 경우에 가려짐이 발생하는 영역은 전경이다. 따라서 좌영상과 우영상이 바뀐 것을 검출할 수 있다. 모의실험을 통해 제안 기법이 전경에 의해 배경 영역이 충분히 가려지는 경우 높은 검출률을 보임을 알 수 있다.

Keywords

References

  1. P. Benzie, J. Watson, P. Surman, I. Rakkolainen, K. Hopf, H. Urey, V. Sainov and C. von Kopylow, "A survey of 3DTV displays: techniques and technologies", IEEE Trans. Circuits and Systems for Video Technology, vol. 17, no. 11, pp. 1647-1658, 2007. https://doi.org/10.1109/TCSVT.2007.905377
  2. L. M. J. Meesters, W. A. IJsselsteijn and P. J. H. Seuntiens, "A survey of perceptual evaluations and requirements of three-dimensional TV", IEEE Trans. Circuits and Systems for Video Technology, vol. 14, no. 3, pp. 381-391, 2004. https://doi.org/10.1109/TCSVT.2004.823398
  3. 손지덕, 송병철, "스테레오 동영상에서의 좌우 영상 바뀜 검출", 2012년 대한전자공학회 추계학술대회 논문집, 598-593쪽, 이화여자대학교, 대한민국, 2012년 11월
  4. A. Puri, R. V. Kollarits and B. G. Haskell, "Basics of stereoscopic video, new compression results with MPEG-2 and a proposal for MPEG-4", Signal Processing: Image Communication, vol. 10, pp. 201-234, 1997. https://doi.org/10.1016/S0923-5965(97)00025-8
  5. C. L. Zitnick and T. Kanade, "A cooperative algorithm for stereo matching and occlusion detection", IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 22, no. 7, pp. 675-684, 2000. https://doi.org/10.1109/34.865184
  6. J. Sun, N. N. Zheng and H. Y. Shum, "Stereo matching using belief propagation", IEEE Trans. Pattern Analysis and Machine Intelligence, vol.25, no. 7, pp. 787-800, 2003. https://doi.org/10.1109/TPAMI.2003.1206509
  7. R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2010.
  8. H. G. Kim, J. Y. Jang, J. H. Seo, J. K. Kang, and B. C. Song, "Stereoscopic perception improvement using depth-adaptive sharpness adjustments and hardware implementation", submitted to IEEE Trans. Consumer Electronics, 2012.
  9. M. E. Izquierdo, "Stereo image analysis for multi-viewpoint teleprecense applications," Signal Processing: Image Communications, vol. 11, no. 3, pp. 231-254, 1998. https://doi.org/10.1016/S0923-5965(97)00031-3
  10. R. Gonzalez and R. Woods, Digital Image Processing, Prentice-Hall, 2007.
  11. L. M. Po and W. C. Ma, "A novel four-step search algorithm for fast block motion estimation", IEEE Trans. Circuits and Systems for Video Technology, vol. 6, no. 3, pp. 313-317, 1996. https://doi.org/10.1109/76.499840
  12. S. Zhu and K. K. Ma, "A new diamond search algorithm for fast block-matching motion estimation", IEEE Trans. Image Processing, vol. 9, no. 2, pp. 287-290, 2000. https://doi.org/10.1109/83.821744