Fast Disparity Estimation Method Considering Temporal and Spatial Redundancy Based on a Dynamic Programming

시.공간 중복성을 고려한 다이내믹 프로그래밍 기반의 고속 변이 추정 기법

  • 윤정환 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 배병규 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 박세환 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 송혁 (전자부품연구원) ;
  • 김동욱 (광운대학교 전자재료공학과 Digital Design & Test Lab.) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • Published : 2008.10.30

Abstract

In this paper, we propose a fast disparity estimation method considering temporal and spatial redundancy based on a dynamic programming for stereo matching. For the first step, the dynamic programming is performed to estimate disparity vectors with correlation between neighboring pixels in an image. Next, we efficiently compensate regions, which disparity vectors are not allocated, with neighboring disparity vectors assuming that disparity vectors in same object are quite similar. Moreover, in case of video sequence, we can decrease a complexity with temporal redundancy between neighboring frames. For performance comparison, we generate an intermediate-view image using the estimated disparity vector. Test results show that the proposed algorithm gives $0.8{\sim}2.4dB$-increased PSNR(peak signal to noise ratio) compared to a conventional block matching algorithm, and the proposed algorithm also gives approximately 0.1dB-increased PSNR and $48{\sim}68%$-lower complexity compared to the disparity estimation method based on general dynamic programming.

본 논문에서는 스테레오 정합에 사용되는 다이내믹 프로그래밍을 기반으로 영상의 시 공간적 중복성을 고려한 고속 변이 추정 기법을 제안한다. 영상 내 인접한 화소 간에 존재하는 높은 상관성을 이용하여 격행으로 다이내믹 프로그래밍 기반의 변이 추정을 수행하고 변이가 할당되지 않은 라인은 동일영역 내에서의 변이가 유사하다는 성질을 이용하여 주변의 변이벡터로 할당하였다. 또한 동영상의 변이 추정 시에는 프레임 간의 시간적 중복성을 고려한 알고리즘으로 수행시간을 크게 단축시킬 수 있었다. 모의 실험을 통하여 변이 정보를 이용한 중간시점 영상 생성 결과 블록매칭 알고리즘에 비하여 $0.8{\sim}2.4dB$의 PSNR(peak signal to noise ratio)이 증가하는 것을 확인하였다. 또한 일반적인 다이내믹 프로그래밍 기반의 변이 추정 방식과의 비교에서도 0.1dB가량의 PSNR이 증가하였으며 약 $48{\sim}68%$의 계산량이 감소하는 것을 확인 할 수 있었다.

Keywords

References

  1. Myron Z. Brown, Darius Burschka and Gregory D. Hager, "Advances in Computational Stereo," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.25, No.8, pp.993-1008, August 2003. https://doi.org/10.1109/TPAMI.2003.1217603
  2. Scharstein, D. and R. Szeliski, "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms," IJCV 47(1), pp.7-42, 2002. https://doi.org/10.1023/A:1014573219977
  3. 김봉겸, 임재권, "신뢰확산 알고리듬을 이용한 선 그룹화 기반 스테레오 정합," 전자공학회 논문지 제42권 SP 제3호, 2005.
  4. P.H.S Torr and A. Criminisi, "Dense Stereo Using Pivoted Dynamic Programming," Microsoft Research, MSR-TR-2002-51, 2002.
  5. Ingemar J. Cox L. Hingorani, Satish B.Rao "A Maximum Likelihood Stereo Algorithm," CVIU, 63:3, pp.542-567, 1996. https://doi.org/10.1006/cviu.1996.0040
  6. Zitnick, C. L., S. B. Kang, M. Uyttendaele, S.Winder and R. Szeliski, "High-quality video view interpolation using a layered representation," Proceedings of SIGGRAPH (ACM Transactions on Graphics), pp.600-608, 2004.
  7. R_Szeliski. "Prediction error as a quality metric for motion and stereo," ICCV, pp.781-788, 1999.
  8. http://vision.middlebury.edu/stereo
  9. 김미현, 강문기, 이철희, 최윤식, 손광훈, "경계-보 존 방향성 평활화를 이용한 양안 영상의 변이 추 정과 중간시점 영상의 재구성," 방송공학회논문 지, 제4권 제1호 pp.59-67, 1999.