3D 콘텐츠 생성에서의 스테레오 매칭 알고리즘에 대한 매칭 비용 함수 성능 분석

Performance Analysis of Matching Cost Functions of Stereo Matching Algorithm for Making 3D Contents

  • 홍광수 (선문대학교 컴퓨터공학과) ;
  • 정연규 (선문대학교 컴퓨터공학과) ;
  • 김병규 (선문대학교 컴퓨터공학과)
  • 투고 : 2013.04.22
  • 심사 : 2013.06.23
  • 발행 : 2013.06.30

초록

스테레오 매칭 과정에 있어서 매칭 비용을 구하는 것은 매우 중요한 과정이다. 이러한 스테레오 매칭 과정의 성능을 살펴보기 위하여 본 논문에서는 기존에 제안된 매칭 비용 함수들에 대한 기본 개념들을 소개하고 각각의 성능 및 장점을 분석하고자 한다. 가장 간단한 매칭 비용 함수는 매칭 되는 영상의 일관된 밝기를 이용하여 좌, 우 영상 간 서로 대응하는 대응점을 추정하는 과정으로, 본 논문에서 다루는 매칭 비용함수는 화소 기반과 윈도우 기반의 매칭 비용 방법으로 크게 두 가지로 나눌 수 있다. 화소 기반의 방법으로는 절대 밝기차(the absolute intensity differences: AD)와 sampling-intensitive absolute differences of Birchfield and Tomasi (BT) 방법이 있고, 윈도우 기반의 방법으로는 차이 절대 값의 합(sum of the absolute differences: SAD), 차이 제곱 값의 합(sum of squred differences: SSD), 표준화 상호상관성(normalized cross-correlation: NCC), 제로 평균 표준화 상호 상관성(zero-mean normalized cross-correlation: ZNCC), census transform, the absolute differences census transform (AD-Census) 이 있다. 본 논문에서는 앞서 언급한 기존에 제안된 매칭 비용 함수들을 정확도와 시간 복잡도를 측정했다. 정확도 측면에서 AD-Census 방법이 평균적으로 가장 낮은 매칭 율을 보여줬고, 제로 평균 표준화 상호 상관성 방법은 non-occlusion과 all 평가 항목에서 가장 낮은 매칭 오차율을 보여 주지만, discontinuities 평가 항목에서는 블러 효과 때문에 높은 매칭 오차율을 보여 주었다. 시간 복잡도 측면에서는 화소 기반인 절대 밝기차 방법이 낮은 복잡도를 보여 주였다.

Calculating of matching cost is an important for efficient stereo matching. To investigate the performance of matching process, the concepts of the existing methods are introduced. Also we analyze the performance and merits of them. The simplest matching costs assume constant intensities at matching image locations. We consider matching cost functions which can be distinguished between pixel-based and window-based approaches. The Pixel-based approach includes absolute differences (AD) and sampling-intensitive absolute differences (BT). The window-based approach includes the sum of the absolute differences, the sum of squared differences, the normalized cross-correlation, zero-mean normalized cross-correlation, census transform, and the absolute differences census transform (AD-Census). We evaluate matching cost functions in terms of accuracy and time complexity. In terms of the accuracy, AD-Census method shows the lowest matching error ratio (the best solution). The ZNCC method shows the lowest matching error ratio in non-occlusion and all evaluation part. But it performs high matching error ratio at the discontinuities evaluation part due to blurring effect in the boundary. The pixel-based AD method shows a low complexity in terms of time complexity.

키워드

참고문헌

  1. T. Kanade, "Development of a video-rate stereomachine," In Image Understanding Workshop, pp. 549-557, 1994.
  2. P. Anandan, "A computational framework and an algorithm for the measurement of visual motion," International Journal Computer Vision, vol. 2, no. 3, pp. 283-310, 1989. https://doi.org/10.1007/BF00158167
  3. S. Birchfield and C. Tomasi, "A pixel dissimilarity measure that is insensitive to image sampling," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 4, pp. 401-406, April 1998. https://doi.org/10.1109/34.677269
  4. R. Zabib and J. Woodfill, "Non-parametric Local transforms for computing visual correspondence," Third Europe an conference on Computer Vision, May 1994.
  5. X. Mei, X. Sun, M. Zhou, S. Jiao, H. Wang, and X. Zhang, "On building an accurate stereo matching system on graphics hardware," GPUCV 2011.
  6. H. Hirschmuller, P. R. Innocent, and J M. Garibaldi, "Real-time correlation-based stereo vision with reduced border errors," International Journal of Computer Vision, vol. 47, no. 1/2/3, pp. 229-246, April-June 2002. https://doi.org/10.1023/A:1014554110407
  7. http://vision.middlebury.edu/stereo
  8. D. Scharstein and R. Szeliski, "A Taxonomy and evaluation of dense two-frame stereo correspondence algorithms," International Journal of Computer Vision, vol. 47, no. 1, pp. 7-42, May 2002. https://doi.org/10.1023/A:1014573219977
  9. D. Scharstein and R. Szeliski, "High-Accuracy Stereo depth maps using structured light," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 195-202, 2003.