The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A Stereo Matching Technique using Multi-directional Scan-line Optimization and Reliability-based Hole-filling

다중방향성 정합선 최적화와 신뢰도 기반 공백복원을 이용한 스테레오 정합

  • 백승해 (경북대학교 컴퓨터 및 로봇비전 연구실) ;
  • 박순용 (경북대학교 컴퓨터공학과)
  • Received : 2009.10.01
  • Accepted : 2009.12.07
  • Published : 2010.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

Stereo matching techniques are categorized in two major schemes, local and global matching techniques. In global matching schemes, several investigations are introduced, where cost accumulation is performed in multiple matching lines. In this paper, we introduce a new multi-line stereo matching techniques which expands a conventional single-line matching scheme to multiple one. Matching cost is based on simple normalized cross correlation. We expand the scan-line optimization technique to a multi-line scan-line optimization technique. The proposed technique first generates a reliability image, which is iteratively updated based on the previous reliability measure. After some number of iterations, the reliability image is completed by a hole-filling algorithm. The hole-filling algorithm introduces a disparity score table which records the disparity score of the current pixel. The disparity of an empty pixel is determined by comparing the scores of the neighboring pixels. The proposed technique is tested using the Middlebury and CMU stereo images. The error analysis shows that the proposed matching technique yields better performance than using conventional global matching algorithm.

최근 스테레오 정합 기술은 정합하고자 하는 픽셀을 포함한 국부적인(local) 영상의 정합 비용과 시차의 변화 비용을 누적하는 전역적(global)인 방법을 많이 사용하고 있다. 특히 전역적 스테레오 정합에서도 비용누적 (cost accumulation)의 방향을 일반적인 수평방향이 아닌 다수의 방향을 사용하는 연구가 늘고 있다. 본 논문에서는 기존의 스테레오 정합 기술을 다중 방향성 정합 기술로 확장하는 방법을 제안한다. 픽셀의 국부적인 정합 비용은 단순한 NCC (Normalized Cross Correlation)를 사용하였고 전역적 정합 기술의 하나인 정합선 최적화(Scan-line Optimization) 방법을 다중 방향으로 확장하는 기술을 제안하였다. 우선 정합선 최적화를 다중 방향으로 실행한 후 이들 결과를 이용하여 신뢰도가 높은 시차영상 (disparity image)을 획득한다. 반복적인 다중 방향 정합선 최적화 시행 후, 시차영상에서 남은 공백은 홀 복원 방법으로 계산한다. 시차가 구해진 픽셀에 대해서는 신뢰도 점수를 매긴 다음 이 점수를 확산하여 신뢰도 점수 테이블에서 가장 높은 값을 가지는 시차값으로 홀을 복원하였다. 제안하는 기술을 미들버리(Middlebury)의 스테레오 영상을 사용하여 오차를 분석하였다. 기존의 전역적 방법과 제안 기술을 이용하여 시차영상을 계산하고 그 오차를 비교하였다.

Keywords

References

  1. S. Birchfield and C. Tomasi, “Depth Discontinuities by Pixel-to-pixel Stereo,” ICCV, pp. 1073-1080, 1998.
  2. Y. Deng and X. Lin, “A Fast Line Segment Based Dense Stereo Algorithm Using Tree Dynamic Programming,” ECCV, Vol.3, pp.201-212, 2006. https://doi.org/10.1007/11744078_16
  3. F. Felzenszwalb and P. Huttenlocher, “Efficient Belief Propagation for Early Vision,” Computer Vision and Pattern Recognition, Vol.1, pp.261-268, 2004. https://doi.org/10.1109/CVPR.2004.88
  4. M. Gong and Y. Yang, “Near real-time reliable stereo matching using programmable graphics hardware,” CVPR pp.924-931, 2005. https://doi.org/10.1109/CVPR.2005.246
  5. M. Heinrichs, V. Rodehorst, and O. Hellwich, “Efficient Semi-Global Matching for Trinocular Stereo,” Photogrammetric Image Analysis, pp.185-190, 2007.
  6. H. Hirschmüuller, “Accurate and efficient stereo processing by semi-global match-ing and mutual information,” CVPR, pp.807-814, 2005. https://doi.org/10.1109/CVPR.2005.56
  7. H. Hirschmuuller, “Stereo vision in structured environments by consistent semi-global matching,” CVPR pp.2386-2393, 2006. https://doi.org/10.1109/CVPR.2006.294
  8. T. Kanade and M. Okutomi, “A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment,” IEEE transactions on pattern analysis and machine intelligence Vol.16, No.9, pp.920-932, 1994. https://doi.org/10.1109/34.310690
  9. C. Kim, K. M. Lee, B. T. Choi, and S. U. Lee, “A Dense Stereo Matching Using Two-pass Dynamic Programming with Generalized Ground Control Points,” CVPR, pp.1075-1082, 2005. https://doi.org/10.1109/CVPR.2005.22
  10. A. Klaus, M. Sormann and K. Karner, “Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure,” ICPR Vol.3, pp.15-18, 2006. https://doi.org/10.1109/ICPR.2006.1033
  11. V. Kolmogorov and R. Zabih, “Computing Visual Correspondence with Occlusions Using Graph Cuts,” ICCV, pp.508-515, 2001. https://doi.org/10.1109/ICCV.2001.937668
  12. S. Larsen, P. Mordohai, M. Pollefeys, and H. Fuchs, “Temporally consistent re-construction from multiple video streams using enhanced belief propagation,” ICCV, pp.1-8, 2007. https://doi.org/10.1109/ICCV.2007.4409013
  13. S. Mattoccia, F. Tombari, and L. Di Stefano, “Stereo vision enabling precise border localization within a scanline optimization framework,” ACCV, pp.517-527, 2007.
  14. http://vision.middlebury.edu/stereo. Middlebury Stereo Evaluation
  15. P. Mordohai and G. Medioni, “Stereo using monocular cues within the tensor vot-ing framework,” PAMI Vol.28, No.6, pp.968-982, 2006. https://doi.org/10.1109/TPAMI.2006.129
  16. D. Scharstein and R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspondence algorithms,” IJCV, Vol.47, pp.7-42. 2002. https://doi.org/10.1023/A:1014573219977
  17. J. Sun, Y. Li, S.B. Kang, and H.-Y. Shum, “Symmetric stereo matching for occlu-sion handling,” CVPR Vol.2, pp.399-406, 2005. https://doi.org/10.1109/CVPR.2005.337
  18. M. C. Sung, S. H. Lee, and N. I. Cho, “Stereo Matching Using Multi-directional Dynamic Programming and Edge Orientations,” ICIP, pp.233-236, 2007. https://doi.org/10.1109/ICIP.2007.4378934
  19. O. Veksler, “Stereo Correspondence by Dynamic Programming on a Tree,” CVPR, pp.384-390, 2005. https://doi.org/10.1109/CVPR.2005.334
  20. Q. Yang, L. Wang, R. Yang, H. Stewenius, and D. Nister, “Stereo Matching with Color-weighted Correlation, Hierarchical Belief Propagation and Occlusion Handling,” CVPR, Vol.31, No.3, pp.492-504, 2006. https://doi.org/10.1109/CVPR.2006.292
  21. Q. Yang, R. Yang, J. Davis, and D. Nist, “Spatial-depth super resolution for range images,” CVPR pp.1-8, 2007. https://doi.org/10.1109/CVPR.2007.383211
  22. C. Ye, C. Moon, and J. Jeon, “방향성 특징벡터를 이용한 스테레오 정합 기법,” 제어 자동화 시스템공학 논문지, 제13권 제1호, pp.52-57, 2007.
  23. L. Zitnick and S. B. Kang, “Stereo for Image-based Rendering Using Image Over-segmentation,” IJCV, Vol.75, No.1, pp.49-65, 2007. https://doi.org/10.1007/s11263-006-0018-8