A Fast Algorithm of the Belief Propagation Stereo Method

신뢰전파 스테레오 기법의 고속 알고리즘

  • 최영석 (충북대학교 전기및전자컴퓨터공학부) ;
  • 강현수 (충북대학교 전기및전자컴퓨터공학부)
  • Published : 2008.09.25

Abstract

The belief propagation method that has been studied recently yields good performance in disparity extraction. The method in which a target function is modeled as an energy function based on Markov random field(MRF), solves the stereo matching problem by finding the disparity to minimize the energy function. MRF models provide robust and unified framework for vision problem such as stereo and image restoration. the belief propagation method produces quite correct results, but it has difficulty in real time implementation because of higher computational complexity than other stereo methods. To relieve this problem, in this paper, we propose a fast algorithm of the belief propagation method. Energy function consists of a data term and a smoothness tern. The data term usually corresponds to the difference in brightness between correspondences, and smoothness term indicates the continuity of adjacent pixels. Smoothness information is created from messages, which are assigned using four different message arrays for the pixel positions adjacent in four directions. The processing time for four message arrays dominates 80 percent of the whole program execution time. In the proposed method, we propose an algorithm that dramatically reduces the processing time require in message calculation, since the message.; are not produced in four arrays but in a single array. Tn the last step of disparity extraction process, the messages are called in the single integrated array and this algorithm requires 1/4 computational complexity of the conventional method. Our method is evaluated by comparing the disparity error rates of our method and the conventional method. Experimental results show that the proposed method remarkably reduces the execution time while it rarely increases disparity error.

최근 활발히 연구되고 있는 신뢰전파(Belief Propagation) 기법은 변위(disparity) 정보추출에 우수한 성능을 보인다. 신뢰전파 기법은 변위 추출에 필요한 목표함수를 Markov random field(URF)의 에너지 함수로 모델링 하는 방식으로서 에너지 함수를 최소화하는 변위 값을 찾음으로써 정합문제를 해결한다. MRF 모델은 스테레오와 영상복원과 같은 비전 문제에 강건하고 일괄된 구조를 제공한다. 그러나 MRF 모델링 기반의 신뢰전파 기법은 정확한 결과를 산출하지만 다른 스테레오 기법에 비하여 상대적으로 많은 계산 량이 요구되기 때문에 실시간 구현에 어려움이 있다. 본 논문에서는 이러한 문제를 해결하고자 신뢰전파 기법의 고속 구현 알고리즘을 제안한다. 에너지 함수는 data항과 smoothness항의 합으로 나타낸다. 데이터(data)항은 일반적으로 두 영상의 밝기 차이로 계산되고, 연속성(smoothness)항은 인접화소의 차이를 나타낸다. 연속성 정보는 메시지로부터 생성되는데, 메시지는 네 방향의 인접화소 위치에 대한 연속성과 일치성을 고려하여 계산된다. 네 방향의 메시지에 대한 처리 시간은 전체 프로그램 수행 시간의 80%이상을 차지한다. 제안된 방법에서는 네 개의 배열에서 생성되는 메시지를 하나의 배열에서 일괄적으로 생성하게 함으로써 메시지 계산에 대한 수행 시간을 단축하는 알고리즘을 제안한다. 최종 변위 추출과정에서 메시지는 통합된 하나의 배열에서만 호출되며, 이는 기존 알고리즘의 메시지 처리의 계산 량을 1/4 만큼 줄이는 효과가 있다. 기존의 신뢰전파 기법으로 생성한 깊이맵의 변위 오차율과 제안한 알고리즘으로 생성된 깊이맵의 변위 오차율을 비교함으로써 제안한 알고리즘의 변위추출의 정확도를 평가한다. 실험 결과, 변위 오차는 거의 증가하지 않는 반면, 전체 프로그램 수행 시간이 철저히 감소됨을 확인할 수 있다.

Keywords

References

  1. J. Sun N. Zheng, and H. Shum, "Stereo matching using belief propagation," IEEE Trans. PAMI, vol.25, pp.787-800, 2003 https://doi.org/10.1109/TPAMI.2003.1206509
  2. Y. Weiss, W. T. Freeman, "On the optimality of solutions of the max-product belief propagation algorithm in arbitrary graphs," IEEE Trans. Information Theory, vol.47, pp.723-735, 2001 https://doi.org/10.1109/18.910584
  3. Y. Boykov, O. Veksler, and R. Zabih, "Fast approximate energy minimization via graph cut," IEEE Trans. PAMI, vol.23, pp.1222-1239, 2001 https://doi.org/10.1109/34.969114
  4. D. Schastein and R. Szeliski, "Ataxonomy and evaluation of dense two-frame stereo correspondence algorithm," Int. J. Computer vision, vol.47, No.1 pp.7-42, 2002 https://doi.org/10.1023/A:1014573219977
  5. M. F. Tappen and W. T. Freeman, "Comparison of graph cuts with belief propagation for stereo using identical MRF parameter," Proc. ICCV, 2003
  6. P. F. F elzenszwalb and D. P. Huttenlocher, "Efficient belief propagation for early vision," Proc. CVPR, 2004