DOI QR코드

DOI QR Code

광량 변화에 강건한 가중치 국부 기술자 기반의 스테레오 정합

Robust Stereo Matching under Radiometric Change based on Weighted Local Descriptor

  • 구자민 (중앙대학교 첨단영상대학원 영상학과) ;
  • 김용호 (중앙대학교 첨단영상대학원 영상학과) ;
  • 이상근 (중앙대학교 첨단영상대학원 영상학과)
  • Koo, Jamin (Department of Image Engineering, Graduate School of Advanced Imaging Science, Multimedia, and Film, Chung-Ang University) ;
  • Kim, Yong-Ho (Department of Image Engineering, Graduate School of Advanced Imaging Science, Multimedia, and Film, Chung-Ang University) ;
  • Lee, Sangkeun (Department of Image Engineering, Graduate School of Advanced Imaging Science, Multimedia, and Film, Chung-Ang University)
  • 투고 : 2014.12.02
  • 심사 : 2015.04.01
  • 발행 : 2015.04.25

초록

기하학적 특성이 주어진 두 개 이상의 카메라를 사용하거나 한 개의 카메라를 이동시켜가면서 스테레오 영상을 얻을 때에, 카메라 설정 값의 차이, 조명의 변화 등으로 인해 광량의 변화가 발생한다. 하지만 색상 유사도를 기반으로 한 기존의 스테레오 정합 방법들은 정확한 대응점을 추정하지 못한다. 본 논문에서는 광량 변화에 강건하기 위한 방법으로 스테레오 영상에서 픽셀의 밝기 정보와 그라디언트 정보 및 텍스쳐 정보를 국부 기술자로 구성하는 새로운 방법을 제안하고, 엔트로피에 기반한 적응적 가중치를 국부 기술자에 부여하여 광량 변화에도 정확한 대응점을 추정할 수 있도록 한다. 제안하는 방법은 조명의 변화, 노출 시간의 차이로 인해 광량 변화가 발생된 Middlebury의 실험 영상을 통해 실험되었으며, 광량 변화에 강건한 최근의 방법들과 비교하였다. 그 결과, 제안하는 방법은 전체 영역에서의 오정합 비율이 약 5 % 정도로 비교하는 방법들보다 낮게 발생하여 가장 좋은 성능을 보여주었다.

In a real scenario, radiometric change has frequently occurred in the stereo image acquisition process using multiple cameras with geometric characteristics or moving a single camera because it has different camera parameters and illumination change. Conventional stereo matching algorithms have a difficulty in finding correct corresponding points because it is assumed that corresponding pixels have similar color values. In this paper, we present a new method based on the local descriptor reflecting intensity, gradient and texture information. Furthermore, an adaptive weight for local descriptor based on the entropy is applied to estimate correct corresponding points under radiometric variation. The proposed method is tested on Middlebury datasets with radiometric changes, and compared with state-of-the-art algorithms. Experimental result shows that the proposed scheme outperforms other comparison algorithms around 5% less matching error on average.

키워드

참고문헌

  1. D. Marr, Vision: A Computational Investigation into the Human Representation and Processing of Visual Information, San Francisco: W. H. Freeman, 1982.
  2. D. Scharstein and R. Szeliski, "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms," International Journal of Computer Vision, vol. 47, no. 1, pp. 7-42, May 2002. https://doi.org/10.1023/A:1014573219977
  3. G. D. Finlayson, S. D. Hordley, and P. M. Hubel, "Color by Correlation: A Simple, Unifying Framework for Color Constancy," IEEE Transactions on Pattern Analysis and Machine Intelligences, vol. 23, no. 11, pp. 1209-1221, Nov. 2001. https://doi.org/10.1109/34.969113
  4. Y. S. Heo, K. M. Lee, and S. U. Lee, "Robust Stereo Matching Using Adaptive Normalized Cross Correlation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 4, pp. 807-822, Apr. 2011. https://doi.org/10.1109/TPAMI.2010.136
  5. L. De-Maeztu, A. Villanueva, and R. Cabeza, "Stereo Matching using Gradient Similarity and Locally Adaptive Support-Weight," Pattern Recognition Letters, vol. 32, no. 13, pp. 1643-1651, Oct. 2011. https://doi.org/10.1016/j.patrec.2011.06.027
  6. I. L. Jung, J. Y. Sim, C. S. Kim, and S. U. Lee, "Robust stereo matching under radiometric variations based on cumulative distributions of gradient," IEEE International Conference on Image Processing, pp. 2082-2085, Melbourne, VIC, Australia, Sep. 2013.
  7. Y. D. Chun, N. C. Kim, and I. H. Jang, "Content-Based Image Retrieval Using Multiresolution Color and Texture Features," IEEE Transactions on Multimedia, vol. 10, no. 6, pp. 1073-1084, Oct. 2008. https://doi.org/10.1109/TMM.2008.2001357
  8. N. C. Kim, M. H. Kim, H. J. So, and I. H. Jang, "Texture Classification Using Wavelet-Domain BDIP and BVLC Features With WPCA Classifier," Journal of the Institute of Electronics Engineers of Korea, vol. 49, no. 2, pp. 102-112, Mar. 2012.
  9. K. J. Yoon and I. S. Kweon, "Adaptive Support-Weight Approach for Correspondence Search", IEEE Transactions on Pattern Analysis and Machine Intelligences, vol. 28, no. 4, pp. 650-656, Apr. 2006. https://doi.org/10.1109/TPAMI.2006.70
  10. D. H. Ryu and T. G. Park, "Design of a Realtime Stereo Vision System using Adaptive Support-weight," Journal of the Institute of Electronics Engineers of Korea, vol. 50, no. 11, pp. 90-98, Nov. 2013.
  11. http://vision.middlebury.edu/stereo