DOI QR코드

DOI QR Code

Efficient Depth Map Generation for Various Stereo Camera Arrangements

다양한 스테레오 카메라 배열을 위한 효율적인 깊이 지도 생성 방법

  • 장우석 (광주과학기술원 정보통신공학과) ;
  • 이천 (광주과학기술원 정보통신공학과) ;
  • 호요성 (광주과학기술원 정보통신공학과)
  • Received : 2012.02.28
  • Accepted : 2012.05.27
  • Published : 2012.06.30

Abstract

In this paper, we propose a direct depth map acquisition method for the convergence camera array as well as the parallel camera array. The conventional methods perform image rectification to reduce complexity and improve accuarcy. However, image rectification may lead to unwanted consequences for the convergence camera array. Thus, the proposed method excludes image rectification and directly extracts depth values using the epipolar constraint. In order to acquire a more accurate depth map, occlusion detection and handling processes are added. Reasonable depth values are assigned to the obtained occlusion region by the distance and color differences from neighboring pixels. Experimental results show that the proposed method has fewer limitations than the conventional methods and generates more accurate depth maps stably.

본 논문에서는 평행형 카메라 배열 뿐 아니라 수렴형 카메라 배열에서도 깊이 지도를 직접적으로 구할 수 있는 방법을 제안한다. 기존의 스테레오 정합 방법들은 복잡도를 줄이고 정확도를 향상시키기 위해서 영상 정렬화를 수행한다. 하지만 수렴형 배열에서의 영상 정렬화는 원치 않는 결과를 발생시킨다. 따라서 제안하는 방법은 문제가 되는 영상 정렬화 과정을 생략하고, 영상 자체의 에피폴라 제약 사항을 이용하여 깊이 값을 직접적으로 추출한다. 깊이 지도의 정확도를 보다 향상시키기 위해서 폐색 영역을 탐지하고 처리하는 과정을 추가적으로 수행한다. 탐지한 폐색 영역은 보이는 주변 영역의 화소들과의 거리와 색상차를 고려하여 적절한 깊이 값으로 채워진다. 실험을 통해 제안한 방법이 기존의 방법에 비해 카메라 배열에 대한 제약이 적고, 안정적으로 깊이 지도를 생성할 수 있음을 확인했다.

Keywords

References

  1. L. Zhang and W.J. Tam, "Stereoscopic image generation based on depth images for 3DTV," IEEE Trans. Broadcast., vol. 51, no. 2, pp. 191-199, June 2005. https://doi.org/10.1109/TBC.2005.846190
  2. S.Y. Kim, J.H. Cho, and A. Koschan, "3D video generation and service based on a TOF depth sensor in MPEG-4 multimedia framework," IEEE Trans. Consum. Electron., vol. 56, no. 3, pp. 1730-1738, Aug. 2010. https://doi.org/10.1109/TCE.2010.5606319
  3. W.S. Jang, Y.S. Ho, "Efficient Disparity Map Estimation Using Occlusion Handling for Various 3D Multimedia Applications," IEEE Trans. Consum. Electron., vol. 57, no. 4, pp. 1937-1943, Nov. 2011. https://doi.org/10.1109/TCE.2011.6131174
  4. D. Sharstein and R. Szeliski, "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms," IEEE Workshop on Stereo and Multi-Baseline Vision, pp. 131-140, 2001.
  5. Y.S. Kang and Y.S. Ho, "An Efficient Image Rectification Method for Parallel Multi-Camera Arrangement," IEEE Trans. Consum. Electron., vol. 57, no. 3, pp. 1041-1048, Aug. 2011. https://doi.org/10.1109/TCE.2011.6018853
  6. S.Z. Li, Markov Random Field Modeling in Image Analyysis, 2nd ed. New York: Springer-Verlag, 2001.
  7. C. Lee and Y.S. Ho, "Boundary filtering on synthesized views of 3D video," International Symposium on Signal Processing, Image Processing and Pattern Recognition, pp. 15-18, 2008.
  8. Q. Yang, L. Wang, and N. Ahuja, "A constant-space belief propagation algorithm for stereo matching," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1458-1465, 2010.
  9. Q. Yang, C. Engels, and A. Akbarzadeh. "Near real-time stereo for weakly-textured scenes," British Machine Vision Conference, pp. 80-87, 2008.