한국통신학회논문지 (The Journal of Korean Institute of Communications and Information Sciences)

  • 제37C권9호
  • /
  • Pages.751-756
  • /
  • 2012
  • /
  • 1226-4717(pISSN)
  • /
  • 2287-3880(eISSN)
한국통신학회 (The Korean Institute of Commucations and Information Sciences)
권호 표지
DOI QR코드

DOI QR Code

깊이 카메라를 이용한 객체 분리 및 고해상도 깊이 맵 생성 방법

Foreground Segmentation and High-Resolution Depth Map Generation Using a Time-of-Flight Depth Camera

  • 강윤석 (광주과학기술원 정보통신공학부) ;
  • 호요성 (광주과학기술원 정보통신공학부)
  • 투고 : 2012.07.04
  • 심사 : 2012.09.05
  • 발행 : 2012.09.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다. 깊이 카메라로부터 얻은 초기 깊이 정보를 이용하여 색상 영상에서 구해진 깊이 맵은 기존의 방법인 스테레오 정합 등의 방법보다 우수한 성능을 나타내었고, 무늬가 없는 영역이나 객체 경계 영역에서도 정확한 깊이 정보를 구할 수 있었다.

In this paper, we propose a foreground extraction and depth map generation method using a time-of-flight (TOF) depth camera. Although, the TOF depth camera captures the scene's depth information in real-time, it has a built-in noise and distortion. Therefore, we perform several preprocessing steps such as image enhancement, segmentation, and 3D warping, and then use the TOF depth data to generate the depth-discontinuity regions. Then, we extract the foreground object and generate the depth map as of the color image. The experimental results show that the proposed method efficiently generates the depth map even for the object boundary and textureless regions.

키워드

참고문헌

  1. C. Fehn, R. Barre, and S. Pastoor, "Interactive 3-DTV- Concepts and Key Technologies," Proc. of the IEEE, vol. 94, no. 3, pp. 524-538, Mar. 2006. https://doi.org/10.1109/JPROC.2006.870688
  2. J. Sun, N.N. Zheng, and H.Y. Shum, "Stereo Matching Using Belief Propagation," IEEE Trans. of Pattern Analysis and Machine Intelligence (PAMI), vol. 25, no. 5, pp. 787-800, Jul. 2003. https://doi.org/10.1109/TPAMI.2003.1206509
  3. S. A. Gudmundsson, H. Aanaes, and R. Larsen, "Fusion of Stereo Vision and Time-of-Filght Imaging for Improved 3D Estimation," International Journal of Intelligent Sys. Technologies and Applications, vol. 5, no. 3, pp. 425-433, Nov. 2008. https://doi.org/10.1504/IJISTA.2008.021305
  4. B. Bartczak and R. Koch, "Dense Depth Maps from Low Resolution Time-of-Flight Depth and High Resolution Color Views," Proc. of 5th International Symposium on Visual Computing, pp. 1-12, Nov. 2009.
  5. J. Zhu, L. Wang, R. Yang, and J. Davis, "Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps," Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pp. 231-236, June 2008.
  6. K. D. Kuhnert and M. Stommel, "Fusion of Stereo-Camera and PMD-Camera Data for Real-time Suited Precise 3D Environment Reconstruction," Proc. of the IEEE/RSJ International Conf. on Intelligent Robots and Syst. (IROS), pp. 4780-4785, Mar. 2006.
  7. A. Wang, T. Qiu, and L. Shao, "A Simple Method of Radial Distortion Correction with Centre of Distortion Estimation," Journal of Mathematical Imaging and Vision, vol. 35, no. 3, pp. 165-172, Nov. 2009. https://doi.org/10.1007/s10851-009-0162-1
  8. Z. Zhang, "A Flexible New Technique for Camera Calibration," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, Oct. 2000. https://doi.org/10.1109/34.888718
  9. C. Rother, V. Kolmogorov, and A. Blake, "GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts," ACM Trans. on Graphics, vol. 23, no. 1, pp. 309-314, Jan. 2004. https://doi.org/10.1145/1015706.1015720
  10. P.F. Felzenszwalb and D.P. Huttenlocher, "Efficient Belief Propagation for Early Vision," International Journal of Computer Vision, vol. 70, no. 1, pp. 41-54, Oct. 2006. https://doi.org/10.1007/s11263-006-7899-4
  11. Y. S. Kang and Y. S. Ho, "Multi-view Image Enhancement by Compensating Geometric Error," Telecomm. Review, vol. 20, no. 3, pp. 507-518, 2010.
  12. A. Telea, "An Image Inpainting Technique based on The Fast Marching Method," Journal Graphics Tools, vol. 9, pp. 25-36, May 2004.