DOI QR코드

DOI QR Code

Hybrid Down-Sampling Method of Depth Map Based on Moving Objects

움직임 객체 기반의 하이브리드 깊이 맵 다운샘플링 기법

  • 김태우 (성균관대학교 정보통신대학 전자전기공학부) ;
  • 김정훈 (성균관대학교 정보통신대학 전자전기공학부) ;
  • 박명우 (성균관대학교 정보통신대학 전자전기공학부) ;
  • 신지태 (성균관대학교 정보통신대학 전자전기공학부)
  • Received : 2012.07.31
  • Accepted : 2012.10.30
  • Published : 2012.11.30

Abstract

In 3D video transmission, a depth map being used for depth image based rendering (DIBR) is generally compressed by reducing resolution for coding efficiency. Errors in resolution reduction are recovered by an appropriate up-sampling method after decoding. However, most previous works only focus on up-sampling techniques to reduce errors. In this paper, we propose a novel down-sampling technique of depth map that applies different down-sampling rates on moving objects and background in order to enhance human perceptual quality. Experimental results demonstrate that the proposed scheme provides both higher visual quality and peak signal-to-noise ratio (PSNR). Also, our method is compatible with other up-sampling techniques.

3차원 비디오 전송에 있어서, 렌더링에 사용되는 깊이 맵은 압축 효율을 위하여 일반적으로 낮은 해상도로 다운샘플링 되어 전송된다. 이때, 다운샘플링 과정에서 발생하는 오류는 디코딩 후의 적절한 업샘플링 기법을 통하여 효과적으로 복구할 수 있다. 하지만 기존의 연구들은 이러한 오류를 줄이기 위하여 여러 업샘플링 기법에 대해서만 초점이 맞춰져 있었다. 본 논문에서는 사람의 인지적인 화질을 보다 제고시키기 위하여 동적인 객체와 정적인 배경에 서로 다른 다운샘플링 비율을 적용시키는 새로운 하이브리드 깊이 맵 다운샘플링 기법을 제안한다. 실험적인 결과는 제안하는 방법이 시각적인 품질과 PSNR 측면에서의 이득이 있음을 보여준다. 또한 제안하는 방법은 여러 업샘플링 기법들과 호환이 가능하다.

Keywords

References

  1. K. M. Eom, "Three-dimensional image processing techniques for multi-view video," Information and Communications Magazine, KICS, vol. 28. pp. 21-29. 2011. 6
  2. C. Fehn, "Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV", in Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI. San Jose, CA, USA, 2004, vol. 5291, pp. 93-104
  3. R. Cheng, K. Nahrstedt, "Empirical study of 3d video source coding for autostereoscopic displays", in MM, ACM, 2007, pp 573-576
  4. A. Smolic, P. Kauff, S. Knorr, A. Hornung, M. Kunter, M. Muller, M. Lang, "Three-Dimensional Video Postproduction and Processing", Proceeding of the IEEE, vol. 99, no. 4, April 2011
  5. K. Muller, P. Merkle, T. Wiegand, "3-D Video Representation Using Depth Maps", Proc. of the IEEE, Apr. 2011, vol. 99, issue. 4
  6. K. Muller, P. Merkle, T. Wiegand, "3-D Video Representation Using Depth Maps", Proc. of the IEEE, April 2011, vol. 99, issue. 4
  7. Kwan-Jung Oh, Sehoon Yea, A. Vetro, Yo-Sung Ho "Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video", Signal Processing Letters, IEEE, Sept. 2011, vol. 16, issue. 9, pp. 747-750
  8. E. Ekmekcioglu, M. Mrak, S.T. Worrall, A.M. Kondoz, "Edge adaptive upsampling of depth map videos for enhanced free-viewpoint video quality", Electronics Letters, 26th March 2009, vol. 45, issue.7
  9. L. Yanjie, S. Lifeng, "A novel upsampling scheme for depth map compression in 3DTV system", 28th Picture Coding Symposium (PCS), Nagoya, Japan, Dec. 2010,
  10. M.O. Wildeboer, T. Yendo, M. Panahpour Tehrani, T. Fujii, M. Tanimoto, "Depth up-sampling for depth coding using view information", 3DTV Conference : The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON), 2011
  11. Z. Qiuwen, A. Ping, Z. Yan, Z. Qian, Z. Zhaoyang, "Reduced resolution depth compression for multiview video plus depth coding", Signal Processing (ICSP), 2010 IEEE 10th International Conference, pp.1145-1148
  12. H.A. Karim, N.S.M.A. Shah, N.M. Arif, A. Sali, S. Worrall, "Reduced resolution depth coding for stereoscopic 3D video", Consumer Electronics, IEEE Transaction, 2010, vol. 56, issue. 3
  13. ISO/IEC JTC1/SC29/WG11, Committee Draft of ISO/IEC 23002-3 Auxiliary Video Data Representation. WG11 Doc. N8038 Apr. 2006
  14. OpenCV 2.x C++ Reference Manual Release 2.3, June 2011. http://opencv.itseez.com/trunk/