Depth Estimation and Intermediate View Synthesis for Three-dimensional Video Generation

3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법

  • 이상범 (광주과학기술원 정보통신공학과) ;
  • 이천 (광주과학기술원 정보통신공학과) ;
  • 호요성 (광주과학기술원 정보통신공학과)
  • Published : 2009.10.31

Abstract

In this paper, we propose new depth estimation and intermediate view synthesis algorithms for three-dimensional video generation. In order to improve temporal consistency of the depth map sequence, we add a temporal weighting function to the conventional matching function when we compute the matching cost for estimating the depth information. In addition, we propose a boundary noise removal method in the view synthesis operation. after finding boundary noise areas using the depth map, we replace them with corresponding texture information from the other reference image. Experimental results showed that the proposed algorithm improved temporal consistency of the depth sequence and reduced flickering artifacts in the virtual view. It also improved visual quality of the synthesized virtual views by removing the boundary noise.

본 논문에서는 3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법을 제안한다. 제안하는 방법은 깊이맵의 시간적 상관도를 향상시키기 위해 깊이값을 추정하는 과정에서 기존의 정합 함수에 이전 프레임에서 추정한 깊이값을 고려하는 가중치 함수를 추가한다. 또한, 중간시점 영상을 합성하는 과정에서 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점 영상을 합성할 때, 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 (disocclusion) 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용하여 경계 잡음을 처리한다. 컴퓨터 모의실험 결과를 통해 깊이맵의 시간적 상관도를 향상시켜서 사용자의 시각적 피로감을 줄일 수 있었고, 배경 잡음이 사라진 자연스러운 중간시점 영상을 생성할 수 있었다.

Keywords

References

  1. A. Smolic, K. Muller, P. Merkle, C. Fehn, P. Kauff, P. Eisert, and T. Wiegand, '3D Video and Free Viewpoint Video - Technologies, Applications and MPEG Standards,' IEEE International Conference on Multimedia and Expo, pp. 2161-2164, July 2006
  2. ISO/IEC JTC1/SC29/WG11, 'Vision on 3D Video,' N10357, Feb. 2009
  3. ISO/IEC JTC1/SC29/WG11 'Call for Contributions on 3D Video Test Material,' N9595, Jan. 2008
  4. ISO/IEC JTC1/SC29/WG11 'Reference Softwares for Depth stimation and View Synthesis,' M15377, April 2008
  5. S.-B. Lee, C. Lee, and Y.-S. Ho, 'Temporal Consistency Enhancement of Background for Depth Estimation,' in Proc. of 3D Systems and Applications, pp. S08-01.1~4, April, 2009
  6. W. R. Mark, L. McMillan, G. Bishop, 'Post-Rendering 3D Warping,' in Proc. of Symposium on Interactive 3D Graphics, pp. 7-16, April 1997
  7. D. Sharstein and R. Szeliski, 'A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms,' Proc. of IEEE Workshop on Stereo and Multi-Baseline Vision, pp. 131-140, Dec. 2001
  8. C. Fehn, 'Depth-image-based Rendering (DIBR), Compression and Transmission for a New Approach on 3DTV,' Proc. of SPIE Stereoscopic Displays and Virtual Reality Systems, vol. 5291, pp. 93-104, 2004
  9. ISO/IEC JTC1/SC29/WG11 'Contribution for 3D Video Test Material of Outdoor Scene,' M15371, April 2008
  10. ISO/IEC JTC1/SC29/WG11 '1D Parallel Test Sequences for MPEG-FTV,' M15378, April 2008
  11. ISO/IEC JTC1/SC29/WG11 'HHI Test Material for 3D Video,' M15413, April 2008
  12. ISO/IEC JTC1/SC29/WG11 'Multiview Video Test Sequence and Camera Parameters,' M15419, April 2008
  13. C.L. Zitnick, S.B. Kang, M. Uyttendaele, S. Winder, R. Szeliski, 'High-quality Video View Interpolation Using a Layered Representation,' in Proc. of SIGGRAPH'04, pp. 600-608, Aug. 2004