DOI QR코드

DOI QR Code

Depth Boundary Sharpening for Improved 3D View Synthesis

3차원 합성영상의 화질 개선을 위한 깊이 경계 선명화

  • 송윤석 (광주과학기술원 정보통신공학과) ;
  • 이천 (광주과학기술원 정보통신공학과) ;
  • 호요성 (광주과학기술원 정보통신공학과)
  • Received : 2012.03.26
  • Accepted : 2012.09.24
  • Published : 2012.09.30

Abstract

This paper presents a depth boundary sharpening method for improved view synthesis in 3D video. In depth coding, distortion occurs around object boundaries, degrading the quality of synthesized images. In order to encounter this problem, the proposed method estimates an edge map for each frame to filter only the boundary regions. In particular, a window-based filter is employed to choose the most reliable pixel as the replacement considering three factors: frequency, similarity and closeness. The proposed method was implemented as post-processing of the deblocking filter in JMVC 8.3.Compared to the conventional methods, the proposed method generated 0.49 dB PSNR increase and 16.58% bitrate decrease on average. The improved portions were subjectively confirmed as well.

본 논문에서는 3차원 합성영상의 화질 개선을 위하여 깊이영상의 경계를 개선하는 방법을 제안한다. 깊이영상을 부호화할 때 객체의 경계부근에서 왜곡이 발생하게 되는데, 이러한 왜곡은 합성영상의 화질을 떨어뜨리는 원인이 된다. 본 논문에서 제안하는 방법은 경계 주변만을 필터링하기 위해 에지 맵을 추출하고, 이를 이용하여 객체의 경계를 포함하는 매크로블록에만 제안하는 방법을 적용한다. 여기서 경계주변의 참조 화소의 빈도, 유사성, 거리 등 세 가지 요소를 고려하는 윈도우-기반의 경계 선명화 필터를 적용하여 중앙의 대상 화소를 최적의 화소값으로 대체한다. 제안한 방법은 다시점 비디오 부호화의 참조 소프트웨어인 JMVC 8.3에 디블록킹 필터의 후처리로 구현했다. 기존 방법들과 비교하여 평균 0.49 dB의 화질 개선과 16.58%의 비트율 감소가 있었고, 주관적으로도 개선된 부분을 확인하였다.

Keywords

References

  1. W.S. Jang, C. Lee, and Y.S. Ho, "Efficient depth map generation for various stereo camera arrangements," J. Kor. Info. Commun. Soc. (J-KICS), vol. 37A, no. 6, pp. 458-463, May 2012. https://doi.org/10.7840/KICS.2012.37.6A.458
  2. S. Yea and A. Vetro, "View synthesis prediction for multiview video coding," Signal Proc.: Image Commun., vol. 24, pp. 89-100, Jan. 2009. https://doi.org/10.1016/j.image.2008.10.007
  3. C. Lee, B.H. Choi, and Y.S. Ho, "Efficient multiview depth video coding using depth synthesis prediction," Optical Eng., vol. 50, no. 7, pp. 1-14, July 2011.
  4. J.F. Canny, "A computation approach to edge detection," IEEE Trans. Pattern Analysis Machine Intelligence, vol. 8, no. 6, pp. 769-798, Nov. 1986.
  5. K.J. Oh., A. Vetro, and Y.S. Ho, "Depth coding using a boundary reconstruction filter for 3-D video systems," IEEE Trans. Circuits and Systems for Video Technology, vol. 21, no. 3, pp. 350-359, Mar. 2011. https://doi.org/10.1109/TCSVT.2011.2116590
  6. C.L. Zitnick, S.B. Kang, M. Uyttendaele, S. Winder, and R. Szeliski, "High-quality video view interpolation using a layered representation," ACM SIGGRAPH and ACM Trans. on Graphics, pp. 600-608, Aug. 2004.