DOI QR코드

DOI QR Code

Region-Based Error Concealment of Depth Map in Multiview Video

영역 구분을 통한 다시점 영상의 깊이맵 손상 복구 기법

  • Kim, Wooyeun (College of Information and Communication Engineering, Sungkyunkwan University) ;
  • Shin, Jitae (School of Electronic and Electrical Engineering, Sungkyunkwan University) ;
  • Oh, Byung Tae (School of Electronics Telecommunication and Computer Engineering, Korea Aerospace University)
  • Received : 2015.07.29
  • Accepted : 2015.11.07
  • Published : 2015.12.30

Abstract

The pixel value of depth image is depth value so that different objects which are placed on nearby position have similar pixel value. Moreover, the pixels of depth image have distinct pixel values compared to adjacent pixels while those of color image has very similar values. Accordingly distorted depth image of multiview video plus depth (MVD) needs proper error concealment methods considering the characteristics of depth image when transmission errors are happened. In this paper, classifying regions of depth image to consider edge directions and then applying adaptive error concealment methods to each region are proposed. Recovered depth images utilize with multiview video data to synthesize intermediate-view point video. The synthesized view is evaluated by objective quality metrics to demonstrate proposed method performance.

깊이맵은 색채 영상과 달리 색상 정보가 아닌 깊이 정보가 픽셀 값을 이루고 있어서 색차가 크더라도 비슷한 거리에 있으면 유사한 픽셀 값으로 나타난다. 또한 색채 영상은 미세한 영역에서 단계적으로 값이 변하면서 대상의 윤곽을 나타내지만 깊이맵은 픽셀 값이 계단식으로 변하여 픽셀 값이 변하는 지점에서 급변하는 경향이 있다. 이러한 깊이맵의 특성상 경계 영역과 그 외의 영역으로 크게 영상의 영역을 구분 할 수 있고, 전송 시 나타나는 오류에 대해 각 영역에 효과적으로 적용 될 수 있는 오류 은닉 방법이 필요하다. 본 연구에서는 깊이맵의 경계 방향에 따라 영역을 구분하고 각 영역의 값이 변화하는 방향성에 맞추어 적응적으로 오류가 은닉 될 수 있는 방법을 적용하여 깊이맵을 복구한다. 복구된 깊이맵은 다시점 영상과 함께 합성하여 새로운 중간 시점 영상을 만들고 이를 객관적 화질평가 방법을 통해 평가한다.

Keywords

References

  1. S. Park and S. Lee, "Seamless 2D-3D switching transmission system for dual-stream 3D TV terrestrial broadcasting," J. KICS, vol. 38c, no. 11, 2013.
  2. D. Oh, B. T. Oh, and J. Shin, "Up-sampling method of depth map using weighted joint bilateral filter," J. KICS, vol. 40, no. 06, 2015.
  3. Y.-S. Kang and Y.-S. Ho, "Low-resolution depth map upsampling method using depth-discontinuity information," J. KICS, vol. 38c, no. 10, 2013.
  4. W.-M. Lam, A. R. Reibman, and B. Liu, "Recovery of lost or erroneously received motion vectors," ICASSP-93, vol. 5, pp. 417- 420, Apr. 1993.
  5. J. Zhang, J. F. Arnold, and M. R. Frater, "A cell-loss concealment technique for MPEG-2 coded video," IEEE Trans. Cir. Syst. for Video Technol., vol. 10, no. 4, pp. 659-665, Jun. 2000. https://doi.org/10.1109/76.845011
  6. S. Aign and K. Fazel, "Temporal & spatial error concealment techniques for hierarchical MPEG-2 video codec," IEEE Commun. 1995, ICC '95 Seattle, 'Gateway to Globalization', vol. 3, pp. 1778-1783, Seattle, WA, 1995.
  7. V.-H. Doan, V.-A. Nguyen, and M. N. Do, "Efficient view synthesis based error concealment method for multiview video plus depth," IEEE ISCAS 2013, pp. 2900-2903, Beijing, China, May 2013.
  8. S. Marcelino, P. Assuncao, Sergio M. M. de Faria, and S. Soares, "Lost block reconstruction in depth maps using color image contours," 2012 Picture Coding Symp., May 2012.
  9. J. Canny, "A computational approach to edge detection," IEEE Trans. Pattern Anal. and Machine Intell., vol. PAMI-8, no. 6, pp. 679-698, Nov. 1986. https://doi.org/10.1109/TPAMI.1986.4767851
  10. C.-H. Hsia, "Improved depth image-based rendering using an adaptive compensation method on an autostereoscopic 3-D display for a kinect sensor," IEEE Sensors J., vol. 15, no. 2, pp. 994-1002, Feb. 2015. https://doi.org/10.1109/JSEN.2014.2359225
  11. M. Cho and H.-H. Choi, "A prioritized transmission scheme for three-dimensional integral imaging," J. KICS, vol. 39c, no. 05, 2014.
  12. M. Tanimoto, T. Fujii, and K. Suzuki, View synthesis algorithm in view synthesis reference software 3.5 (VSRS3.5) Document M16090, ISO/IEC JTC1/SC29/WG11 (MPEG), May 2009.

Cited by

  1. 영역 분할을 이용한 변형된 스위칭 필터에 관한 연구 vol.41, pp.10, 2015, https://doi.org/10.7840/kics.2016.41.10.1284