DOI QR코드

DOI QR Code

Heterogeneous Resolution Stereo Video Coding System

이종 해상도 스테레오 비디오 코딩 시스템

  • Published : 2008.01.30

Abstract

In this paper, we propose an effective stereo-view video coding method that considers stereo-view and displayer characteristics. Current many stereo video displayers are designed for not only stereo display but also conventional single view display. In these systems, the resolution of two input videos for a stereo mode is half of that of single view for compatibility with conventional single view video services. In this raper, we propose a stereo video codec to deal with both single view and stereo view services by encoding whole left image and down-sampled right image. However, direct disparity estimation is not possible between two views because the resolution of a left image is different from that of the corresponding right image. So, we propose a disparity estimation method to make use of full information of the left reference image without down-sampling. In experimental result, we achieved $0.5{\sim}0.8\;dB$ coding gain, compared with several conventional algorithms.

본 논문에서는 스테레오 시점 및 디스플레이 특성을 고려한 효율적인 스테레오 비디오 코딩 방법을 제안한다. 현재 많은 스테레오 비디오 디스플레이 장치는 기존의 단일 시점 비디오 출력과 스테레오 비디오 출력이 모두 가능하다. 이러한 장치에서 스테레오를 비디오 출력 시에는 스테레오 디스플레이 패널의 특성으로 인하여, 두 개 시점 비디오 각각을 수평축으로 1/2 다운 샘플링된 비디오를 입력받는다. 본 논문에서는 기존의 단일 비디오와 스테레오 비디오 시스템을 동시에 고려하기 위하여, 좌측영상은 원래의 해상도로 코딩하고, 우측영상은 가로 방향으로 1/2 다운 샘플링 하여 코딩하는 방법을 제안한다. 우측 영상의 코딩 시 좌측영상을 참조하는 경우 참조 영상과 원 영상사이의 해상도가 일치하지 않아 시점 간 예측이 불가능하므로, 본 논문에서는 이를 위해 시점간 예측방법을 변경하여 부호화하는 방법을 제안한다. 실험결과 제안된 방법은 기존의 스테레오 비디오 부호화 방법에 비하여 $0.5{\sim}0.8\;dB$ 이상의 코딩 이득을 얻을 수 있었다.

Keywords

References

  1. L. McMillan and G. Bishop, 'Head-tracked stereoscopic display using image warping,' SPIE Proc. 2409, pp. 21-30, Feb. 1995 https://doi.org/10.1117/12.205865
  2. G. Perkins, 'Data compression of stereo pairs,' IEEE Trans. on Communications, vol. 40, no. 4, pp. 684-696, April 1992 https://doi.org/10.1109/26.141424
  3. ISO/IEC JTC1/SC29/WG11, 'Description of exploration experiments in 3DAV,' N6194, Dec. 2003
  4. Li-Fu Ding, Shao-Yi Chien, Yu-Wen Huang, Yu-Lin Chang, and Liang-Gee Chen, 'Stereo video coding system with hybrid coding based on joint prediction scheme,' IEEE International Symposium on Volume Issue, vol. 6, pp. 6082-6085, May 2005
  5. F. Isgro, E. Trucco, P. Kauff, and O. Schreer, 'Three-dimensional image processing in the future of immersive media,' IEEE Trans. on Circuits and Systems for Video Technology, vol. 14, no. 3, pp.388-303, Mar. 2003
  6. H.-Z. Jia, W. Gao, and Y. Lu, 'Stereoscopic video coding based on global displacement compensated prediction,' in International Conference on Information and Communications Security, vol. 1, pp. 61-65. Dec. 2003
  7. S. Pastoor, '3D-television: a survey of recent research results on subjective requirements,' Signal Processing: Image Communication, vol. 4, no. 1, pp. 21-32, 1991 https://doi.org/10.1016/0923-5965(91)90057-9
  8. H. Aydinoglu and M.H. Hayes III, 'Stereo image coding,' ISCAS, vol. 1, pp. 247-250, May 1995
  9. O. Faugeras, 'Three-dimensional computer vision: A geometrical viewpoint,' MIT Press, 1993
  10. Gary J. Sullivan, Pankaj Topiwala, and Ajay Luthra, 'The H.264/AVC advanced video coding standard : overview and introduction to the fidelity range extension,' applications of digital image processing XXVII, vol. 5558, pp. 454-474, Nov. 2004
  11. R.-S. Wang and Y. Wang, 'Multiview video sequence analysis, compression, and virtual viewpoint synthesis,' IEEE Trans. on Circuits and Systems for Video Technology, vol. 10, no. 3, pp. 397-410, Apr. 2000 https://doi.org/10.1109/76.836284
  12. ISO/IEC JTC1/SC29/WG11, 'Report for EE3 in MPEG 3DAV,' M9186, Dec. 2002
  13. ISO/IEC JTC1/SC29/WG11, 'Requirements on multi-view video coding,' N6501, Jul. 2004
  14. Joint Video Team (JVT) ISO/IEC MPEG & ITU-T VCEG, 'Inter-view prediction with downsampled reference pictures,' JVT-W079, Apr. 2007
  15. JVT MVC Reference Software version JMVM 3.0
  16. Joint Video Team (JVT) ISO/IEC MPEG & ITU-T VCEG, 'Joint multi-view video model (JMVM) 4,' JVT-W207-M, Apr. 2007
  17. Joint Video Team (JVT) ISO/IEC MPEG & ITU-T VCEG, 'Jointdraft 3 Multi-view video coding,' JVT-V209-M, Jan. 2007