Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

Multiview Video Sequence CODEC with View Scalability

View Scalability를 고려한 다시점 동영상 코덱

  • 임정은 (연세대학교 전기전자공학과) ;
  • 손광훈 (연세대학교 전기전자공학과)
  • Published : 2004.09.01
Download PDF
⟨ Previous Next ⟩

Abstract

A multiview sequence CODEC with view scaiability is proposed in this paper. We define a GGOP (Group of GOP) structure as a basic coding unit to efficiently code multiview sequences. 7he proposed CODEC provides flexible GGOP structures based on the number of views and baseline distances among cameras. Multiview sequences encode consists of disparity estimation/compensation, motion estimation/compensation, residual coding and rate control and generates multiview sequence bitstream. The main bitstream is the same as an MPEG-2 mono-sequence bitstream for MPEG-2 compatibility. The auxiliary bitstream contains information concerning the remaining multiview sequences except for the reference sequences. The proposed CODEC with view scalability provides that a number of view flints are selectively determined at the receiver according to the type of display modes. The proposed multiview sequence CODEC is tested with several multiview sequences to determine its flexibility. compatibility with MPEG-2 and view scaiability. In addition, we subjectively confirm that the decoded bitstreams with view scaiability can be Properly displayed by several types of display modes. including 3D monitors.

본 논문에서는 view scalability를 고려한 3차원 다시점 동영상 코덱을 제안한다. 다시점 동영상을 효율적으로 부호화하기 위하여 부호화의 기본 단위로는 GGOP (Group of GOP) 구조를 제안하며 그 GGOP 구조는 시점의 수와 카메라 사이의 베이스 라인의 간격에 따라 유동적으로 여러 가지 타입을 가질 수 있다 제안된 다시점 동영상 부호기는 전처리, 변이 추정/보상, 움직임 추정/보상, 차영상 부호화, 비트율 제어로 구성되며 다시점 동영상 비트열을 생성하게 된다. MPEG-2와의 호환성을 위하여 기준이 되는 동영상은 MPEG-2로 부호화를 수행하여 메인 비트열을 생성하였고, 나머지 시점들에 해당되는 동영상들은 변이 벡터 및 움직임 벡터를 이용하여 보조 비트열을 생성하여 복호단에 전송된다. 다시점 동영상 복호기는 메인 비트열을 복호하기 위한 MPEG-2 복호기와 보조 비트열을 복호하기 위한 복호기로 구성된다. 또한, 수신단에서 보유하고 있는 디스플레이의 특징에 따라 원하는 시점만을 선택하여 복호화를 가능하게 할 수 있는 view scalability 기능을 제안한다. 실험을 통하여 제안한 다시점 동영상 코덱의 GGOP 구조의 유동성, MPEG-2와의 호환성, view scalability의 성능을 확인하였다. 또한 view scalability로 원하는 시점만을 복원한 3차원 동영상을 여러 종류의 3차원 다시점 모니터에 디스플레이를 하여 주관적인 성능을 확인하였다

Keywords

References

  1. A. Rauol, 'State of the art of autostereoscopic displays,' RACE DISTIMA deliverable 45/THO/WP4.2/DS/R/57/01, Dec. 1995
  2. R. Franich, R.Lagendijk and R. Horst, 'Reference model for hardware demonstrator implementation,' RACE DISTIMA deliverable 45/TUD/IT/DS/B/003/b1, Oct. 1992
  3. http://www.tnt.uni-hannover.de/plain/project/eu/distima/
  4. Berlin, PANORAMA Final Demonstrations, AC092/SIE/FinalDemo/DS/P/032/b1, Oct. 1998
  5. S. Malassiotis and M. G. Strintzis, 'Coding of video-conference stereo image sequences using 3D models,' Signal Processing: Image Comm., vol. 9, no. 1, pp. 125-135, Jan. 1997 https://doi.org/10.1016/S0923-5965(96)00014-8
  6. http://www.virtue.eu.com/
  7. N. Hur and C. Ahn, 'Experimental service of 3DTV broadcasting relay in Korea,' Proc. SPIE, vol. 4864, pp.1-13, 2002
  8. N. Hur, G. Lee, W. You, J. Lee, and C. Ahn, 'An HDTVCompatible 3DTV Broadcasting System,' ETRI Journal, 2003
  9. C. V. Berkel and D. W. Parker, 'Multiview 3D-LCD,' Proc. SPIE, vol. 2653, pp. 32-39, 1996
  10. R. Borner, 'Autostereoscopic direct-view displays and rearprojection for short viewing distances by lenticular method,' Proc. First International Symposium on three dimensional image communication technologies, Tokyo, pp. 1-14, Dec. 1993
  11. P. Harman, 'Autostereoscopic display system,' Proc. SPIE, vol. 2653, pp. 56-64, 1996
  12. G. J. Woodgate, D. Ezra, J. Harrold, N. S. Holliman, G. R. Jones, R. R. Moseley, 'Autostereoscopic 3D display systems with observer tracking,' Signal Processing: Image Comm., vol. 14, no. 6, pp. 131145, Nov. 1998
  13. S. Okubo, K. McCann and A. Lippman, 'MPEG-2 requirements, profiles and performance verification - Framework for developing a generic video coding standard,' Signal Processing: Image Comm., vol. 7, no. 3, pp. 201-209, Sep. 1995
  14. G. Gagnon, S. Subramaniam and A. Vincent, '3D MPEG-2 video transmission over broadband network and broadcast channels,' Proc. SPIE, vol. 4297, pp. 290-298, 2001
  15. H. Kim and K. Sohn, 'Feature-based disparity estimation for intermediate view reconstruction of multiview images,' Proc. CISST, vol. 2, pp. 1-8, June 2001