Multi-View Color Video and Depth Map Coding based on HEVC

HEVC 기반 다시점 컬러 영상 및 깊이 정보 맵 부호화 방법

  • Yoo, Sun-Mi (Dept. of Computer Engineering, Kwangwoon University) ;
  • Nam, Jung-Hak (Dept. of Computer Engineering, Kwangwoon University) ;
  • Lim, Woong (Dept. of Computer Engineering, Kwangwoon University) ;
  • Sim, Dong-Gyu (Dept. of Computer Engineering, Kwangwoon University) ;
  • Cheong, Won-Sik (Department of Broadcasting System Research, Electronics and Telecommunications Research Institute) ;
  • Hur, Nam-Ho (Department of Broadcasting System Research, Electronics and Telecommunications Research Institute)
  • 유선미 (광운대학교 컴퓨터공학과) ;
  • 남정학 (광운대학교 컴퓨터공학과) ;
  • 임웅 (광운대학교 컴퓨터공학과) ;
  • 심동규 (광운대학교 컴퓨터공학과) ;
  • 정원식 (한국전자통신연구원 방송시스템연구부) ;
  • 허남호 (한국전자통신연구원 방송시스템연구부)
  • Received : 2011.10.12
  • Accepted : 2012.12.14
  • Published : 2012.03.25

Abstract

This paper proposes a method to efficiently encode multi-view color videos and depth maps. The proposed coding method for multi-view color videos and depth maps can improve the coding efficiency by additional inter-view prediction, as well as inter-frame prediction. By means of the proposed method, we achieved the coding gain of approximately 55% for 2-view color videos and approximately 12% for 2-view depth maps. For 3-view case, we found that the proposed system yields 54% of coding gain from outer view color videos and 56% of coding gain from center view color videos, respectively. Moreover, for 3-view depth map case, approximately 11% of coding gain from outer view and 13% of coding gain from center view are obtained with the proposed coder, respectively.

본 논문에서는 다시점의 컬러 영상 및 깊이 정보 맵을 효율적으로 압축하는 방법을 제안한다. 제안하는 다시점 컬러 영상과 깊이 정보 맵 압축 방법을 통하여, 컬러 영상과 깊이영상이 각각 동일시점 내에서 화면 간 참조를 수행함은 물론, 확장 시점의 컬러 영상과 깊이 정보 맵이 이웃한 시점의 컬러 영상과 깊이 정보 맵을 각각 참조하는 시점 간 참조를 추가적으로 수행함으로써 부호화 효율을 높일 수 있다. 제안한 방법을 통하여 실험을 수행한 결과 2시점의 경우 컬러 영상은 각 시점의 영상을 시점간 부호화 하지 않은 영상에 비하여 약 55%의 부호화 이득이 있었으며 깊이 정보 맵은 약 12%의 부호화 이득이 있었다. 3시점의 경우에는 컬러 영상에 대하여 바깥 시점은 화면 간 예측 부호화를 하지 않은 영상에 비해 54%, 중간 시점은 56%의 비트를 절약할 수 있었다. 또한, 3시점의 깊이 정보 맵에 대하여 예측 부호화를 하지 않은 영상에 비해 약 11%의 바깥 시점 부호화 성능과 13%의 중간 시점 부호화 성능을 얻을 수 있었다.

Keywords

References

  1. 박시내, 심동규, "다시점 비디오 코딩," 대한전자공학회 2008년 하계학술대회 논문집, 57-60쪽, 강원도 평창, 한국, 2008년 6월
  2. 심동규, 조현호, 남정학, "HEVC (High efficiency video coding) 최신 표준화 동향," 한국멀티미디어학회지, 제14권, 제2호, 1-15쪽, 2010년 6월
  3. Philipp Merkle, Aljoscha Smolic, Karsten Müller, Thomas Wiegand, "Multi-view video plus depth representation and coding," in Proc. IEEE Int. Conf. Image Process, pp. I-201-I-204, San Antonio, TX, USA, September 2007.
  4. 남정학, 황능주, 조광신, 심동규, 이수연, 방건, 허남호, "3차원 영상을 위한 깊이 영상 압축 방법," 방송공학회논문지, 제15권, 제5호, 703-706쪽, 2010년 9월
  5. "Call for Proposals on 3D Video Coding Technology," ISO/IEC JTC1/SC29/WG11, Doc. N12036, 96th MPEG meeting, Geneva, Switzerland, March 2011.
  6. 박시내, 심동규, 전병우, "조명보상 기반 분산 다시점 비디오 코딩," 전자공학회 논문지, 제45권, SP 편, 제6호, 17-26쪽, 2008년 11월
  7. 박시내, 심동규, "다시점 비디오 부호화 기술," 방송공학회지, 제14권, 제2호, 45-52쪽, 2009년 6월
  8. T. Wiegand, W.-J. Han, B. Bross, J.-R. Ohm, G. J. Sullivan, "WD2: Working draft 2 of high-efficiency video coding," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-D503, Daegu, Korea, January 2011.
  9. K. McCann, B. Bross, S. Sekiguchi, W. -J. Han, "High efficiency video coding (HEVC) test model 2 (HM 2) encoder description," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-D502, Daegu, Korea, January 2011.
  10. 최해철, "HEVC 화면 내 예측 및 부호화," 전자공학회지, 제38권, 제8호, 609-615쪽, 2011년 8월
  11. T. K. Tan, W.-J. Han, B. Bross, J.Jung, K. McCann, Y. Suzuki, G. Clare, H. Schwarz, A. Fujibayashi, "BoG report of CE9 : Motion vector coding," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-D441, Daegu, Korea, January 2011.
  12. Woong Lim, Junghak Nam, Hyomin Choi, Donggyu Sim, "High efficiency CODEC for multi-view video," Three dimensional systems and applications (3DSA) 2011, pp. 261-264, Seoul, Korea, June 2011.
  13. HEVC reference software version 2.0, https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-2.0.
  14. Marek Domanski, Tomasz Grajek, Krzysztof Klimaszewski, Maciej Kurc, Olgierd Stankiewicz, Jakub Stankowski, Krzysztof Wegner "Poznan Multiview Video Test Sequences and Camera Parameters," ISO/IEC JTC1/SC29/WG11, Doc. M17050, Xian, China, October 2009.
  15. Masayuki Tanimoto, Toshiaki Fujii, Mehrdad Panahpour Tehrani, Menno Wildeboer, Norishige Fukushima, Hisayoshi Furihata, "Moving Multiview Camera Test Sequences for MPEG-FTV," ISO/IEC JTC1/SC29/WG11, Doc. M16922, Xian, China, October 2009.
  16. Jun Zhang, Ri Li, Houqiang Li, Dmytro Rusanovskyy, Miska M. Hannuksela, "Ghost Town Fly 3DV sequence for purposes of 3DV standardization," ISO/IEC JTC1/SC29/WG11, Doc. M20027, Geneva, Switzerland, March 2011.
  17. Payman Aflaki, Dmytro Rusanovskyy, Miska M. Hannuksela, "Undo Dancer 3DV sequence for purposes of 3DV standardization," ISO/IEC JTC1/SC29/WG11, Doc. M20028, Geneva, Switzerland, March 2011.
  18. Gi-Mun Um, Gun Bang, Namho Hur, Jinwoong Kim, Yo-Sung Ho, "3D Video Test Material of Outdoor Scene," ISO/IEC JTC1/SC29/WG11, Doc. M15371, Archamps, France, April 2008.
  19. Yo-Sung Ho, Eun-Kyung Lee, and Cheon Lee, "Multiview Video Test Sequence and Camera Parameters," ISO/IEC JTC1/SC29/WG11, Doc. M15419, Archamps, France, April 2008.
  20. G. Bjontegaard, "Calculation of average PSNR differences between RD-Curves," ITU-T SG16/Q.6, Doc. VCEG-M33, Texas, The United States of America, April 2001.
  21. S. Yoo, W. Lim, D. Sim, S.-J. Oh, "Performance evaluation of multi-view video and depth data with AVC and HEVC," ISO/IEC JTC1/SC29/WG11, Doc. M19594, Geneva, Switzerland, March 2011.