Distributed Multi-view Video Coding Based on Illumination Compensation

조명보상 기반 분산 다시점 비디오 코딩

  • 박시내 (광운대학교 대학원 컴퓨터공학과) ;
  • 심동규 (광운대학교 대학원 컴퓨터공학과) ;
  • 전병우 (성균관대학교 정보통신공학부)
  • Published : 2008.11.25

Abstract

In this paper, we propose a distributed multi-view video coding method employing illumination compensation for multi-view video coding. Distributed multi-view video coding (DMVC) methods can be classified either into a temporal or an inter-view interpolation-based ones according to ways to generate side information. DMVC with inter-view interpolation utilizes characteristics of multi-view videos to improve coding efficiency of the DMVC by using side information based on the inter-view interpolation. However, mismatch of camera parameters and illumination change between two views could bring about inaccurate side information generation. In this paper, a modified distributed multi-view coding method is presented by applying illumination compensation in generating the side information. In the proposed encoder system, in addition to parity bits for AC coefficients, DC coefficients are transmitted as well to the decoder side. By doing so, the decoder can generate more accurate side information by compensating illumination changes with the transmitted DC coefficients. We found that the proposed algorithm is $0.1{\sim}0.2\;dB$ better than the conventional algorithm that does not make use of illumination compensation.

본 논문에서는 분산 비디오 코딩기법을 이용한 조명 보상 기반의 다시점 비디오 코딩 방법을 제안한다. 다시점 비디오 코딩을 위한 분산 비디오 코딩은 주변 정보를 생성하는 방법에 따라 크게 움직임 예측 및 보간 방법과 시점 간 예측 및 보간 방법으로 나눌 수 있다. 시점 간 예측 및 보간 방법은 다시점 비디오의 특성을 이용하는 방법으로, 시점 간 상관성에 따른 보조 정보의 생성을 통하여 분산 코딩의 효율을 향상 시킬 수 있다. 그러나, 실제 다시점 영상의 특성상 시점 간 예측에서 각 시점의 카메라 파라미터 및 조명 조건 변화에 따라 부정확한 시점 간 예측 및 보간이 이루어질 수 있다. 본 논문에서는 다시점 비디오에 분산비디오 코딩기법을 적용함에 있어서, 조명 조건을 보상하는 방법을 제안한다. 이를 위하여 인코더에서 AC 변환계수의 패리티 비트에 추가하여 DC 정보를 전송하고, 디코더에서 보조 정보 생성 시 추가 전송된 DC 성분을 이용하여 조명 조건이 보상된, 보다 정확한 보조 정보를 생성하는 방법을 제안한다. 제안된 방법을 통하여 조명보상을 적용하지 않은 경우와 비교했을 때, 같은 비트율에서 $0.1{\sim}0.2dB$의 화질 향상을 얻을 수 있었다.

Keywords

References

  1. Bernd Girod, Anne Aaron, Shantanu Rane, and David Rebollo-Monedero, "Distributed video coding," Proc. of the IEEE, vol. 1, pp.71-83, Jan. 2005
  2. B. Ko, J. Sim, and B. Jeon, "Wyner-Ziv video coding with side matching for improved side information," Pacific-rim Symposium on Image and Video Technology, vol. 4872, pp.816-825, Dec. 2007
  3. F. Pereira, P. Correia, E. Acosta, L. Torres, C. Guillemot, M. Ouaret, F. Dufaux, T. Ebrahimi, R. Leonardi, M. Dalai, and S. Klomp, "Distributed coding for video services," project of the IST FET programme of the European Union within the FP6/2002/IST/C Call, Mar. 2006
  4. R. Puri and K. Ramchandran, "PRISM: An uplink-friendly multimedia coding paradigm," IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, vol. 4, pp. 856-859, Apr. 2003
  5. Xun Guo, Yan Lu, Feng Wu, Wen Gao, and Shipeng Li, "Distributed multi-view video coding," Proceeding of SPIE, vol. 6077, Jan. 2006
  6. J. D. Slepian and J. K. Wolf, "Noiseless coding of correlated information sources," IEEE Transactions on Information Theory, vol. IT-19, pp. 471-.480, July 1973
  7. C. E. Shannon, "A mathematical theory of communication," Bell System Technical Journal, vol. 27, pp. 623-656, Oct. 1948 https://doi.org/10.1002/j.1538-7305.1948.tb00917.x
  8. A. D. Wyner, "Recent results in the Shannon theory," IEEE Transactions on Information Theory, vol. 20, pp. 2-10, Jan. 1974 https://doi.org/10.1109/TIT.1974.1055171
  9. 고봉혁, 심혁재, 전병우, "공간적 유사성과 심볼단위 오류정정 채널 코드를 이용한 경량화 비디오 부호화 방법," 방송공학회 논문지, 113권, 2호, 2008년 3월 https://doi.org/10.5909/JBE.2008.13.2.188
  10. A. Aaron and B. Girod, "Compression with side information using turbo codes," Proc. IEEE Data Compression Conference, Snowbird, vol. 1, pp. 252-261, Apr. 2002
  11. R.P. Westerlaken, R. Klein Gunnewiek, and R.L. Lagendijk, "Turbo-code based Wyner-Ziv video compression," Twenty-sixth Symposium on Information Theory, Benelux, vol. 1, pp. 113-120, May 2005
  12. 고봉혁, 심혁재, 전병우, "센서네트워크상의 응용을 위한 터보 복호화 오류정정 기법을 이용한 경량화 비디오 부호화 방법," 대한전자공학회 논문지, 제 45 권, SP편, 제 1 호, pp. 11 - 21, 2008년 1월
  13. SO/IEC MPEG & ITU-T VCEG, "Joint multiview video mdel 7.0," JVT-W207, San Jose, USA, Apr. 2007
  14. Frederic Dufaux, Mourad Ouaret, and Touradj Ebrahimi, "Recent advances in multi-view distributed video coding," Mobile Multimedia/ Image Processing for Military and Security Applications, vol. 6157, Apr. 2007