Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

New Illumination compensation algorithm improving a multi-view video coding performance by advancing its temporal and inter-view correlation

다시점 비디오의 시공간적 중복도를 높여 부호화 성능을 향상시키는 새로운 조명 불일치 보상 기법

  • Lee, Dong-Seok (Electronic Engineering Dept. Kwangwoon University) ;
  • Yoo, Ji-Sang (Electronic Engineering Dept. Kwangwoon University)
  • Received : 2010.08.26
  • Accepted : 2010.11.22
  • Published : 2010.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

Because of the different shooting position between multi-view cameras and the imperfect camera calibration, Illumination mismatches of multi-view video can happen. This variation can bring about the performance decrease of multi-view video coding(MVC) algorithm. A histogram matching algorithm can be applied to recompensate these inconsistencies in a prefiltering step. Once all camera frames of a multi-view sequence are adjusted to a predefined reference through the histogram matching, the coding efficiency of MVC is improved. However the histogram distribution can be different not only between neighboring views but also between sequential views on account of movements of camera angle and some objects, especially human. Therefore the histogram matching algorithm which references all frames in chose view is not appropriate for compensating the illumination differences of these sequence. Thus we propose new algorithms both the image classification algorithm which is applied two criteria to improve the correlation between inter-view frames and the histogram matching which references and matches with a group of pictures(GOP) as a unit to advance the correlation between successive frames. Experimental results show that the compression ratio for the proposed algorithm is improved comparing with the conventional algorithms.

다시점 비디오의 조명 불일치 현상은 서로 다른 카메라의 위치와 카메라간의 불완전한 보정(calibration)으로 인하여 발생한다. 이러한 인접 시점간의 색상 불일치는 획득된 영상을 참조 영상으로 이용하여 부호화하는 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 요인이 된다. 이러한 조명 불일치를 보상하기 위한 방법 중에서 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 있다. 히스토그램 매칭을 통해 모든 시점 영상의 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어지고 다시점 비디오 부호화의 성능을 개선할 수 있다. 그러나 다시점 비디오 시퀀스는 카메라와 등장인물의 이동으로 인하여 시점 간 영상뿐만 아니라, 한 시점 내에 시간의 흐름에 따른 영상간의 히스토그램 분포가 서로 다를 수 있다. 참조 시점 시퀀스에 속한 모든 영상을 참조하는 기존의 히스토그램 매칭 기법은 시공간적으로 상관성이 높지 않은 영상의 조명을 효과적으로 보상하기에 적합하지 않다. 본 논문에서는 시점 영상 간의 색상 분포의 차이를 보이는 다시점 비디오를 보상하여 공간적 상관성을 높이기 위해 두 조건식이 반영된 영상분리 기법을 적용한 레이어별 히스토그램 매칭 기법과 시간의 흐름에 따라 색상 분포의 차이를 보이는 다시점 비디오를 비디오 부호화의 단위인 화면 그룹(group of pictures : GOP)별로 보상하여 시간적 상관성을 높이는 개별적인 히스토그램 매칭 기법을 제안한다. 실험을 통해 제안하는 조명 보상 기법이 기존의 조명 보상 기법보다 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

Keywords

References

  1. ITU-T RECOMMENDATION H.264 ""Advanced Video Coding for Generic Audiovisual Services"". May 2003.
  2. ""Call for proposals on multi-viewvideo coding,"" ISO/IEC-JTC1/SC29/WG11 MPEG Document N7327, Jul. 2005.
  3. M. Gilge, ""Motion estimation by scene adaptive block matching and illumination correction,"" in Proc. Image Process. Algorithms and Techn., R. J. Moorhead and K. S. Pennington, Eds., Canada, June 1990, vol. 1244, pp. 355-366.
  4. K. Kamikura, H. Watanabe, H. Jozawa, H. Kotera, and S. Ichinose," "Global brightness-variation compensation for video coding,"" IEEE Trans. Circuits Syst. Video Technol., vol. 8, no. 8, Dec. 1998.
  5. Y. Altunbasak, R. Mersereau, and A. Patti, ""A fast parametric motion estimation algorithm with illumination and lens distortion correction,"" IEEE Trans. Image Process., vol. 12, no. 4, pp. 395-408, Apr. 2003. https://doi.org/10.1109/TIP.2003.809012
  6. J. Lopez, J. Kim, A. Ortega, and G. Chen, ""Block-based illumination compensation and search techniques for multiview video coding,"" in Picture Coding Symp. (PCS) 2004, Dec. 2004.
  7. U. Fecker, M. Barkowsky, and A. Kaup, "Histogram-Based Prefiltering for Luminance and Chrominance Compensation of Multiview Video," IEEE Trans. ,vol. 18, no 9, Sep. 2008.
  8. 이동석, 유지상, "다시점 비디오의 휘도 및 색차 성분 불일치 보상을 위한 히스토그램 매칭 기반의 전처리 기법", 전자공학회 논문지, 11월개재예정
  9. 이동석, 유지상, "깊이 정보에 따른 레이어별 히스토그램 매칭을 이용한 조명 불일치 보상 기법", 한국통신학회 논문지, 8월개재예정
  10. U. Fecker, M. Barkowsky, and A. Kaup, "Time-constant histogram matching for colour compensation of multi-view video sequences," in Proc. 26th Picture Coding Symp. (PCS 2007), Lisbon, Portugal, Nov.2007.
  11. PL.Lai, A. Ortega, P. Pandit, P. Yin, C. Gomila, "Adaptive Reference Filtering for MVC", JVT-W065.doc, San Jose, USA, April 21-27, 2007.
  12. C. A. Bouman, "Cluster: An unsupervised algorithm for modeling gaussian mixtures," http://cobweb.ecn.purdue.edu/bouman/software/cluster/, this version was released in Jul.2005.
  13. Kim S, Park RH. A novel approach to scene change detection using a cross entropy. In: IEEE International Conference on Image Processing, vol. 3, Vancouver, Canada, September 2000. p. 937-40.
  14. S.H. Kim and R-.H. Park, Efficient algorithm for video sequence matching using the modified Hausdorff distance and the directed divergence. IEEE Transactions on CSVT 12 7 (2002), pp. 592-596.
  15. Y. Su, A. Vetro, and A. Smolic, ""Common test conditions for multiview video coding,""(2006) Doc. JVT-U211, [Online]. Available: http://ftp3.itu.ch/av-arch/jvt-site/
  16. 이동석, 유지환, 유지상, "히스토그램 매칭을 이용한 다시점 비디오의 휘도와 색차 성분 보상 기법", 한국방송공학회 학술대회, Nov. 2009, pp. 191-194.
  17. 이동석, 서영호, 김동욱, 유지상, "다시점 비디오의 조명 보상을 위한 에지 방향성을 고려한 새로운 전처리 기법", 한국방송공학회 학술대회, Jul. 2010.
  18. 이동석, 서영호, 김동욱, 유지상, "깊이 정보에 따라 여러 객체로 분리한 영상 단위의 히스토그램 매칭에 기반한 다시점 비디오의 조명 불일치 보상 기법," 한국방송공학회 학술대회, Jul. 2010.
  19. D.-S. Lee, Y.-H. Seo, D.-W. Kim, and J.-S. Yoo, "Depth-Dependent Histogram Matching for Illumination Compensation of Multiview Video," International Conference on 3D Systems and Application, pp. 227-230, May 2010.