Illumination Mismatch Compensation Algorithm based on Layered Histogram Matching by Using Depth Information

깊이 정보에 따른 레이어별 히스토그램 매칭을 이용한 조명 불일치 보상 기법

  • 이동석 (광운대학교 전자공학과 디지털미디어 연구실) ;
  • 유지상 (광운대학교 전자공학과 디지털미디어 연구실)
  • Received : 2010.05.10
  • Accepted : 2010.08.11
  • Published : 2010.08.31

Abstract

In this paper, we implement an efficient histogram-based prefiltering to compensate the illumination mismatches in regions between neighboring views. In multi-view video, such illumination disharmony can primarily occur on account of different camera location and orientation and an imperfect camera calibration. This discrepancy can cause the performance decrease of multi-view video coding(MVC) algorithm. A histogram matching algorithm can be exploited to make up for these differences in a prefiltering step. Once all camera frames of a multi-view sequence are adjusted to a predefined reference through the histogram matching, the coding efficiency of MVC is improved. However general frames of multi-view video sequence are composed of several regions with different color composition and their histogram distribution which are mutually independent of each other. In addition, the location and depth of these objects from sequeuces captured from different cameras can be different with different frames. Thus we propose a new algorithm which classify a image into several subpartitions by its depth information first and then histogram matching is performed for each region individually. Experimental results show that the compression ratio for the proposed algorithm is improved comparing with the conventional image-based algorithms.

본 논문에서는 깊이정보를 이용하여 레이어별 객체를 분리하고 개별적으로 히스토그램 매칭기법을 적용하는 색상 불일치 보상기법을 제안한다. 다시점 비디오의 조명 불일치 현상은 서로 다른 카메라의 위치와 카메라간의 잘못된 보정으로 인하여 발생한다. 이러한 색상 불일치는 다시점 비디오 부호화의 성능을 저하시키는 요인이 된다. 이러한 문제를 해결하기 위한 히스토그램 매칭을 이용한 전처리기법이 제안되었다. 히스토그램 매칭을 통해 모든 시점의 다시점 영상 히스토그램은 정해진 참조 시점영상의 히스토그램과 매칭이 되고, 다시점 비디오 부호화의 성능을 개선할 수 있다. 그러나 일반적으로 영상은 상호 독립적인 색상 분포와 히스토그램 분포을 가지는 여러 개의 객체로 구성된다. 특히 다시점 영상은 시점에 따른 프레임마다 객체의 구성과 위치 및 그 깊이가 각각 다르다. 본 논문에서는 주어진 영상 내에서 깊이정보를 이용하여 객체를 먼저 분리하고, 객체별로 히스토그램 매칭기법을 적용하여 색상 보상을 수행하는 새로운 기법을 제안한다. 실험을 통해 제안하는 객체 단위의 조명 보상기법이 기존의 영상 단위의 조명 보상기법보다 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

Keywords

References

  1. ITU-T RECOMMENDATION H.264 "Advanced Video Coding for Generic Audiovisual Services," May, 2003.
  2. C. Doutre, P. Nasiopoulos, "A Colour Correction Preprocessing Method for Multiview Video Coding," Department of Electronic and Computer Engineering, University of British Columbia.
  3. 이동석, 유지환, 유지상,"히스토그램 매칭을 이용한 다시점 비디오의 휘도와 색차 성분 보상 기법", 한국방송공학회 학술대회, Nov., 2009, pp.191-194.
  4. U. Fecker, M. Barkowsky, and A. Kaup, "Histogram-Based Prefiltering for Luminance and Chrominance Compensation of Multiview Video," IEEE Trans., Vol.18, No.9, Sep., 2008.
  5. 이동석, 유지상, "다시점 비디오의 휘도 및 색차 성분 불일치 보상을 위한 히스토그램 매칭 기반의 전처리 기법", 2010.
  6. PL.Lai, A. Ortega, P. Pandit, P. Yin, C. Gomila, "Adaptive Reference Filtering for MVC," JVT-W065.doc, San Jose, USA, April, 21-27, 2007.
  7. 이동석, 서영호, 김동욱, 유지상, "깊이 정보에 따라 여러 객체로 분리한 영상 단위의 히스토그램 매칭에 기반한 다시점 비디오의 조명 불일치 보상 기법," 한국방송공학회 학술대회, Jul., 2010.
  8. D.-S. Lee, Y.-H. Seo, D.-W. Kim, and J.-S. Yoo, " Depth-Dependent Histogram Matching for Illumination Compensation of Multiview Video," International Conference on 3D Systems and Application, pp.227-230, May, 2010.
  9. U. Fecker, M. Barkowsky, and A. Kaup, "Tìme-constant histogram matching for colour compensation of multi-view video sequences," in Proc. 26th Picture Coding Symp. (PCS 2007), Lisbon, Portugal, Nov., 2007.
  10. C. A. Bouman, " Cluster: An unsupervised algorithm for modeling gaussian mixtures," http://cobweb.ecn.purdue.edufbouman/software/ cluster/, thisversionwasreleasedinJul.2005.
  11. Y. Su., A. Vetro, and A. Smolic, "Common test conditions for multiview video coding," (2006) Doc. JVT-U211, [Online]. Available: http://ftp3.itu.ch/av-arch/jvt-site/