DOI QR코드

DOI QR Code

Feature based Pre-processing Method to compensate color mismatching for Multi-view Video

다시점 비디오의 색상 성분 보정을 위한 특징점 기반의 전처리 방법

  • Received : 2011.06.28
  • Accepted : 2011.07.22
  • Published : 2011.12.31

Abstract

In this paper we propose a new pre-processing algorithm applied to multi-view video coding using color compensation algorithm based on image features. Multi-view images have a difference between neighboring frames according to illumination and different camera characteristics. To compensate this color difference, first we model the characteristics of cameras based on frame's feature from each camera and then correct the color difference. To extract corresponding features from each frame, we use Harris corner detection algorithm and characteristic coefficients used in the model is estimated by using Gauss-Newton algorithm. In this algorithm, we compensate RGB components of target images, separately from the reference image. The experimental results with many test images show that the proposed algorithm peformed better than the histogram based algorithm as much as 14 % of bit reduction and 0.5 dB ~ 0.8dB of PSNR enhancement.

본 논문에서는 특징점 기반 색상 보정을 통한 다시점 비디오 부호화 전처리 방법을 제안 한다. 다시점 영상은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 갖게 된다. 이를 보정하기 위한 여러 가지 방법 중, 본 논문에서는 영상 간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 방법을 제안한다. 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)으로 추정한다. 또한 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정한다. 테스트 영상을 가지고 실험한 결과 제안한 전처리 방법으로 보정을 하였을 경우, 전처리 과정을 거치지 않았을 때보다 화질 및 압축효율이 향상됨을 알 수 있었다. 또한 누적 히스토그램 기반의 전처리 방식과 비교했을 때, PSNR은 성분별로 0.5 dB ~ 0.8dB 정도 개선되고 bit rate 는 14% 정도 감소되는 성능을 확인하였다.

Keywords

References

  1. ITU-T RECOMMENDATION H.264 "Advanced Video Coding for Generic Audiovisual Services," May, 2003.
  2. C. Doutre, P. Nasiopoulos, "A Color Correction Preprocessing Method for Multiview Video Coding," Department of Electronic and Computer Engineering, University of British Columbia.
  3. U. Fecker, M. Barkowsky, and A. Kaup, "Histogram-Based Prefiltering for Luminance and Chrominance Compensation of Multiview Video," IEEE Trans. ,vol. 18, no 9, Sep. 2008.
  4. G. Jiang, F. Shao, M. Yu, K. Chen, and X. Chen, "New Color Correction Approach to Multi-view Images with Region Correspondence," Lecture Notes in Computer Science, Vol. 4113, Aug. 2006, pp. 1224-1228.
  5. K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview Video Coding Using View Interpolation and Color Correction" IEEE Transactions on Circuits and Systems for Video Technology, Vol. 17, No. 11, Nov. 2007, pp. 1436-1449. https://doi.org/10.1109/TCSVT.2007.903802
  6. A. Ilie and G. Welch, "Ensuring color consistency across multiple cameras", IEEE International Conference on Computer Vision, Oct. 2005,pp. II: 1268-1275.
  7. N. Joshi, B. Wilburn, V. Vaish, M. Levoy, and M. Horowitz, "Automatic color calibration for large camera arrays", in UCSD CSE Tech. Rep. CS2005- 0821, May 2005.
  8. A. Bjdrck, Numerical "Methods for Least Squares Problem, SIAM," Philadelpia, 1996.
  9. C. Harris and M.J. Stephens. A combined corner and edge detector. In Alvey Vision Conference, pages 147 -152, 1988.
  10. 호요성, 김성열 "3DTV 3차원 입체영상 정보처리" 두양사, pp. 116

Cited by

  1. Illumination Compensation Algorithm based on Segmentation with Depth Information for Multi-view Image vol.17, pp.4, 2013, https://doi.org/10.6109/jkiice.2013.17.4.935