DOI QR코드

DOI QR Code

지역과 전역적인 색보정을 결합한 스테레오 영상에서의 색 일치

Integrated Color Matching in Stereoscopic Image by Combining Local and Global Color Compensation

  • 수란 (경북대학교 전자공학부) ;
  • 하호건 (경북대학교 전자공학부) ;
  • 김대철 (경북대학교 전자공학부) ;
  • 하영호 (경북대학교 전자공학부)
  • Shu, Ran (School of Electronics Engineering, Kyungpook National University) ;
  • Ha, Ho-Gun (School of Electronics Engineering, Kyungpook National University) ;
  • Kim, Dae-Chul (School of Electronics Engineering, Kyungpook National University) ;
  • Ha, Yeong-Ho (School of Electronics Engineering, Kyungpook National University)
  • 투고 : 2013.08.21
  • 심사 : 2013.12.02
  • 발행 : 2013.12.25

초록

스테레오 좌우 영상간의 색 일치는 3D 영상을 재현할 때 매우 중요하다. 이를 위해 카메라 세팅 및 촬영 환경을 일치시켜서 스테레오 영상을 획득하더라도 여전히 색 불일치가 나타나게 된다. 이러한 색 불일치는 특성에 따라 전역과 지역적인 색불일치로 구분될 수 있다. 따라서 이들 특성을 고려하여 스테레오 영상의 색을 정확히 일치시킬 수 있는 방법이 필요하다. 본 논문에서는 누적 히스토그램과 3D 거리정보를 이용하여 전역과 지역의 색 불일치를 동시에 보정하는 방법을 제안한다. 먼저 기준이 되는 영상의 누적 히스토그램을 기반으로 한 매칭 함수를 이용하여 전역적으로 발생하는 색 불일치를 보정한다. 다음으로 대응되는 샘플 특징점 간의 CD-LUT(color difference look-up table)을 구성하고, disparity map을 통한 3D 거리 정보를 기반으로 한 샘플 특징점의 유사성을 기준으로 가중치를 적용하여 지역적인 색 일치를 수행한다. 마지막으로 전역적인 보정과 지역적인 보정된 영상을 결합함으로서 스테레오 영상에서 나타나는 색 불일치를 보정하였다. 색차가 발생한 스테레오 영상에 대해 기존 색 일치 방법과 제안한 방법을 비교하기 위하여 색상 유사도를(hue similarity)와 MOS(mean opinion scores) 이용하여 평가하였다. 실험 결과에서 제안한 방법을 통한 결과 영상이 기존 방법을 통한 결과 영상보다 더 높은 수치를 나타냄을 알 수 있었다.

Color consistency in stereoscopic contents is important for 3D display systems. Even with a stereo camera of the same model and with the same hardware settings, complex color discrepancies occur when acquiring high quality stereo images. In this paper, we propose an integrated color matching method that use cumulative histogram in global matching and estimated 3D-distance for the stage of local matching. The distance between the current pixel and the target local region is computed using depth information and the spatial distance in the 2D image plane. The 3D-distance is then used to determine the similarity between the current pixel and the target local region. The overall algorithm is described as follow; First, the cumulative histogram matching is introduced for reducing global color discrepancies. Then, the proposed local color matching is established for reducing local discrepancies. Finally, a weight-based combination of global and local matching is computed. Experimental results show the proposed algorithm has improved global and local error correction performance for stereoscopic contents with respect to other approaches.

키워드

참고문헌

  1. Matusik W, Pfister H, "3DTV: A Scalable System for Realtime Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes", In Proceeding of SIGGRAPH, ACM, Los Angeles, 23(3), 814-824, (2004).
  2. Masayuki Tanimoto, "Free viewpoint television-FTV", Picture Coding Symposium, San Francisco, USA, (2004).
  3. ISO/IEC JTC1/SC29/WG11, "Luminance and Chrominance Compensation for Multi-View Sequences Using Histogram Matching", Nice, France, (2005).
  4. Y. Chen, C. Cai, J. Liu, "YUV Correction for Multi-View Video Compression," Proc. 18th International Conference on Pattern Recognition (ICPR), vol. 3, pp. 734-737. (2006).
  5. U. Fecker, M. Barkowsky, A. Kaup, "Improving the Prediction Efficiency for Multi-View Video Coding Using Histogram", Matching, Picture Coding Symposium, Beijing, China, (2006).
  6. Doutre, Colin; Nasiopoulos, Panos: "Color Correction Preprocessing for Multiview Video Coding", In: "IEEE Transactions on Circuits and Systems for Video Technology", pp. 1400-1406, September. (2009).
  7. R. Mantiuk, S. Daly and L. Kerofsky, "Display adaptive tone mapping," ACM Transactions on Graphics (Proc. SIGGRAPH), Vol. 27, No. 3, 2008, Article no. 68. (2008).
  8. E. Reinhard, M. Adhikhmin, B. Gooch, P. Shirley, "Color Transfer between Images," IEEE Computer Graphics and Applications, 21(5), 34-41. (2001).
  9. K. Cherdhirunkorn, N. Tsumura, T. Nakaguchi1, Y. Miyake, "Spectral Based Color Correction Technique Compatible with Standard RGB System," Optical Review 13(3), 138-145. (2006). https://doi.org/10.1007/s10043-006-0138-y
  10. Q. Wang, X. Sun, and Z. Wang., "A Robust Algorithms for Color Correction between Two Stereo Images," Asian Conference of Computer Vision (ACCV), China, Sep. 23-27. (2009).
  11. Hwang, Youngbae; Kim, Je-Woo; Choi, Byeong-Ho; Lee, Wangheon: "Color correction without color patterns for stereoscopic camera systems", International Conference on Control, Automation and Systems, pp. 1129-1134. (2011).
  12. Yu, Jung-Jae; Kim, Hae-Dong; Jang, Ho-Wook; Nam, Seung-Woo, "A Hybrid Color Matching between Stereo Image Sequence", 3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video (3DTV-CON), pp. 1-4, (2011).
  13. A. Klaus, M. Sormann and K.F. Karner, "Segment-Based Stereo Matching Using Belief Propagation and a Self-Adapting Dissimilarity Measure," Proc. Int',l Conf. Pattern Recognition, vol. 3, pp. 15-18. (2006)
  14. D. Comaniciu and P. Meer, "Mean Shift: A Robust Approach toward Feature Space Analysis," IEEE Transactions on PAMI, vol. 24, no. 5, pp. 603-619. (2002). https://doi.org/10.1109/34.1000236
  15. Stricker, Markus A., Orengo, Markus, "Similarity of color images," Proc. SPIE Vol. 2420, p. 381-392, (1995)
  16. Il-Lyong Jung, Tae-Young Chung, Jae-Young Sim, and Chang-Su Kim, "Consistent stereo matching under varying radiometric conditions," IEEE Transactions on Multimedia, vol. 15, pp. 56-69, Jan. 2013. https://doi.org/10.1109/TMM.2012.2225041