Estimation of Differently Exposed Low Dynamic Range Images from a Single Bayer Image

단일 Bayer 영상으로 부터 다양한 노출을 가지는 Low Dynamic Range 영상들의 추정

  • Lee, Tae-Hyoung (School of Electrical Engineering and Computer Science, Kyungpook National University) ;
  • Ha, Ho-Gun (School of Electrical Engineering and Computer Science, Kyungpook National University) ;
  • Ha, Yeong-Ho (School of Electronics Engineering, College of IT Engineering, Kyungpook National University)
  • 이태형 (경북대학교 전자전기컴퓨터학부) ;
  • 하호건 (경북대학교 전자전기컴퓨터학부) ;
  • 하영호 (경북대학교 IT 대학 전자공학부)
  • Received : 2010.06.29
  • Accepted : 2010.10.05
  • Published : 2011.03.25

Abstract

HDR(high dynamic range) imaging techniques supports wider dynamic range than normal images captured from general still camera. These usually need several shots to obtain LDR(low dynamic range) images, causing ghosting artifacts. Accordingly, this paper suggests a method to generate new LDR images from a single Bayer image using Exposure LUT(look-up table) by considering channel dependency. We prior construct exposure LUT for each RGB channel, showing the relationship between input and average output luminance values. In the process, by applying the average luminance of input image and current exposure to LUT, new exposures which are determined by user choice are first estimated. Next, LDR images which are corresponded to new exposures are generated based on each LUT. Saturated areas are improved by considering channel dependency in the last procedure. In the experimental comparison, high PSNR values are obtained between estimated and captured images. Also, we have similar appearance on displayed images.

HDR(high dynamic range) 영상 기법은 일반 카메라에서 획득되는 영상의 LDR(low dynamic range)의 한계를 극복하는 방법을 일컫는다. 일반적으로 이 기법은 카메라의 노출에 따른 단계별 LDR 영상들을 획득하고 통합함으로써 획득된다. 그러나 기존의 연구에서는 여러 번에 걸친 영상획득 과정이 필요하고 그에 따른 고스트(ghost) 현상을 야기한다. 이러한 한계를 극복하기 위하여, 본 연구에서는 센서에서 획득되는 단일 Bayer 영상으로부터 사용자가 요구하는 노출의 LDR 영상을 채널상관성을 고려하여 추정할 수 있는 방법을 제안하였다. 제안된 방법은 먼저 입 출력 간의 상관관계를 나타내는 노출(exposure) look-up table(LUT)를 각 채널별로 생성을 한다. 그리고 입력 영상의 평균휘도와 노출을 LUT에 적용하여, 최종 LDR 영상을 위한 새로운 노출을 추정한다. 다음으로 입력 영상의 각 픽셀 값과 추정된 노출을 LUT에 적용함으로써 목적하는 밝기를 가지는 LDR 영상을 추정 할 수 있다. 이 때, 포화된 영역의 경우는 채널의 상관성을 고려하여 추정함으로써 실제 노출로 획득한 영상과의 차이를 줄이는 방법을 제안하였다. 결과영상은 PSNR을 비교하여 정확성을 증명하였으며, 또한 디스플레이를 위하여 톤맵핑(tone mapping)을 적용한 영상을 사용한 비교에서 실제 획득된 영상과 추정한 영상의 차이가 비슷함을 확인하였다.

Keywords

References

  1. M. Y. Lee, C. H. Son, J. M. Kim, C. H. Lee and Y. H. Ha, "Illumination-Level Adaptive Color Reproduction Method with Lightness Adaptation and Flare Compensation for Mobile Display," Journal of Imaging Science and Technology, Vol. 51, No. 1, pp. 44-52, Jan.-Feb., 2007. https://doi.org/10.2352/J.ImagingSci.Technol.(2007)51:1(44)
  2. B. Wandell, P. Catrysse, J. DiCarlo, D. Yang and A. E. Gamal, "Multiple Capture Single Image with a CMOS Sensor," Chiba Conference on Multspectral Imaging, pp. 11-17, 1999.
  3. A. O. Akyü and E. Reinhard, "Color appearance in high-dynamic-range imaging," Journal of Electronic Imaging, Vol. 15, Issue 3, Jul.-Sep. 2006.
  4. E. A. Khan, A. O. Akyuz and E. Reinhard, "Ghost Removal in High Dynamic Range Images," IEEE International Conference on Image Processing, Atlanta, USA, Oct. 2006.
  5. K. Devlin, "A review of tone reproduction techniques," Tech. Rep. CSTR-02-005, Department of Computer Science, University of Bristol, Nov. 2002.
  6. S. Mann and R. Picard, "Being 'Undigital' with Digital Cameras: Extending Dynamic Range by Combining Differently Exposed Pictures," Proc. of IST's 48th Annual Conference, pp. 422-428, May. 1995.
  7. P. E. Debevec and J. Malik, "Recovering High Dynamic Range Radiance Maps from Photographs," Proc. of ACM SIGGRAPH, pp. 369-378, 1997.
  8. M. A. Robertson, S. Borman and R. L. Stevenson, "Estimation-theoretic approach to dynamic range enhancement using multiple exposures," Journal of Electronic Imaging, Vol. 12, Issue 2, pp. 219-228, Apr. 2003. https://doi.org/10.1117/1.1557695
  9. T. Mitsunaga and S. K. Nayar, "Radiometric Self Calibration," Proc. of Computer Vision and Pattern Recognition, pp. 374-380, Jun. 1999.
  10. E. Reinhard, G. Ward, P. Debevec, and S. Pattanaik, "High Dynamic Range Imaging: Acquisition, Display, and Image Based Lighting," Morgan Kaufmann, San Francisco, CA, 2005.
  11. S. Battiato, A. Castorina and M. Mancuso, "High dynamic range imaging for digital still camera: an overview," Journal of Electronic Imaging, Vol. 12, Issue 3, pp. 459-469, Jul. 2003. https://doi.org/10.1117/1.1580829
  12. H. Haneishi, S. Miyahara and A. Yoshida, "Image Acquisition Technique for High Dynamic Range Scenes Using a Multiband Camera," Color research and application, Vol. 31, Issue 4, pp. 294-302, Aug. 2006. https://doi.org/10.1002/col.20231