다중 노출 복수 영상에서 장면의 다이내믹 레인지 추정을 통한 HDR 영상 획득

Acquisition of HDR image using estimation of scenic dynamic range in images with various exposures

  • 박대근 (경북대학교 전기전자컴퓨터학부) ;
  • 박기현 (경북대학교 전기전자컴퓨터학부) ;
  • 하영호 (경북대학교 전기전자컴퓨터학부)
  • Park, Dae-Geun (School of Electrical Engineering and Computer Science, Kyungpook National University) ;
  • Park, Kee-Hyon (School of Electrical Engineering and Computer Science, Kyungpook National University) ;
  • Ha, Yeong-Ho (School of Electrical Engineering and Computer Science, Kyungpook National University)
  • 발행 : 2008.03.25

초록

일반적으로 HDR 영상을 얻기 위해서는 장면의 다이내믹 레인지를 충분히 포함하는 노출이 다른 많은 영상이 필요하고, 그 영상을 한 영상으로 합성한다. 본 논문에서는 적은 수의 영상으로 HDR 영상을 얻을 수 있는 효율적인 방법을 제안하였다. 먼저 노출이 다른 두 장의 영상을 사용해 장면의 다이내믹 레인지를 추정하였다. 이 두 영상은 장면의 다이내믹 레인지의 상한점과 하한점을 포함한다. 장면에 상관없이 노출 시간의 변화에 따라 상한점을 포함하는 영상의 최대 그레이레벨과 하한점을 포함하는 영상의 최소 그레이레벨이 일정한 경향이 나타나는 것을 확인하였다. 이런 경향을 모델링하여, 장면의 다이내믹 레인지를 추정하였다 추정한 장면의 다이내믹 레인지는 HDR 영상 획득을 위한 노출 시간을 찾는 데에 사용된다. 카메라의 다이내믹 레인지 세 개로 카메라가 만들 수 있는 전체 다이내믹 레인지를 포함할 수 있기 때문에, 영상 세 장만으로 HDR 영상을 얻을 수 있었다. HDR 영상의 오차를 평가하기 위해 가상의 카메라 영상을 사용하는 실험을 하였다. 실험을 통해 제안한 방법으로 얻은 HDR 영상의 오차가 10장 이상의 영상을 사용하여 얻은 HDR 영상의 오차가 큰 차이가 없음을 확인하였다.

Generally, to acquire an HDR image, many images that cover the entire dynamic range of the scene with different exposure times are required, then these images are fused into one HDR image. This paper proposes an efficient method for the HDR image acquisition with small number of images. First, we estimated scenic dynamic range using two images with different exposure times. These two images contain the upper and lower limit of the scenic dynamic range. Independently of the scene, according to varied exposure times, similar characteristics for both the maximum gray levels in images that include the upper limit and the minimum gray levels in images that include the lower limit are identified. After modeling these characteristics, the scenic dynamic range is estimated using the modeling results. This estimated scenic dynamic range is then used to select the proper exposure times for the acquisition of an HDR image. We selected only three proper exposure times because entire dynamic range of the cameras could be covered by three dynamic range of the cameras with different exposure times. To evaluate the error of the HDR image, experiments using virtual digital camera images were carried out. For several test images, the error of the HDR image using proposed method was comparable to that of the HDR image which utilize more than ten images for the HDR image acquisition.

키워드

참고문헌

  1. M. Y. Lee, C. H. Son, J. M. Kim, C. H. Lee and Y. H. Ha, 'Illumination-Level Adaptive Color Reproduction Method with Lightness Adaptation and Flare Compensation for Mobile Display,' Journal of Imaging Science and Technology. Vol. 51, No. 1, pp. 44-52, Jan.-Feb., 2007 https://doi.org/10.2352/J.ImagingSci.Technol.(2007)51:1(44)
  2. B. Wandell, P. Catrysse, J. DiCarlo, D. Yang and A. E. Gamal, 'Multiple Capture Single Image with a CMOS Sensor,' Chiba Conference on Multspectral Imaging, pp. 11-17, 1999
  3. A. O. Akyuz and E. Reinhard, 'Color appearance in high-dynamic-range imaging,' Journal of Electronic Imaging Vol. 15, Issue 3, Jul. -Sep. 2006
  4. E. A. Khan, A. O. Akyuz and E. Reinhard, 'Ghost Removal in High Dynamic Range Images,' IEEE International Conference on Image Processing, Atlanta, USA, Oct. 2006
  5. K. Devlin, 'A review of tone reproduction techniques,' Tech. Rep. CSTR-02-005, Department of Computer Science, University of Bristol, Nov. 2002
  6. S. Mann and R. Picard, 'Being 'Undigital' with Digital Cameras: Extending Dynamic Range by Combining Differently Exposed Pictures,' Proc. of IST's 48th Annual Conference, pp. 422-428, May. 1995
  7. P. E. Debevec and J. Malik, 'Recovering High Dynamic Range Radiance Maps from Photographs,' Proc. of ACM SIGGRAPH, pp. 369-378, 1997
  8. M. A. Robertson, S. Borman and R. L. Stevenson, 'Estimation-theoretic approach to dynamic range enhancement using multiple exposures,' Journal of Electronic Imaging Vol. 12, Issue 2, pp. 219-228, Apr. 2003 https://doi.org/10.1117/1.1557695
  9. T. Mitsunaga and S. K. Nayar, 'Radiometric Self Calibration,' Proc. of Computer Vision and Pattern Recognition, pp. 374-380, Jun. 1999
  10. E. Reinhard, G. Ward, P. Debevec, and S. Pattanaik, 'High Dynamic Range Imaging: Acquisition, Display, and Image Based Lighting,' Morgan Kaufmann, San Francisco, CA, 2005
  11. S. Battiato, A. Castorina and M. Mancuso, 'High dynamic range imaging for digital still camera: an overview,' Journal of Electronic Imaging Vol. 12, Issue 3, pp. 459-469, Jul. 2003 https://doi.org/10.1117/1.1580829
  12. H. Haneishi, S. Miyahara and A. Yoshida, 'Image Acquisition Technique for High Dynamic Range Scenes Using a Multiband Camera,' Color research and application Vol. 31, Issue 4, pp. 294-302, Aug. 2006 https://doi.org/10.1002/col.20231
  13. M. D. Grossberg and S. K. Nayar, 'High Dynamic Range from Multiple Images: Which Exposures to Combine?,' ICCV Workshop on Color and Photometric Methods in Computer Vision, Oct. 2003
  14. L. Cerman and V. Hlavac, 'Exposure time estimation for high dynamic range imaging with hand held camera,' Computer Vision Winter Workshop, Feb. 2006