DOI QR코드

DOI QR Code

Multi-spectral Flash Imaging using Region-based Weight Map

영역기반 가중치 맵을 이용한 멀티스팩트럼 플래시 영상 획득

  • Choi, Bong-Seok (School of Electronics Engineering, Kyungpook National University) ;
  • Kim, Dae-Chul (School of Electronics Engineering, Kyungpook National University) ;
  • Lee, Cheol-Hee (Computer Engineering, Andong National University) ;
  • Ha, Yeong-Ho (School of Electronics Engineering, Kyungpook National University)
  • 최봉석 (경북대학교 IT 대학 전자공학부) ;
  • 김대철 (경북대학교 IT 대학 전자공학부) ;
  • 이철희 (안동대학교 컴퓨터 공학과) ;
  • 하영호 (경북대학교 IT 대학 전자공학부)
  • Received : 2013.05.16
  • Published : 2013.09.25

Abstract

In order to acquire images in low-light environments, it is usually necessary to adopt long exposure times or resort to flash lights. However, flashes often induce color distortion, cause the red-eye effect and can be disturbing to subjects. On the other hand, long-exposure shots are susceptible to subject-motion, as well as motion-blur due to camera shake when performed hand-held. A recently introduced technique to overcome the limitations of traditional low-light photography is that of multi-spectral flash. Multi-spectral flash images are a combination of UV/IR and visible spectrum information. The general idea is that of retrieving details from the UV/IR spectrum and color from the visible spectrum. However, multi-spectral flash images themselves are subject to color distortion and noise. This works presents a method to compute multi-spectral flash images so that noise can be reduced and color accuracy improved. The proposed approach is a previously seen optimization method, improved by the introduction of a weight map used to discriminate uniform regions from detail regions. The weight map is generated by applying canny edge operator and it is applied to the optimization process for discriminating the weights in uniform region and edge. Accordingly, the weight of color information is increased in the uniform region and the detail region of weight is decreased in detail region. Therefore, the proposed method can be enhancing color reproduction and removing artifacts. The performance of the proposed method has been objectively evaluated using long-exposure shots as reference.

저조도 환경에서 카메라로 영상을 획득하기 위해 일반적으로 가시광 플래시를 사용하거나 장노출 기법을 사용하게 된다. 그러나 가시광 플래시를 사용할 때 플래시 광에 의한 색 왜곡이나 적목 현상, 눈부심에 의한 거부감을 발생시킨다. 또한 장노출을 사용하게 되면 물체의 움직임에 의한 흔들림 현상이 발생하게 된다. 따라서 최근에는 이러한 단점을 극복하고, 저조도 환경에서 고화질의 영상을 획득하기 위하여 멀티 스팩트럴 플래시(Multi-spectral flash image)를 이용하여 영상을 획득하는 방법이 소개되었다. 이 방법은 가시광과 UV/IR스펙트럼의 다섯 채널을 이용하여 가시광영상의 색 정보와 UV/IR 스팩트럼 영상의 세부정보를 최적화하여 영상을 획득하는 방법이다. 하지만, 픽셀 기반의 최적화 과정에 있어 색 왜곡과 다른 잡음을 발생시키게 된다. 따라서 본 논문에서는 이러한 색 왜곡과 잡음을 개선하기 위해 영역 기반의 가중치 맵을 최적화 방법에 적용하여 색 왜곡을 개선하는 알고리즘을 제안한다. 먼저, 영상에 대하여 Canny 에지 검출 방법을 사용하여 영상의 윤곽을 검출하였다. 이를 가중치 맵으로 최적화방법에 적용함으로, 세부 영역에 대하여 UV/IR 플래시 영상의 정보에 가중치를 부여하고, 평탄한 영역에 대하여 가시광 영상의 색 정보를 가중치를 부여하여 색 왜곡을 개선하였다. 제안한 방법을 평가하기 위하여 실험을 통하여 제안한 방법과 이전방법을 비교하였고, 객관적 평가와 주관적 평가 모두 제안한 방법이 우수한 성능을 나타내었다.

Keywords

References

  1. A. Agrawal, R. Raskar, S. K. Nayar, and Y. Li, "Removing Photography Arifacts using Gradient Projection and Flash-Exposure Sampling," ACM Transaction on Graphics, vol. 24, no. 3, Jul. 2005.
  2. S. Wang, T. Hou, J. Border, H. Qin, and R. Miller, "High Quality Image Deblurring Panchromatic Pixels," ACM Transaction on Graphics, vol. 31, no. 5, Aug. 2012.
  3. R. Fergus, B. Singh, A. Hertzmann, S. T. Roweis, W. T. Freeman, "Removing Camera Shake from a Single Photograph," ACM Transaction on Graphics, vol. 25, no. 3, Jul. 2006.
  4. Jiaya Jia, "Single Image Motion Deblurring using Transparency," Confference on IEEE Computer Vision and Pattern Recongnition, 2007
  5. G. Petschnigg, R. Szeliski, M. Agrawala, M. Cohen, H. Hoppe, and K. Toyama, "Digital photography with Flash and No-Flash Image Pairs," ACM Transaction on Graphics, vol. 23, no. 3, pp. 664-672, Aug. 2004. https://doi.org/10.1145/1015706.1015777
  6. E. Eisemann, and F. Durand, "Flash Photography Enhancement via Intrinsic Relighting," ACM Transaction on Graphics, vol. 23, no. 3, pp. 673-678, Aug. 2004. https://doi.org/10.1145/1015706.1015778
  7. D. Krishnan and R. Fergus, "Dark Flash photography," , ACM Transaction on Graphics, vol. 28, no. 3, pp. 1-11, Aug., 2009.
  8. S. Zhuo, X. Zhang, X. Miao, and T. Sim, "Enhancing Low Light Images using infrared Flash Images," IEEE 17th International Conference on Image Processing, Sep. 2010.
  9. J. Canny, "A Computational Approach to Edge Detection," IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 8, no. 6, pp. 679-714, Nov., 1986.
  10. Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. simoncelli, "Image Quality Assessment: From Error Vivibility to Structural Similarity," IEEE transaction on Image Processing, vol. 31, no. 4, Apr. 2004.
  11. J, Morovic, "Color Gamut Mapping," Published in Association with the Society for IS&T, 2008