Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Slow Sync Image Synthesis from Short Exposure Flash Smartphone Images

단노출 플래시 스마트폰 영상에서 저속 동조 영상 생성

  • Received : 2021.06.11
  • Accepted : 2021.06.25
  • Published : 2021.07.23
Download PDF
⟨ Previous Next ⟩

Abstract

Slow sync is a photography technique where a user takes an image with long exposure and a camera flash to enlighten the foreground and background. Unlike short exposure with flash and long exposure without flash, slow sync guarantees the bright foreground and background in the dim environment. However, taking a slow sync image with a smartphone is difficult because the smartphone camera has continuous and weak flash and can not turn on flash if the exposure time is long. This paper proposes a deep learning method that input is a short exposure flash image and output is a slow sync image. We present a deep learning network with a weight map for spatially varying enlightenment. We also propose a dataset that consists of smartphone short exposure flash images and slow sync images for supervised learning. We utilize the linearity of a RAW image to synthesize a slow sync image from short exposure flash and long exposure no-flash images. Experimental results show that our method trained with our dataset synthesizes slow sync images effectively.

저속 동조는 촬영자가 장노출과 카메라 플래시를 동시에 이용해서 전경과 배경을 밝게 하는 촬영 기법이다. 단노출 플래시 촬영과 플래시 없는 장노출 촬영과는 달리 저속 동조는 어두운 환경에서의 밝은 전경과 배경을 보장한다. 하지만 스마트폰으로 저속 동조 촬영은 어려운데, 이는 스마트폰 카메라의 플래시는 약한 지속 광이고 노출 시간이 길어지면 플래시를 켜지 못하기 때문이다. 본 연구에서는 단노출 플래시 영상에서 저속 동조 영상을 만드는 딥러닝 방법을 제안한다. 본 연구에서는 공간상에서 가변적인 영상 밝기 개선을 위해 가중치 맵을 적용한 네트워크를 제안한다. 본 연구에서는 지도 학습을 위한 스마트폰 단노출 플래시 영상과 저속 동조 영상 데이터 세트도 제안한다. RAW 영상의 선형성을 이용해 단노출 플래시 영상과 플래시 없는 장노출 영상으로부터 저속 동조 영상을 생성해서 데이터 세트를 구축한다. 실험을 통해 본 연구의 방법이 저속 동조 영상을 효과적으로 생성하는 것을 볼 수 있다.

Keywords

Acknowledgement

본 논문은 과학기술정보통신부의 재원으로 정보통신기술진흥센터(SW 스타랩, IITP-2015-0-00174)의 지원을 받아 수행된 연구입니다.

References

  1. X. Guo, Y. Li, and H. Ling, "Lime: Low-light image enhancement via illumination map estimation," IEEE Transactions on image processing, 2016.
  2. E. H. Land and J. J. McCann, "Lightness and retinex theory," Josa, 1971.
  3. X. Fu, D. Zeng, Y. Huang, X.-P. Zhang, and X. Ding, "A weighted variational model for simultaneous reflectance and illumination estimation," in Proc. CVPR, 2016.
  4. W. Ren, S. Liu, L. Ma, Q. Xu, X. Xu, X. Cao, J. Du, and M.- H. Yang, "Low-light image enhancement via a deep hybrid network," IEEE Transactions on Image Processing, 2019.
  5. Y. Jiang, X. Gong, D. Liu, Y. Cheng, C. Fang, X. Shen, J. Yang, P. Zhou, and Z. Wang, "Enlightengan: Deep light enhancement without paired supervision," IEEE Transactions on Image Processing, 2021.
  6. R. Wang, Q. Zhang, C.-W. Fu, X. Shen, W.-S. Zheng, and J. Jia, "Underexposed photo enhancement using deep illumination estimation," in Proc. CVPR, 2019.
  7. C. Guo, C. Li, J. Guo, C. C. Loy, J. Hou, S. Kwong, and R. Cong, "Zero-reference deep curve estimation for low-light image enhancement," in Proc. CVPR, 2020.
  8. C. Wei, W. Wang, W. Yang, and J. Liu, "Deep retinex decomposition for low-light enhancement," in BMVC, 2018.
  9. I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial networks," arXiv, 2014.
  10. O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," in MICCAI, 2015.
  11. Y. Aksoy, C. Kim, P. Kellnhofer, S. Paris, M. Elgharib, M. Pollefeys, and W. Matusik, "A dataset of flash and ambient illumination pairs from the crowd," in Proc. ECCV, 2018.
  12. C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," in Proc. ICCV, 1998.
  13. H. Lee, J. Jeon, J. Kim, and S. Lee, "Structure-texture decomposition of images with interval gradient," in Computer graphics forum, 2017.
  14. "Libraw," https://www.libraw.org, accessed: 2021-04-13.
  15. D. P. Kingma and J. Ba, "Adam: A method for stochastic optimization," arXiv, 2014.
  16. A. Mittal, R. Soundararajan, and A. C. Bovik, "Making a "completely blind" image quality analyzer," IEEE Signal processing letters, 2012.