Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Generating a Reflectance Image from a Low-Light Image Using Convolutional Neural Network

합성곱 신경망 기반 저조도영상의 반사 영상 생성

  • Lee, Seungsoo (Department of Computer and Communications Eng., Kangwon National University) ;
  • Choi, Changyeol (Department of Computer and Communications Eng., Kangwon National University) ;
  • Kim, Manbae (Department of Computer and Communications Eng., Kangwon National University)
  • 이승수 (강원대학교 컴퓨터정보통신공학과) ;
  • 최창열 (강원대학교 컴퓨터정보통신공학과) ;
  • 김만배 (강원대학교 컴퓨터정보통신공학과)
  • Received : 2019.01.31
  • Accepted : 2019.06.25
  • Published : 2019.07.30
Download PDF
⟨ Previous Next ⟩

Abstract

Many researches have been carried out for brightness and contrast enhancement, illumination reduction and so forth. Recently, the aforementioned hand-crafted approaches have been replaced by artificial neural networks. This paper proposes a convolutional neural network that can replace the method of generating a reflectance image where illumination component is attenuated. Experiments are carried out on 102 low-light images and we validate the feasibility of the replacement by producing satisfactory reflectance images.

저조도 영상의 개선을 위해서 밝기 및 대조 개선, 조명 성분 감쇄 등의 다양한 연구가 진행됐다. 기존의 hand-crafted 방법에서 인공신경망으로 기존 기법들을 대체하는 연구가 최근에 진행 중이다. 본 논문에서는 조명 광원이 존재하는 저조도 영상으로부터 조명 성분을 감쇄하고, 반사 성분만을 생성하는 기법을 합성곱 신경망으로 대체하는 방법을 제안한다. 실험에서는 102장의 저조도 영상으로 학습시킨 합성곱 신경망으로 만족스러운 반사 영상을 생성하였다.

Keywords

BSGHC3_2019_v24n4_623_f0001.png 이미지

그림 1. 광원 조명의 영향을 받는 저조도 영상 Fig. 1. Low-light images affected by light source

BSGHC3_2019_v24n4_623_f0002.png 이미지

그림 2. 기존 저조도 영상 향상과 제안 방법의 차이. (a) 일반적인 신경망 기반 영상 생성[8] 및 (b) 기제작된 반사 영상 생성 알고리즘을 CNN으로 대체하는 구조도 Fig. 2. Difference of conventional reflectance image generation and the proposed method. (a) The approach of the former[8] and (b) diagram replacing a customized reflectance map generation algorithm with CNN

BSGHC3_2019_v24n4_623_f0003.png 이미지

그림 3. 신경망 학습에 사용하는 영상. (a) 입력 영상, f 및 (b) 반사 영상, rR Fig. 3. Images used at the training of a neural network. (a) input images, f and (b) reflectance images, rR

BSGHC3_2019_v24n4_623_f0004.png 이미지

그림 4. 제안 방법의 전체 흐름도 Fig. 4. The overall block diagram of the proposed method

BSGHC3_2019_v24n4_623_f0005.png 이미지

그림 5. 그림 4의 CNN의 모델 구조 Fig. 5. CNN model in Fig. 4

BSGHC3_2019_v24n4_623_f0006.png 이미지

그림 6. 실험에 사용된 광원이 존재하는 저조도 영상 Fig. 6. Low-light images under illumination used in experiments

BSGHC3_2019_v24n4_623_f0007.png 이미지

그림 7. 학습 영상의 결과. 시각화를 위해서 [0,255]로 변환함. (a) 실측 출력 영상, 및 (b) 예측 영상 Fig. 7. Resulting images of train images. (a) Ground-truth output images, and (b) predicted images

BSGHC3_2019_v24n4_623_f0008.png 이미지

그림 9. 그림 8의 1, 2, 3열 영상의 확대영상. (a) 실측 출력 영상 및 (b) 예측 영상 Fig. 9. Close-up of Columns 1, 2, 3 in Fig. 8. (a) Ground-truth output images, and (b) predicted images

BSGHC3_2019_v24n4_623_f0009.png 이미지

그림 8. 테스트 영상의 결과 영상. 시각화를 위해서 [0,255]로 변환함. (a) 실측 출력 영상, 및 (b) 예측 영상 Fig. 8. Resulting images of test images. (a) Ground-truth output images, and (b) predicted images

표 1. CNN 네트워크의 층 구조 및 파라메타 값 Table 1. Layers and parameters of CNN network

BSGHC3_2019_v24n4_623_t0001.png 이미지

표 2. RMSE, PSNR, 및 SSIM의 객관적 성능 평가 Table 2. Performance evaluation of RMSE, PSNR and SSIM

BSGHC3_2019_v24n4_623_t0002.png 이미지

References

  1. D. Cho, H. Kang, and W. Kim, "An image enhancement algorithm on color constancy and histogram equalization using edge region", Journal of Broadcast Engineering, Vol. 15, No. 3, 2010.
  2. H. Cheng and X. Shi, "A simple and effective histogram equalization approach to image enhancement," Digital Signal Processing, pp. 158-170, 2004.
  3. C. Poynton, "The Rehabilitation of Gamma," Human Vision and Electronic Imaging III, Proceedings of SPIE, vol. 3299, p. 232-249, 1998.
  4. E. Land and J. McCann, "Lightness and retinex theory," J. Opt. Soc. Am., vol. 61, no. 1, pp. 1-11, 1971. https://doi.org/10.1364/JOSA.61.000001
  5. D. Jobson, Z. Rahman, and G. Woodell, "Properties and performance of a center/surround retinex," IEEE Transactions on Image Processing, Vol. 6, no. 3, pp. 451-462, Mar. 1997. https://doi.org/10.1109/83.557356
  6. K. Lore, A. Akintayo, and S. Sarkar, "LLNet: A deep autoencoder approach to natural low-light image enhancement," Pattern Recognition, vol. 61, pp. 650-662, 2017. https://doi.org/10.1016/j.patcog.2016.06.008
  7. L. Shen, Z. Yue, F. Feng, and Q. Chen, "MSR-net: Low-light image enhancement using deep convolutional network," arXiv:1711.02488.
  8. S. Park, S. Yu, M. Kim, K. Park, and J. Paik, "Dual Autoencoder Network for Retinex-based Low-Light Image Enhancement", IEEE Access, Vol. 6, Mar. 2018.
  9. W. Kim, I. Hwang and M. Kim, "Generating a Retinex-based reflectance image from a low-light image using deep neural network", Journal of Broadcast Engineering, Vol. 24, No. 1, Jan. 2019.
  10. L. Xu. C. Liu, J. Ren, and J. Jia, "Deep convolutional neural network for image deconvolution", Int. Conf. Neural Information Processing System, 2014.
  11. A. Agrawal, R. Raskar, "Resolving objects at higher resolution from a single motion-blurred image", Int. Conf. Computer Vision and Pattern Recognition, 2007
  12. C. Turhan and H. Bilge, "Recent trends in deep generative modes: a review", 3rd Int. Conf. Computer Science and Engineering, 2018.
  13. Z. Wang, A. Bovik, H. Sheikh, and E. Simoncelli, "Image quality assessment: from error visibility to structural similarity". IEEE Trans. Image Processing, 13(4), pp. 600-612, 2004. https://doi.org/10.1109/TIP.2003.819861