Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Image Filtering Method for an Effective Inverse Tone-mapping

효과적인 역 톤 매핑을 위한 필터링 기법

  • Kang, Rahoon (Department of Electronics and Computer Engineering, Hanyang University) ;
  • Park, Bumjun (Department of Electronics and Computer Engineering, Hanyang University) ;
  • Jeong, Jechang (Department of Electronics and Computer Engineering, Hanyang University)
  • 강라훈 (한양대학교 전자컴퓨터통신공학과) ;
  • 박범준 (한양대학교 전자컴퓨터통신공학과) ;
  • 정제창 (한양대학교 전자컴퓨터통신공학과)
  • Received : 2019.01.08
  • Accepted : 2019.03.18
  • Published : 2019.03.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a filtering method that can improve the results of inverse tone-mapping using guided image filter. Inverse tone-mapping techniques have been proposed that convert LDR images to HDR. Recently, many algorithms have been studied to convert single LDR images into HDR images using CNN. Among them, there exists an algorithm for restoring pixel information using CNN which learned to restore saturated region. The algorithm does not suppress the noise in the non-saturation region and cannot restore the detail in the saturated region. The proposed algorithm suppresses the noise in the non-saturated region and restores the detail of the saturated region using a WGIF in the input image, and then applies it to the CNN to improve the quality of the final image. The proposed algorithm shows a higher quantitative image quality index than the existing algorithms when the HDR quantitative image quality index was measured.

본 논문에서는 가이디드 영상 필터 (guided image filter: GIF)를 이용하여 컨볼루션 신경망 (convolutional neural network; CNN)을 이용한 역 톤 매핑 (inverse tone-mapping) 기법의 결과를 향상시킬 수 있는 필터링 기법을 제안한다. 저동적범위 (low dynamic range; LDR) 영상을 고동적범위 (high dynamic range; HDR) 디스플레이에서 표현할 수 있도록 변환하는 역 톤 매핑 기법은 지속적으로 제안되어왔다. 최근 들어 컨볼루션 신경망을 이용하여 단일 LDR 영상을 HDR 영상으로 변환하는 알고리듬이 많이 연구되었다. 그 중엔 제한된 동적범위 (dynamic range)로 인해 화소가 포화되어 기존 화소 정보가 손실되는데 이를 학습된 컨볼루션 신경망을 이용해서 복원하는 알고리듬이 존재한다. 해당 알고리듬은 비포화 영역의 잡음까지는 억제하지 못하며 포화 영역의 디테일까지는 복원하지 못한다. 제안한 알고리듬은 입력 영상에 가중된 가이디드 영상 필터 (weighted guided image filter; WGIF)를 사용해서 비포화 영역의 잡음을 억제하고 포화 영역의 디테일을 복원시킨 다음 컨볼루션 신경망에 인가하여 최종 결과 영상의 품질을 개선하였다. 제안하는 알고리듬은 HDR 정량적 화질평가 지표를 측정하였을 때 기존의 알고리듬에 비해 높은 화질평가 지수를 나타내었다.

Keywords

BSGHC3_2019_v24n2_217_f0001.png 이미지

그림 1. 제안하는 알고리듬의 순서도 Fig. 1. The flow chart of proposed algorithm

BSGHC3_2019_v24n2_217_f0002.png 이미지

그림 2. 컨볼루션 신경망을 사용한 역 톤 매핑 구조 Fig 2. The structure of inverse tone-mapping using convolutional neural network

BSGHC3_2019_v24n2_217_f0003.png 이미지

그림 3. 각 역 톤 매핑 방법들의 HDR-VDP-2.2 확률 맵 시각화 비교결과(21번 영상), (a) Akyüz 등의 알고리듬, (b) Huo 등의 알고리듬, (c) Eilersten 등의 알고리듬, (d) ExpandNet, (e) 제안하는 알고리듬 Fig 3. The comparison results of inverse tone-mapping methods(at no.21 image), (a) Akyüz et al., (b) Huo et al., (c) Eilersten et al., (d) ExpandNet, (e) proposed algorithm

BSGHC3_2019_v24n2_217_f0004.png 이미지

그림 4. 각 방법의 톤 매핑 주관적 화질 비교 결과(2번 영상), (a,g) 원본 영상, (b,h) Eilersten 등의 알고리듬, (c,i) ExpandNet, (d,j) Akyüz 등의 알고리듬, (e,k) Huo 등의 알고리듬, (f,l) 제안하는 알고리듬의 결과 영상과 예측된 포화 영역 영상 Fig 4. The comparison of tone-mapping result subjective image quality of each method(at no.2 image), (a,g) ground truth, (b,h) Akyüz et al., (c,i) Huo et al., (d,j) Eilersten et al., (e,k) ExpandNet,, (f,l) proposed algorithm

표 1. 시험 데이터셋에 대한 지각적 연속성 부호화 최대 신호 대 잡음비 Table 1. The PU-PSNR of test dataset

BSGHC3_2019_v24n2_217_t0001.png 이미지

표 2. 시험 데이터셋에 대한 지각적 연속성 부호화 구조적 유사성 Table 2. The PU-SSIM of test dataset

BSGHC3_2019_v24n2_217_t0002.png 이미지

References

  1. H. Landis, "Production-ready global illumination," SIGGRAPH Course Notes, Vol.16, pp.87-101, 2002.
  2. A. O. Akyuz, R. Fleming, B. E. Riecke, E. Reinhard, and H. H. Bulthoff, "Do HDR displays support LDR Content?: A psychophysical evaluation," ACM Transaction on Graphics, Vol.26, No.38, July 2007.
  3. F. Banterle, A. Artusi, K. Debattista, and A. Chalmers, Advanced High Dynamic Range Imaging:theory and practice, A K Peters/CRC Press, New York, February 2011.
  4. A. G. Rempel, M. Trentacoste, H. Seetzen, H. D. Young, W. Heidrich, L. Whiteheadm, and G. Ward, "LDR2HDR: On-the-fly reverse tone mapping of legacy video and photographs," ACM Transaction on Graphics, Vol.26, No.39, 2007.
  5. G. Eilertsen, J. Kronander, G. Denes, R. Mantiuk, and J. Unger, "HDR image reconstruction from a single exposure using deep CNNs," ACM Transactions on Graphics, Vol.36, No.6, pp.1-15, 2017.
  6. D. Marnerides, T. Bashford-Rogers, J. Hatchett, and K. Debattista, "ExpandNet: A Deep Convolutional Neural Network for High Dynamic Range Expansion from Low Dynamic Range Content," Computer Graphics Forum, Vol.37, No.2, pp.37-49, 2018
  7. A. A. Goshtasby, "Fusion of Multi-exposure Images," Image and Vision Computing, Vol.23, pp. 611-618, June 2005. https://doi.org/10.1016/j.imavis.2005.02.004
  8. S. Hecht, "The visual discrimination of intensity and the Weber-Fechner law," The Journal of General Physiology, Vol.7, pp.235-267, 1924. https://doi.org/10.1085/jgp.7.2.235
  9. G. E. Hinton and R. Salakhutdinov, "Reducing the Dimensionality of Data with Neural Networks," Science, Vol.313, No.5786, pp.504-507, 2006. https://doi.org/10.1126/science.1127647
  10. P. Vincent, H. Larochelle, Y. Bengio and P. Manzagol, "Extracting and composing robust features with denoising autoencoders," Proceeding of 25th International Conference on Machine Learning(ICML), pp.1096-1103, 2008.
  11. K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition", Arxiv.org, 2014, https://arxiv.org/abs/1409.1556
  12. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," Proceeding of IEEE conference on computer vision and pattern recognition(CVPR), pp.770-778, 2016.
  13. M. D. Fairchild, "The HDR Photographic survey," Proceeding of Color and Imaging Conference, Vol.2007, No.1, pp.233-238, 2007.
  14. G. Ward, "Hight Dynamic Range Image Encodings," 2006.
  15. T. O. Aydin, R. Mantiuk, and H. P. Seidel, "Extending quality metrics to full luminance range images," Human Vision and Electronic Imaging XIII, Vol.6806, pp.68060B, March 2008.
  16. M. Narwaria, R. Mantiuk, M. P. Da Silva, and P. Le Callet, "HDR-VDP-2.2: a calibrated method for objective quality prediction of high-dynamic range and standard images," Journal of Electronic Imaging, Vol.24, No.010501, 2015.
  17. V. Nair and G. E. Hinton, "Rectified linear units improve restricted boltzmann machines," Proceeding of the 27th International Conference on Machine Learning(ICML), pp.807-814, 2010.
  18. Y. Huo, F. Yang, L. Domg, and V. Brost, "Physiological inverse tone mapping based on retina response," The Visual Computer, Vol.30, pp.507-517, 2014. https://doi.org/10.1007/s00371-013-0875-4
  19. Z. Liand J. Zheng, Z. Zhu, W. Yao, and S. Wu, "Weighted Guided Image Filtering," IEEE Transaction on Image Processing, Vol.24, No.1, pp.120-129, 2015. https://doi.org/10.1109/TIP.2014.2371234
  20. K. He, J. Sun, and X. Tang, "Guided Image Filtering," Proceeding of European Conference on Computer Vision(ECCV), Berlin, Heidelberg, pp.1-14, 2010.
  21. J. An, S. Lee, J. Kuk, and N. Cho, "A multi-exposure image fusion algorithm without ghost effect," Proceeding of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2011.