정보처리학회논문지:소프트웨어 및 데이터공학 (KIPS Transactions on Software and Data Engineering)

  • 제12권2호
  • /
  • Pages.83-90
  • /
  • 2023
  • /
  • 2287-5905(pISSN)
  • /
  • 2734-0503(eISSN)
한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

Stack-Attention을 이용한 흐릿한 영상 강화 기법

Blurred Image Enhancement Techniques Using Stack-Attention

  • 박채림 (한국해양대학교 제어계측공학과) ;
  • 이광일 (한국해양대학교 인공지능공학부) ;
  • 조석제 (한국해양대학교 제어자동화공학부)
  • 투고 : 2022.07.20
  • 심사 : 2022.09.12
  • 발행 : 2023.02.28
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

컴퓨터 비전에서 흐릿한 영상은 영상 인식률을 저하시키는 중요한 요인이다. 이것은 주로 카메라가 불안정하게 초점을 맞추지 못하거나, 노출시간동안 장면의 물체가 빠르게 움직일 때 발생한다. 흐릿한 영상은 시각적 품질을 크게 저하시켜 가시성을 약화시키며, 이러한 현상은 디지털카메라의 기술이 지속적으로 발전하고 있음에도 불구하고 빈번하게 일어난다. 본 논문에서는 합성곱 신경망으로 설계된 심층 멀티 패치 계층 네트워크(Deep multi patch hierarchical network)를 기반으로 수정된 빌딩 모듈을 대체하여 입력 영상의 디테일을 잡고 주의 집중 기법을 도입하여 흐릿한 영상 속 물체에 대한 초점을 다방면으로 맞추어 영상을 강화한다. 이것은 서로 다른 스케일에서 각각의 가중치를 측정 및 부여하여 흐림의 변화를 차별적으로 처리하고 영상의 거친 수준에서 미세한 수준까지 순차적으로 복원하여 글로벌한 영역과 로컬 영역 모두 조정한다. 이러한 과정을 통해 저하된 화질을 복구하고 효율적인 객체 인식 및 특징을 추출하며 색 항상성을 보완하는 우수한 결과를 보여준다.

Blurred image is an important factor in lowering image recognition rates in Computer vision. This mainly occurs when the camera is unstablely out of focus or the object in the scene moves quickly during the exposure time. Blurred images greatly degrade visual quality, weakening visibility, and this phenomenon occurs frequently despite the continuous development digital camera technology. In this paper, it replace the modified building module based on the Deep multi-patch neural network designed with convolution neural networks to capture details of input images and Attention techniques to focus on objects in blurred images in many ways and strengthen the image. It measures and assigns each weight at different scales to differentiate the blurring of change and restores from rough to fine levels of the image to adjust both global and local region sequentially. Through this method, it show excellent results that recover degraded image quality, extract efficient object detection and features, and complement color constancy.

키워드

과제정보

이 연구는 한국해양대학교 연구년 전임교원 교내 연구비 지원을 받아 수행되었음.

참고문헌

  1. T. H. Kim and K. M. Lee, "Segmentation-free dynamic scene deblurring," In Computer Vision and Pattern Recognition, pp.2766-2773, 2014.
  2. K. Orest, B. Volodymyr, M. Mykola, M. Dmytro, and M. Jiri, "DeblurringGAN: Blind motion deblurring using conditional adversarial network," In Computer Vision and Pattern Recognition, 2018.
  3. J. Sun, W. Cao, Z. Xu, and J. Ponce, "Learning a convolutional neural network for non-uniform motion blur removal," In Computer Vision and Pattern Recognition, 2015.
  4. A. Chakrabarti, "A Neural Approach to Blind Motion Deblurring," In European Conference on Computer Vision, 2016.
  5. D. Gong, J. Yang, L, Liu, Y. Zhang, I. Reid, C. Shen, A. Van, and Q. Shi, "From motion blur to motion flow: A deep learning solution for removing heterogeneous motion blur," Computer Vision and Pattern Recognition, 2016.
  6. G. Hongyun, T. Xin, S. Xiaoyong, and J. Jiaya, "Dynamic scene deblurring with parameter selective sharing and nested skip connections," In Institute of Electrical and Electronics Engineers, IEEE, 2019.
  7. G. Huang, Z. Liu, L. Van, and K. Q. Weinberger, "Densely connected convolutional networks," In Computer Vision and Pattern Recognition, pp.4700-4708, 2017.
  8. M. Y. Lee, C. H. Son, J. M. Kim, C. H. Lee, and Y. H. Ha, "Illumination-level adaptive and flare compensation for mobile display," Journal of Imaging Science and Technology, Vol.51, No.1, pp.44-52, 2007. https://doi.org/10.2352/J.ImagingSci.Technol.(2007)51:1(44)
  9. D. Wandell, P. Catrysse, J. Dicarlo, D. Young, and A. E. Gamal, "Multi capture single image with a CMOS sensor," Chiba Conference on Multispectral Imaging, pp.11-17, 1999.
  10. E. Land and J. McCann, "Lightness and retinex theory," Journal of the Optical Society of America A, Vol.61, No.1, pp.1-11, 1971. https://doi.org/10.1364/JOSA.61.000001
  11. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," In Computer Vision and Pattern Recognition, pp.770-778, 2016.
  12. B. Lim, S. Son, H. Kim. S. Nah, and K. M. Lee, "Enhanced deep residual networks for single image super-resolution," In Computer Vision and Pattern Recognition Workshop, 2017.
  13. S. Nah, T. H. Kim, and K. M. Lee, "Deep multi-scale convolutional neural network for dynamic scene deblurring," In Computer Vision and Pattern Recognition, pp.3883-3891, 2017.
  14. T. Xin, G. Hongyun, S. Xiaoyong, W. Jue, and J. Jiaya, "Scale-recurrent network for deep image deblurring," In Computer Vision and Pattern Recognition, pp.8174-8182, 2018.
  15. D. Sourya and D. Saikat, "Fast deep multi-patch hierarchical network for non-homogeneous image dehazing," In Computer Vision and Pattern Recognition Workshop, 2020.
  16. C. R. Park, J. H. Kim, and S. J. Cho, "Improving colorization through denoiser with MLP," In Journal of Advanced Marine Engineering and Technology, pp.1-7, 2022.
  17. DICM Detaset [Internet], paperswithcode.com/dataset/dicm
  18. ExDark Dataset [Internet], paperswithcode.com/dataset/exdark
  19. VV Dataset [Internet], sites.google.com/site/vonikakis/datasets
  20. G. Tiantong, L. Xuelu, C. Venkateswararao, and M. Vishal, "Dense scene information estimation network for dehazing," In Computer Vision and Pattern Recognition, 2019.
  21. H. Zhang, Y. Dai, H. Li, and P. Koniusz, "Deep stacked hierarchical multi-patch network for image deblurring," In Computer Vision and Pattern Recognition, pp.5578-5986, 2019.
  22. C. R. Park, K. I. Lee, and S. J. Cho, "Retinex image enhancement techniques using stack-attention," In Korea Information Processing Society, Vol.29, No.1, pp.443-445, 2022.