DOI QR코드

DOI QR Code

Cascade Fusion-Based Multi-Scale Enhancement of Thermal Image

캐스케이드 융합 기반 다중 스케일 열화상 향상 기법

  • Kyung-Jae Lee (School of Artificial Intelligence, Yong In University)
  • Received : 2023.12.06
  • Accepted : 2024.02.17
  • Published : 2024.02.29

Abstract

This study introduces a novel cascade fusion architecture aimed at enhancing thermal images across various scale conditions. The processing of thermal images at multiple scales has been challenging due to the limitations of existing methods that are designed for specific scales. To overcome these limitations, this paper proposes a unified framework that utilizes cascade feature fusion to effectively learn multi-scale representations. Confidence maps from different image scales are fused in a cascaded manner, enabling scale-invariant learning. The architecture comprises end-to-end trained convolutional neural networks to enhance image quality by reinforcing mutual scale dependencies. Experimental results indicate that the proposed technique outperforms existing methods in multi-scale thermal image enhancement. Performance evaluation results are provided, demonstrating consistent improvements in image quality metrics. The cascade fusion design facilitates robust generalization across scales and efficient learning of cross-scale representations.

본 연구는 다양한 스케일 조건에서 열화상 이미지를 향상시키기 위한 새로운 캐스케이드 융합 구조를 제안한다. 특정 스케일에 맞춰 설계된 방법들은 다중 스케일에서 열화상 이미지 처리에 한계가 있었다. 이를 극복하기 위해 본 논문에서는 다중 스케일 표현을 활용하는 캐스케이드 특징 융합 기법에 기반한 통합 프레임워크를 제시한다. 서로 다른 스케일의 신뢰도 맵을 순차적으로 융합함으로써 스케일에 제약받지 않는 학습이 가능해진다. 제안된 구조는 상호 스케일 의존성을 강화하기 위해 엔드 투 엔드 방식으로 훈련된 합성곱 신경망으로 구성되어 있다. 실험 결과, 제안된 방법은 기존의 다중 스케일 열화상 이미지 향상 방법들보다 우수한 성능을 보인다는 것을 확인할 수 있었다. 또한, 실험 데이터셋에 대한 성능 분석 결과 이미지 품질 지표가 일관되게 개선되었으며, 이는 캐스케이드 융합 설계가 스케일 간 견고한 일반화를 가능하게 하고 교차 스케일 표현 학습을 더 효율적으로 수행하는 데 기여하는 것을 보여준다.

Keywords

Acknowledgement

이 논문은 2020년 용인대학교 학술연구조성비 재원으로 수행된 연구임

References

  1. H. Jeon, Y. Na, Y. Youn, K. Kim, H. Ahn, and J. Kim, "Study on Development for Smart Door Lock and App. using Arduino and Infrared Sensor," The Journal of The Korea Institute of Electronic Communication Sciences, vol. 17, no. 6, pp. 1199-1206, 2022.
  2. S. Kim, M. Kim, K. Lee, B. Kwon, and H. Yoon, "Carbon Dioxide Fluctuation in Suncheon Bay Measured by Infrared and Ultrasonic sensors," The Journal of The Korea Institute of Electronic Communication Sciences, vol. 16, no. 1, pp. 157-164, 2021.
  3. V. Voronin, M. Zhdanova, N. Gapon, A. Alepko, A. Zelensky, and E. Semenishchev, "Deep visible and thermal image fusion for enhancement visibility for surveillance application," Electro-optical and Infrared Systems: Technology and Applications XIX, vol. 12271, 2022, pp. 198-203 https://doi.org/10.1117/12.2641857
  4. A. N. Wilson, K. Gupta, B. H. Koduru, A. Kumar, A. Jha, and L. R. Cenkeramaddi, "Recent advances in thermal imaging and its applications using machine learning: A review," IEEE Sensors Journal, vol. 23, no. 4, 2023, pp. 3395-3407. https://doi.org/10.1109/JSEN.2023.3234335
  5. X. Kuang, X. Sui, Y. Liu, Q. Chen, and G. Gu, "Single infrared image enhancement using a deep convolutional neural network," Neurocomputing, vol. 332, 2019, pp. 119-128. https://doi.org/10.1016/j.neucom.2018.11.081
  6. Y. Choi, N. Kim, S. Hwang, and I. Kweon, "Thermal image enhancement using convolutional neural network.," In 2016 IEEE/RSJ international conference on intelligent robots and systems (IROS), IEEE, Daejeon, Korea, Oct. 2016, p. 223-230.
  7. J. Kim, J. Lee, and K. Lee, ''Accurate image super-resolution using very deep convolutional networks,'' In Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Las Vegas, NV, USA, June-July 2016, pp. 1646-1654.
  8. K. Lee, J. Lee, J. Lee, S. Hwang, and S. Lee, "Brightness-based convolutional neural network for thermal image enhancement," IEEE Access, vol. 5, 2017, pp. 26867-26879. https://doi.org/10.1109/ACCESS.2017.2769687
  9. Y. Ban and K. Lee, "Multi-Scale Ensemble Learning for Thermal Image Enhancement," Applied Sciences, vol. 11.6, 2021, pp. 2810.
  10. J. Yang, J. Wright, T. S. Huang, and Y. Ma, "Image super-resolution via sparse representation," IEEE transactions on image processing, vol. 19, no. 11, 2010, pp. 2861-2873. https://doi.org/10.1109/TIP.2010.2050625
  11. R. E. Rivadeneira, P. L. Suarez, A. D. Sappa, and B. X. Vintimilla, "Thermal image superresolution through deep convolutional neural network," Image Analysis and Recognition: 16th International Conference, ICIAR 2019, Waterloo, ON, Canada, Aug. 2019.
  12. Y. Choi, N. Kim, S. Hwang, K. Park, J. Yoon, K. An, and I. Kweon, "KAIST multi-spectral day/night data set for autonomous and assisted driving," IEEE Transactions on Intelligent Transportation Systems, vol. 19, no. 3, 2018, pp. 934-948. https://doi.org/10.1109/TITS.2018.2791533
  13. P. Cascarano, F. Corsini, S. Gandolfi, E. L. Piccolomini, E. Mandanici, L. Tavasci, and F. Zama, "Super-resolution of thermal images using an automatic total variation based method," Remote Sensing, vol. 12, no. 10, 2020, p. 1642.