DOI QR코드

DOI QR Code

A Study of the Scene-based NUC Using Image-patch Homogeneity for an Airborne Focal-plane-array IR Camera

영상 패치 균질도를 이용한 항공 탑재 초점면배열 중적외선 카메라 영상 기반 불균일 보정 기법 연구

  • Received : 2022.04.07
  • Accepted : 2022.07.19
  • Published : 2022.08.25

Abstract

The detector of a focal-plane-array mid-wave infrared (MWIR) camera has different response characteristics for each detector pixel, resulting in nonuniformity between detector pixels. In addition, image nonuniformity occurs due to heat generation inside the camera during operation. To solve this problem, in the process of camera manufacturing it is common to use a gain-and-offset table generated from a blackbody to correct the difference between detector pixels. One method of correcting nonuniformity due to internal heat generation during the operation of the camera generates a new offset value based on input frame images. This paper proposes a technique for dividing an input image into block image patches and generating offset values using only homogeneous patches, to correct the nonuniformity that occurs during camera operation. The proposed technique may not only generate a nonuniformity-correction offset that can prevent motion marks due to camera-gaze movement of the acquired image, but may also improve nonuniformity-correction performance with a small number of input images. Experimental results show that distortion such as flow marks does not occur, and good correction performance can be confirmed even with half the number of input images or fewer, compared to the traditional method.

중적외선 카메라의 초점면배열 검출기는 검출기 화소마다 응답 특성이 달라 검출기 화소 간 불균일이 발생한다. 또한 카메라 운용 중 카메라 내부 발열 등의 영향으로도 영상에 불균일이 발생한다. 이 문제를 해결하기 위해 카메라 제작 단계에서 흑체를 이용해 검출기 화소 간 차이 교정용으로 이득과 오프셋 테이블을 생성해 보정하는 것이 일반적이다. 장비 운용 중 내부 발열 등에 의한 불균일을 보정하는 방법은 입력 영상을 기반으로 한 새로운 오프셋 값을 생성하는 방법을 사용한다. 본 논문에서는 장비 운용 중 발생하는 영상 불균일 보정을 위한 방법으로 입력되는 영상을 블록 형태의 패치로 분할한 후 균질한 영상 패치만 불균일 보정 테이블 생성에 사용하는 기법을 제안하였다. 제안된 기법은 불균일 보정 테이블 생성을 위해 획득하는 영상의 카메라 시선 움직임으로 인해 발생하는 움직임 자국 형태의 인공 패턴 노이즈 발생을 방지할 뿐만 아니라, 적은 수의 영상으로도 불균일 보정 성능 향상을 꾀할 수 있다. 실험 결과 기존 전통적인 영상 기반 불균일 보정 방법에서 발생하는 영상 흐름 자국 형태의 왜곡이 발생하지 않았으며 기존 방법 대비 50% 이상 적은 수의 영상으로도 양호한 보정 성능을 확인할 수 있었다.

Keywords

References

  1. M. Schulz and L. Caldwell, "Nonuniformity correction and correctability of infrared focal plane arrays," Infrared Phys. Technol. 36, 763-777 (1995). https://doi.org/10.1016/1350-4495(94)00002-3
  2. W. Isoz, T. Svensson, and I. Renhorn, "Nonuniformity correction of infrared focal plane arrays," Proc. SPIE 5783, 949-960 (2005).
  3. M. Broekaert and B. N. Payrat, "Nonlinearity and nonuniformity corrections for the IRIS family of IRCCD thermal imagers," Proc. SPIE 2269, 507-523 (1994).
  4. D. L. Perry and E. L. Dereniak, "Linear theory of nonuniformity correction in infrared staring sensors," Opt. Eng. 32, 1854- 1859 (1993). https://doi.org/10.1117/12.145601
  5. H.-J. Hyun and B.-I. Choi, "A improved scene based nonuniformity correction algorithm for infrared camera," J. Korea Soc. Comput. Inform. 23, 67-74 (2018).
  6. J. G. Harris and Y. M. Chiang, "Nonuniformity correction of infrared image sequences using the constant-statistics constraint," IEEE Trans. Image Process. 8, 1148-1151 (1999). https://doi.org/10.1109/83.777098
  7. S. Ding, D. Wang, and T. Zhang, "A median-ratio scene-based non-uniformity correction methed for airborne infrared point target detection system," Sensors 20, 3273 (2020). https://doi.org/10.3390/s20113273
  8. J. Zeng, X. Sui, and H. Gao, "Adaptive image-registration-based nonuniformity correction algorithm with ghost artifacts eliminating for infrared focal plane arrays," IEEE Photonics J. 7, 6803016 (2015).
  9. C. Zuo, Q. Chen, G. Gu, and X. Sui, "Scene-based nonuniformity correction algorithm based on interframe registration," J. Opt. Soc. Am. A 28, 1164-1176 (2011). https://doi.org/10.1364/JOSAA.28.001164
  10. A. Boutemedjet, C. Deng, and B. Zhao, "Robust approach for nonuniformity correction in infrared focal plane array," Sensors 16, 1890 (2016). https://doi.org/10.3390/s16111890
  11. Y.-H. Hong, K.-J. Lee, and H.-J. Kim, "Scene-based nonuniformity correction complemented by block reweighting and global offset initialization," J. Korea Soc. Comput. Inform. 22, 15-23 (2017). https://doi.org/10.9708/jksci.2017.22.01.015
  12. Y. Yu, L. Li, H. Feng, Z. Xu, Q. Li, Y. Chen, and H. Hu, "Adaptive neural network non-uniformity correction algorithm for infrared focal plane array based on bi-exponential edge-preserving smoother," Proc. SPIE 10462, 1046215 (2017).
  13. D. A. Scribner, K. A. Sarkady, J. T. Caufield, M. R. Kruer, G. Katz, C. J. Gridley, and C. Herman, "Nonuniformity correction for staring IR focal plane arrays using scene-based techniques," Proc. SPIE 1308, 224-233 (1990).
  14. J. Guan, R. Lai, A. Xiong, Z. Liu, and L. Gu, "Fixed pattern noise reduction for infrared images based on cascade residual attention CNN," Neurocomputing 377, 301-313 (2019).