AI 기반 항공기 광학 탐지 장치 성능 개선을 위한 합성 이미지 활용 연구

AI Image Restoration Based on Synthetic Image for Improving Aircraft Optical Detection

Abstract

본 연구는 야간 환경에서 발생하는 조명과 노이즈에 의한 이미지 왜곡을 저감하고, 적외선 탐지 장치의 성능을 향상시키기 위해 AI 기반 이미지 복원 기술을 제안한다. 이를 위해 가시광선 이미지를 기반으로 다양한 조명 조건과 ISO 값을 반영한 합성 이미지 데이터셋을 구축하고, 딥러닝 모델(AutoEncoder 및 U-Net)을 활용하여 원본 이미지 복원 성능을 확인하였다. 실험 결과, Multi-ISO 모델(9채널)이 Single-ISO 모델(3채널)보다 전반적으로 우수한 성능을 보였으며, 특히 다양한 ISO 값을 활용한 입력 데이터가 이미지 복원 성능을 향상시킴을 입증하였다. 본 연구는 실제 데이터 수집이 어려운 상황에서도 합성 데이터를 통해 AI 모델을 효과적으로 학습시키고, 이미지 복원에 적용할 수 있음을 확인하였다. 이러한 연구 결과는 AI를 활용한 광학 탐지 장치의 성능을 향상시키는 데 기여할 수 있을 것으로 기대된다.

This study proposes an AI-based image restoration technique to reduce image distortion caused by lighting and noise in nighttime environments and improve the performance of infrared detection systems. A synthetic image dataset was constructed using visible light images under various lighting conditions and ISO settings, and deep learning models (AutoEncoder and U-Net) were trained to assess image restoration performance. Experimental results show that the Multi-ISO model (9-channel) outperforms the Single-ISO model (3-channel), especially when utilizing input data with multiple ISO values. This study demonstrates that AI models can be effectively trained using synthetic data, even when real data collection is challenging, and can be applied to image restoration tasks. These findings are expected to contribute to enhancing the performance of optical detection systems through AI-based technology.

Ⅰ. 서론

적외선 탐지장치는 야간 및 악천후 상황에서 지상 및 해상의 탐지 및 식별에 매우 중요한 역할을 한다. 그러나 야간 환경에서 조명(탐지등 등)에 의한 빛의 왜곡은 탐지를 어렵게 하는 요인이 된다. 최근 다양한 AI 기반 기술을 이용한 이미지 복원 기술이 제안되어왔으나, 적외선 탐지장치에 적용할 이미지 복원 기술은 다소 부족한 상황이다.

적외선 탐지장치를 이용한 이미지 복원 기술을 개발하기 위해서는, 적외선 탐지장치로 촬영한 이미지와 GT (ground truth)인 원본 이미지를 모두 구해야 정확하고 정밀한 이미지 복원이 가능하다. 그러나 학습을 위한 다수의 적외선 이미지를 얻기 힘들뿐더러 GT인 원본 이미지를 구하기 힘들어 한계가 있다.

본 논문에서는 적외선 이미지 복원을 위한 AI 모델개발의 첫 번째 단계로 1) 데이터가 많은 가시광선 이미지셋을 기반으로 2) 다양한 조명 조건과 ISO 값을 적용한 합성 이미지 데이터셋을 구축하고, 이를 통해 3) 강한 조명과 어둠으로 인한 왜곡 및 정보 손실을 효과적으로 복원하는 AI 모델을 학습시키고 평가하고자 한다. 특히, 서로 다른 ISO 값을 갖는 3개 이미지(9채널)를 input으로 설정하여, 이미지의 복원의 효율을 높이고자 하였다.

1.1 관련 연구

1. 적외선 탐지 기술: 적외선 탐지 기술은 엔진 및 배기가스에서 방출되는 열을 감지하여, 야간이나 악천후 상황에서도 목표를 탐지하고 식별할 수 있는 핵심 기술이다. 기존 적외선 탐지 방식은 냉각형 또는 비냉각형 적외선 검출기를 사용하여 적외선 신호를 전기 신호로 변환하고, 이를 통해 목표의 위치 및 이동 경로를 파악한다[1]. 그러나 광 포화와 대기조건 변화로 인해 탐지 성능이 저하되는 문제가 있다[2].

2. OpenCV 이미지 처리 기술: OpenCV는 컴퓨터 비전 처리를 위한 오픈소스 라이브러리로, 다양한 환경에서 광범위하게 사용된다[3]. 본 연구에서는 가시광선 이미지를 기반으로 탐조등 및 ISO 값에 따른 이미지 변화를 시뮬레이션 하는 데 OpenCV를 활용하였다. OpenCV의 조명 효과 합성 및 ISO 변화 시뮬레이션을 통해 실제 이미지에서 발생할 수 있는 노이즈 및 왜곡을 재현하였다.

3. AI 기반 이미지 복원 기술: 최근 딥러닝 기술의 발전으로, 이미지 복원 분야에서도 괄목할 만한 성과가 나타나고 있다. 특히, 합성곱 신경망(CNN) 기반의 U-Net[4]과 생성적 적대 신경망(GAN)[5]은 노이즈 제거, 해상도 향상, 손상 복구 등의 이미지 복원 작업에 효과적으로 활용되고 있다. 이러한 AI 기반 기술은 전통적인 이미지 처리 기법에 비해 높은 성능과 범용성을 제공하며 다양한 분야에서 활용 가능성을 보인다[6].

4. 합성 데이터 활용 연구: 합성 데이터는 실제 데이터 수집의 어려움이나 비용 문제를 해결하기 위해 다양한 분야에서 활용되고 있다. 특히 컴퓨터 비전 분야에서는 객체 탐지, 자율 주행 등의 작업에서 합성 데이터를 활용한 연구가 활발히 진행되고 있다[7]. 합성 데이터는 실제 데이터와 유사한 통계적 특성을 가지고 생성되며, 딥러닝 모델 학습에 효과적으로 사용될 수 있다.

1.2 본 연구와의 관계

본 연구는 광학탐지기의 생성 이미지에서 빛의 왜곡을 최소화하고, 원본 이미지 복원을 목표로 한다. 이를 위해, 가시광선 이미지를 기반으로 다양한 조명 조건과 ISO 값을 반영한 합성 이미지 데이터셋을 구축하였다. 이를 통해 딥러닝 모델을 학습시키고, 빛의 왜곡을 효과적으로 제거하는 이미지 복원 기술을 제안한다. 합성 데이터를 사용하여 실제 데이터 수집의 한계를 극복하고, 모델의 학습 효율성을 높일 수 있었다. 본 연구의 결과는 기존 적외선 탐지 방식의 한계를 극복하고, 야간 환경에서의 광학 탐지장치의 탐지 및 식별 능력을 향상시킬 것으로 기대된다.

Ⅱ. 합성 데이터 기반 이미지 복원

2.1. 제안하는 방법

본 연구에서는 합성 이미지 데이터셋을 구축하고, 이를 활용하여 딥러닝 기반의 이미지 복원 모델을 학습시킨다. 이를 통해 조명 왜곡과 ISO 값 변화에 따른 노이즈를 효과적으로 제거하고, 원본 이미지를 복원한다.

1. 이미지 수집: 본 연구에서는 AI 모델 학습을 위해 가시광선 이미지를 사용하였으며, 학습용 이미지 데이터셋으로 Voxel51 Inc.에서 제공하는 오픈소스 이미지 관리 도구인 Fiftyone의 Quickstart와 Places 데이터셋을 활용하였다. Fiftyone은 데이터 과학자와 머신 러닝 엔지니어들이 대규모 이미지 데이터셋을 탐색하고 관리하는 데 널리 사용되는 도구이다. 이 데이터셋은 https://voxel51.com/fiftyone에서 제공받았다. 이 오픈 이미지 데이터셋을 기반으로 탐조등 및 ISO 값에 따른 이미지 변화를 시뮬레이션 하여 새로운 합성 이미지를 생성하였다. 생성된 합성 이미지를 훈련셋과 검증셋으로 분할하여, AI 모델 학습 및 성능 평가에 활용하였다.

본 연구에서 가시광선 이미지를 사용하였는데 그 이유는 학습용 이미지셋을 구비하기 쉽고, 실험자가 산술적인 이미지 복원 성능 판단 이전에 그 결과를 직관적으로 평가하기 용이하기 때문이다. 또한, AI를 이용한 합성 이미지 셋의 개선 효과를 확인하는 것이 본 연구의 주된 목적이므로, 가시광선 이미지 채택은 적합하다고 판단하였다. 각 가시광선 이미지는 3채널(RGB)을 포함하며, 여기에 ISO 3종(100, 200, 400)을 적용하여 9채널 입력으로 구성하였다.

2. 합성 이미지 생성: 본 연구에서는 다양한 조명 조건과 ISO 설정에서 광학 탐지장치의 이미지를 시뮬레이션하기 위해 가시광선 이미지를 기반으로 타원형 조명 조사 시뮬레이션, ISO값 변화 시뮬레이션(정보손실 및 노이즈 추가)으로 OpenCV 라이브러리를 이용하여 진행하였다 (표 1). 이는 뉴럴 네트워크 학습을 위한 충분한 수준의 ISO 조건 하에서 인공광원에 의한 광왜곡이 적용된 실제 이미지셋을 구하는 것이 현실적으로 어려우며, 유관 선행 연구에서 합성 데이터를 활용한 AI모델 학습을 통해 노이즈 저감 효과가 확인되었기 때문이다[8]-[9].

표 1. 합성 이미지 생성을 위한 의사코드.

Table 1. Pseudocode for synthetic image generation.

* 타원형 조명 시뮬레이션: OpenCV를 활용해 타원형 마스크를 생성하고 다양한 조명 효과를 시뮬레이션 하였다. 조명의 강도, 크기, 회전 각도는 무작위로 설정하여 다양한 환경을 모사하였다. 구현의 복잡도를 줄이기 위해 조명 색상은 흰색으로 통일하였으며, 강도는 무작위로 설정하여 마스크 영역에 합성하였다. 마지막으로, 원본 이미지와 조명 마스크 이미지 사이에 임의의 가중치를 부여하여 두 이미지 합성 시 조명 효과의 강도를 조절하였다. 동일 또는 유사한 장면에서 다수의 이미지를 합성해 손실된 이미지 정보를 복원하는 기술이 개발된 바 있으며[10], 이를 바탕으로 조명에 의한 이미지 정보 손실 또한 뉴럴 네트워크를 통해 복원할 수 있을 것으로 판단하였다.

* ISO 값 변화 시뮬레이션: ISO 값에 따라 발생하는 가우시안 노이즈와 밝기 변화를 시뮬레이션 하여 이미지에 추가하였다. ISO 값이 커질수록 노이즈가 증가하며, 그에 따라 이미지 왜곡도 심화된다[11]-[13]. 노이즈 및 밝기 변화로 인해 색상 범위가 벗어나지 않도록 클리핑 처리를 통해 색상을 유지하였다. 또한 이미지 처리 과정에서 발생하는 정보 손실을 고려하여 이미지의 색 깊이를 4비트로 제한함으로써 색 왜곡(정보 손실) 효과를 구현하였다.(그림 1)

그림 1. 뉴럴 네트워크 학습에 사용된 원본 이미지와 이에 대응되는 합성 이미지 샘플.

Fig. 1. The original image and its corresponding synthetically augmented samples used to train the neural network.

3. AI 모델 학습: 본 연구에서는 AutoEncoder와 U-Net 기반 딥러닝 모델을 활용하여 저조도 및 빛 왜곡이 포함된 이미지를 원본 상태로 복원하는 작업을 수행하였다. 또한, 입력 이미지의 채널 수를 9개로 설정하여 모델 학습을 진행하였으며 비교대상으로 3채널의 1개 이미지를 입력받는 모델도 학습하였다.

* AutoEncoder 모델: AutoEncoder는 입력 이미지를 압축된 표현으로 인코딩한 후, 이를 다시 원본 이미지로 디코딩하는 비지도 학습 모델이다. 이 과정에서 이미지의 핵심 정보를 추출할 수 있어 이미지 복원에 많이 사용되는 모델 중 하나이다.

본 연구에서는 입력 이미지의 채널을 9개로 설정하고, 압축된 특징 벡터를 통해 저조도 이미지의 핵심 정보를 추출하여 원본 이미지 복원에 활용하였다. 사용된 AutoEncoder의 세부 구조는 표 2에 상세히 기술하였다.

표 2. 사용된 오토인코더 모델의 의사코드.

Table 2. Pseudocode for applied Auto-Encoder model.

* U-Net : U-net은 인코더-디코더 구조에 skip connection을 적용하여 이미지의 전역적 특징과 세부 정보를 모두 학습할 수 있는 모델이다. 본 연구에 사용된 U-Net의 세부 구조는 표 3에 상세히 기술하였다.

표 3. 사용된 U-Net 모델의 의사코드.

Table 3. Pseudocode for applied U-Net model.

2.2. 손실함수 및 평가지표

* 손실 함수: 모델 학습 과정에서는 평균 제곱 오차(MSE)를 손실 함수로 사용하여, 합성 이미지와 원본 이미지 간의 차이를 측정하였다(식1).

* PSNR (Peak Signal-to-Noise Ratio): 복원된 이미지가 원본과 얼마나 유사한지를 평가하기 위해 PSNR 지표를 사용하였다. PSNR 값이 높을수록 복원된 이미지가 원본 이미지와 더 유사하다는 의미다(식2)[14]-[15].

\(\begin{align}M S E=\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-\hat{x_{i}}\right)^{2}\end{align}\)       (1)

\(\begin{align}P S N R=10 \times \log _{10}\left(\frac{M A X_{I}^{2}}{M S E}\right)\end{align}\)       (2)

MAX_I: 이미지 데이터의 최댓값, x_i: 원본 이미지의 각 픽셀 값, \(\begin{align}\hat {x}_i\end{align}\): 예측된 이미지의 각 픽셀 값, n: 전체 픽셀 수

2.3. 모델학습 과정

1. 데이터 로딩 및 전 처리: 구축된 합성 이미지 데이터셋을 불러오고, 훈련, 검증셋으로 분할한다. 이미지 크기를 모델 입력에 맞게 조정하고 픽셀 값을 정규화 하는 등 필요한 전 처리 과정을 수행한다.

2. 모델 생성 및 설정: AutoEncoder 또는 U-Net 모델을 생성하고 GPU를 활용하여 학습 속도를 높인다. 이후 옵티마이자(Optimizer)와 손실 함수를 설정하고, 학습률(learning Rate) 등 하이퍼파라미터를 조정한다.

3. 모델학습: 훈련 데이터셋을 사용하여 모델을 학습시킨다. 매 Epoch마다 검증 데이터셋을 사용하여 모델 성능을 평가하고, 조기 종료(early stopping) 기법을 적용하여 과적합을 방지하였다.

4. 모델 평가: 학습된 모델을 테스트 데이터셋에 적용하여 PSNR 값을 계산하고, 모델 성능을 평가하였다. 마지막으로 시각적인 비교를 통해 복원된 이미지의 품질을 확인하였다.

2.4. 실험 및 결과

1. 실험 환경

* 하드웨어: AMD Ryzen 9 5950x CPU, NVIDIA GeForce RTX 3080Ti GPU, 64GB RAM, 소프트웨어 - Ubuntu 22.04 LTS, PyTorch 2.4.0, Python 3.10.12, Opencv-python 4.10, NumPy 2.1

* 데이터셋 구성: 본 연구에서는 Fiftyone 이미지 데이터셋 중 Quickstart와 Places 데이터셋을 활용하여, 다양한 배경과 장면을 포함한 이미지를 학습에 사용하였다. 데이터셋은 훈련셋과 검증셋으로 8:2 비율로 분할하여, 모델 학습과 성능 평가에 사용되었다. 본 논문에서 제시하는 결과 도출에는 Quickstart: 훈련셋-1600set, 검증셋-400set, Places: 훈련셋-4000set, 검증셋 1000set이 사용되었다.

2. 실험결과

* Multi-ISO 모델 학습 결과: U-Net과 AutoEncoder 모델을 각각 100 epoch 동안 학습시키고, MSE 손실 값과 PSNR 값을 모니터링 하여 모델 성능을 평가하였다(그림 2-5). Quickstart와 Places 데이터셋 모두에서 U-Net이 AutoEncoder보다 우수한 성능을 보였으며, 특히 풍부한 원본 데이터를 포함한 Places 데이터셋에서 더 나은 성능을 기록하였다(표 4). 이는 두 데이터셋의 개수 차이로, Quickstart는 총 2000개의 데이터셋으로 학습을 진행한 반면, Places 데이터셋은 총 5000개의 데이터셋으로 학습을 진행하였다. 데이터셋의 개수가 많을수록 학습 효과가 뛰어난 것은 기존 논문들에서도 확인할 수 있는 결과이다. 또한 U-Net의 복잡한 구조가 AutoEncoder보다 학습 효과가 뛰어나다는 점을 고려했을 때, 이는 예상된 결과로 보인다.

그림 2. 오토인코더와 U-Net의 PSNR 값 비교(Quickstart 자료셋).

Fig. 2. PSNR for AutoEncoder vs. U-Net(Quickstart dataset).

그림 3. 오토인코더와 U-Net의 MSE 값 비교(Quickstart 자료셋).

Fig. 3. MSE for AutoEncoder vs. U-Net(Quickstart dataset).

표 4. 오토인코더와 U-Net 모델의 시험과 검증 결과.

Table 4. Test and validation results for AutoEncoder and U-Net models.

그림 4. 오토인코더와 U-Net의 PSNR값 비교(Places 자료셋).

Fig. 4. PSNR for AutoEncoder vs. U-Net(Places dataset).

그림 5. 오토인코더와 U-Net의 MSE값 비교(Places 자료셋).

Fig. 5. MSE for AutoEncoder vs. U-Net model(Places dataset).

* Single-ISO 모델 학습 결과: Multi-ISO(9채널)에서 우수한 성능을 보인 U-Net에 대해 ISO 100, 200, 400 각각의 모델 학습을 수행하여 세 가지 다른 학습 결과를 얻었다. 표 3의 모델과 비교해 Encoder의 1단계만 9채널에서 3채널로 변경하였다. ISO 값이 달라도 Single-ISO 모델은 Multi-ISO 모델의 성능에 미치지 못하였으며(표 5), 이미지로 확인한 결과 대부분의 샘플에서 확연한 차이를 보였다.(그림 6). Single-ISO 모델 중 ISO-200이 가장 우수한 성능을 보였는데, 이는 ISO-100 모델이 암부 정보 손실, ISO-400 모델이 명부 정보 손실 및 과다한 노이즈의 영향을 크게 받기 때문으로 보인다. 다만, Single-ISO 모델 들 간의 성능 순위는 샘플 이미지에 따라 뒤바뀌기도 하였다.

그림 6. 다중-ISO 모델(9채널)과 단일-ISO 모델(3채널)의 복원 이미지 샘플들 (U-Net).

Fig. 6. Restored image samples through multi-ISO model(9 ch.) and single-ISO models(3 ch.) (U-Net).

표 5. 다중과 단일 ISO 간 (9채널 대 3채널) 검증결과 비교.

Table. 5. Validation results for multi vs single ISO(9ch. vs 3ch).

* 종합 결과: Multi-ISO 모델이 가장 우수한 성능을 보였으며, ISO-200, ISO-100, ISO-400 순으로 성능이 감소하는 것으로 나타남. ISO-200 모델이 Single-ISO 중에서는 가장 우수한 성능을 보였으나, Multi-ISO 모델과 비교했을 때 MSE 기준으로 200%의 오차, PSNR 기준으로 91%의 복원율에 그쳤다. 이는 다양한 이미지에서 손실된 정보를 상호 보완할 수 있는 Multi-ISO 모델의 강점이 반영된 결과로 보인다. 다만, 본 연구에서는 모델의 구조와 파라미터를 파인튜닝하지 않았으며, 100 epoch라는 비교적 짧은 학습만을 수행했기 때문에 결과의 경향성만을 확인할 수 있었다. 수치 자체가 절대적인 의미를 가지지는 않으며, 9채널 대비 3채널 모델의 규모 및 경제성에 대한 논의도 포함하지 않았다.

Ⅴ. 결론

본 연구에서는 AI 기반 이미지 복원 기술을 활용하여 야간 환경에서 발생하는 조명과 노이즈로 인한 이미지 왜곡을 저감하는 방법을 제시하였다. 특히, 다양한 조명 조건과 ISO 값을 반영한 합성 이미지 데이터셋을 구축하고 이를 통해 딥러닝 모델(U-Net 및 AutoEncoder)을 학습시켜, 원본 이미지 복원 성능을 확인하였다. 이 연구는 실제 데이터를 수집하기 어려운 상황에서도 합성 이미지 데이터를 통해 효과적으로 AI 모델을 학습시키고, 이미지 복원에 적용할 수 있음을 보여주었다.

실험 결과, Multi-ISO 모델(9채널)이 Single-ISO 모델(3채널)보다 전반적으로 우수한 성능을 보였으며, 특히 복수의 ISO 값을 활용한 입력 데이터가 이미지 복원 성능을 크게 향상시킴을 입증하였다. Multi-ISO 모델은 MSE 손실과 PSNR 지표에서 더 나은 결과를 기록하며, 다양한 ISO 값에서 발생하는 정보 손실을 상호 보완할 수 있음을 확인하였다. 이를 통해 합성 데이터가 실제 환경에서 발생하는 다양한 변수를 시뮬레이션하고, 이를 기반으로 AI 모델을 학습시킴으로써 이미지 복원 성능을 향상시킬 수 있음을 보여주었다.

또한, 본 연구는 합성 데이터셋이 실제 데이터의 부족 문제를 해결할 수 있는 강력한 도구임을 확인하였으며, 합성 데이터를 기반으로 한 AI 모델 학습이 유의미한 성능을 낼 수 있음을 입증하였다. 이는 AI를 활용한 광학 탐지 장치의 이미지 복원 기술을 현실적으로 구현할 수 있음을 시사한다.

향후 연구에서는 GAN(생성적 적대 신경망)과 같은 더 발전된 신경망 기법을 활용하여 이미지 복원 성능을 더욱 향상시키는 동시에, 적외선 탐지기의 열영상(1채널) 데이터를 RGB 이미지(3채널)로 복원하는 기술을 연구할 필요가 있다. 이를 통해 실제 야간 환경에서도 사용자에게 직관적이고 신뢰성 있는 시각 정보를 제공하며, 광학 탐지 장치의 탐지 및 식별 능력을 향상시킬 수 있을 것으로 기대된다.