Visible and SWIR Satellite Image Fusion Using Multi-Resolution Transform Method Based on Haze-Guided Weight Map

Haze-Guided Weight Map 기반 다중해상도 변환 기법을 활용한 가시광 및 SWIR 위성영상 융합

Abstract

With the development of sensor and satellite technology, numerous high-resolution and multi-spectral satellite images have been available. Due to their wavelength-dependent reflection, transmission, and scattering characteristics, multi-spectral satellite images can provide complementary information for earth observation. In particular, the short-wave infrared (SWIR) band can penetrate certain types of atmospheric aerosols from the benefit of the reduced Rayleigh scattering effect, which allows for a clearer view and more detailed information to be captured from hazed surfaces compared to the visible band. In this study, we proposed a multi-resolution transform-based image fusion method to combine visible and SWIR satellite images. The purpose of the fusion method is to generate a single integrated image that incorporates complementary information such as detailed background information from the visible band and land cover information in the haze region from the SWIR band. For this purpose, this study applied the Laplacian pyramid-based multi-resolution transform method, which is a representative image decomposition approach for image fusion. Additionally, we modified the multiresolution fusion method by combining a haze-guided weight map based on the prior knowledge that SWIR bands contain more information in pixels from the haze region. The proposed method was validated using very high-resolution satellite images from Worldview-3, containing multi-spectral visible and SWIR bands. The experimental data including hazed areas with limited visibility caused by smoke from wildfires was utilized to validate the penetration properties of the proposed fusion method. Both quantitative and visual evaluations were conducted using image quality assessment indices. The results showed that the bright features from the SWIR bands in the hazed areas were successfully fused into the integrated feature maps without any loss of detailed information from the visible bands.

센서 및 위성 기술의 발전에 따라 전세계적으로 다양한 고해상도 다중대역 위성영상이 활용 가능해지고 있다. 다중대역 센서가 가지는 파장에 기인한 고유한 반사, 투과, 산란 특성에 따라 다중대역 위성영상은 지구 관측에 대한 다양한 상호보완적 지표정보를 제공한다. 특히, short-wave infrared (SWIR) 대역은 긴 파장으로 인해 가시광 대역에 비해 Rayleigh 산란에 적게 영향을 받으며, 이로 인해 특정 대기입자를 투과할 수 있다는 특징을 지닌다. 산불, 폭발 등에 의해 발생된 짙은 연기는 가시광 대역의 영상의 가시성을 저하시키고 일부 지역에 대한 지표를 차폐시키는데, SWIR 대역은 이러한 연기에 의해 가려진 지역에 대한 지표정보를 추가로 제공해주기도 한다. 본 연구에서는 이러한 SWIR 대역과 가시광 대역의 영상 정보를 융합하는 다중해상도 변환 기반의 영상 융합 기법을 제안하였다. 제안된 융합 기법의 목적은 상호보완적 관계에 있는 가시광 대역에서의 고해상도 세부적 배경정보와 SWIR 대역에서의 연기 지역에 대한 지표정보를 모두 내포하고 있는 단일 영상을 생성하는 것이다. 이를 위해 본 연구에서는 라플라시안(Laplacian) 피라미드 기반의 다중해상도 변환 기법을 가시광-SWIR 영상 융합에 적용하였다. 다중해상도 변환 기법은 영상 융합에 널리 활용되는 대표적인 영상분해 기반의 방법론으로, 각각의 원 영상을 다양한 스케일로 분해하여 융합하는 기법이다. 또한, 본 연구는 다중해상도 변환 기법에 haze-guided weight map을 융합한 방법론을 제안하였다. Haze-guided weight map은 SWIR 대역이 연기와 같은 특정 대기입자를 투과하여 지표에 대한 정보를 제공해줄 수 있다는 사전지식에 기반하여 제안된 알고리즘으로 다중해상도로 분해된 두 영상을 융합하는 기준이 되는 가중치 지도로써 활용되었다. 제안된 방법론은 가시광 및 SWIR 대역을 포함하고 있는 고해상도 다중대역 위성영상인 Worldview-3 위성영상을 활용하여 검증되었다. 실험 데이터는 주변 산불로 인해 연기가 발생하여 제한된 가시성을 지닌 연기 지역을 포함하고 있으며, 제안된 방법론의 투과 특성을 검증하기 위해 선정되었다. 제안된 기법에 대한 실험결과는 영상 품질 평가 지표를 활용한 정량평가 및 시각평가를 통해 분석되었으며, 결과분석을 통해 연기 지역에 대한 지표정보를 내포하는 SWIR 대역의 밝은 특징값과 가시광 대역 내의 고해상도 정보가 손실없이 최종 융합 영상에 내포됨을 확인할 수 있었다.

1. 서론

전 세계적으로 다양한 파장대역이 탑재된 위성이 발사 및 운용됨에 따라, 지구 표면에 대한 파장대별 고유한 정보가 내포된 다중대역 위성영상이 지구관측 및 분석에 활용되고 있다. 다중대역 위성영상은 지구의 대기·지표 구성에 따른 고유한 투과·반사·흡수·산란 특성에 기반하여 대역 간 상호보완적 관계에 있는 지표정보를 제공하며, 이에 보완적 지표 특성을 포함하고 있는 다중대역 영상을 융합하는 기술에 관한 다양한 연구가 수행되고 있다(Bai and Wang, 2015). 다양한 다중대역 중 short-wave infrared (SWIR) 대역은 특정 물질 및 대기 입자에 대하여 가시광 대역과는 차별화된 고유한 물리적 특성을 지니고 있으며(Stark et al., 2015), 이에 따라 정지 궤도 위성부터 Landsat 시리즈, Sentinel-2, 3 그리고 고해상도 위성영상인 Worldview-3에 이르기까지 다양한 유형의 위성에 탑재되어 활용되고 있다.

SWIR 대역은 수분에 강한 흡수 특성을 보여 산림 및 식생모니터링에활용될수있으며(Hunt et al., 2015;Collin et al., 2018; Hively et al., 2018; Ferreira et al., 2019; Sidike et al., 2019), 규산염 광물에서의 결합 작용에 의한 강한 흡수 현상을 보여 광물자원탐사에도 활용되곤 한다(Kruse and Perry, 2013; Kruse et al., 2015; Sun and Di, 2017). 또한, SWIR 대역은 긴 파장에 의해 특정 대기입자를 투과하는 특성을 가진다. 산불 및 폭발에 의한 연기 등의 대기입자는 입사된 광선에 대한 레일리 산란(Rayleigh scattering)을 일으켜 관측지점의 가시성을 악화시키게 된다. 레일리 산란은 파장의 네 제곱에 반비례하게 발생하는데, 이에 따라 가시광 대역보다 파장이 긴 SWIR 대역에서는 레일리 산란에 대한 영향이 줄어들며 결과적으로 연기를 투과한 지표정보가 제공된다. 이러한 특성에 기반하여, SWIR 대역은 재해재난 및 군 감시정찰과 같은 가시성과 연관된 원격탐사 활용 분야에서 고유한 활용성을 지닌다.

영상 융합은 상호보완적 정보를 지닌 두 개 이상의 영상을 융합하여 각 영상정보가 결합된 단일 영상을 생성해내는 기술이다(Du et al., 2013). Fig. 1은 원격탐사 감시정찰 분야에서의 영상 융합 기법의 활용을 보여준다(Zhang et al., 2017). 융합 영상은 가시광 영상과 infrared(IR) 영상이 융합된 결과이다. 융합된 영상에는 IR 대역에서만 확인할 수 있는 타겟에 대한 정보뿐만 아니라 가시광 대역에서 제공되는 질감, 형태, 패턴과 같은 주변 환경에 대한 고해상도의 세부정보도 내포되어 있는 것을 확인할 수 있다. 이와 같이 영상 융합 기술은 두 영상에 존재하는 상호보완적 정보를 융합함으로써 향상된 상황에 대한 인식 능력(situational awareness)과 탐지 성능(detection capacity)을 제공할 수 있다(Fay et al., 2005; Riley and Smith, 2006). 특히, 신속한 상황 판단 및 분석을 위한 시각적 판독이 동반되는 재해재난 및 감시정찰 분야에서는 영상 융합을 통해 중요한 정보가 집약된 단일 영상을 생성하여 활용하는 것이 중요하다.

Fig. 1. Surveillance application using visible-IR image fusion (Zhang et al., 2017): (a) IR image, (b) visible image, and (c) fusion image.

이러한 목적에 기반하여 다양한 영상 융합 기법이 가시광-IR 대역 간 융합, multi-focus 영상 융합, thermal infrared 영상 융합, 영상 향상(image enhancement) 등에서 연구되어 왔다. 영상 정보 융합 및 가시성 향상을 위한 영상 융합 기법은 다음의 7개 기법으로 구분할 수 있다(Ma et al., 2019): (1) 다중해상도 변환(multi-resolution transform), (2)sparse representation, (3) neural network, (4) subspace, (5) saliency, (6) hybrid, (7) 기타. 이 중 다중해상도 변환 기법은 원 영상을 다중 레벨(multi-level)의 요소로 분해하는 변환 기법을 활용하여 영상을 융합하는 기법으로 피라미드 기반, 웨이블릿 기반, contourlet 변환 기반 등과 같은 다양한 변환 기법들이 널리 연구되고 있는 영상 융합 접근법이다. 관련된 선행 연구에서는 다중해상도 변환 기법이 다양한 스케일로 구성되어 있는 실세계의 객체를 인지하는 인간의 시각체계와 일치하여 우수한 가시성을 지닌 융합 영상을 생성할 수 있음을 보였다. 이에 본 연구에서는 다양한 크기의 객체가 내포되어 있는 위성영상을 효과적으로 분해하고 융합하기 위하여 이러한 다중해상도 변환 기반의 접근법을 활용하였다.

그러나 다중대역 위성영상 분야에서 이러한 다중해상도 변환 기법을 비롯한 영상 융합 연구는 pan-sharpening과 같은 영상 향상 분야에 국한되어 왔다. 영상 향상 기법의 목적은 전정색 영상과 같은 고해상도의 영상을 활용하여 다중대역 저해상도 영상의 공간해상도를 향상시키는 것으로 파장대역별 투과·흡수·반사·산란에 의한 상호보완적 정보를 융합하는 것과는 차이가 있다. 전술한 바와 같이 대역간 지표정보가 집약되고 가시성이 향상된 단일 영상을 생성하는 융합 기법은 개선된 상황 인식능력을 제공하여 신속한 시각적 판독이 요구되는 분야에 활용될 수 있으며, 이에 다중대역 위성영상을 위한 영상정보 융합기법이 연구될 필요가 있다. 특히, SWIR 대역은 고유한 투과 및 반사 특성을 기반으로 가시광 대역과는 차별화된 지표정보를 제공해줄 수 있어 다양한 위성에 탑재되어 활용되고 있으나, 다중대역 위성영상의 SWIR 대역을 활용한 영상 융합 연구는 공간해상도 향상 기법에 국한되어 있으며 고유한 상호보완적 정보를 융합하는 연구는 수행된 바가 없다. 이에 본 연구에서는 SWIR 대역과 가시광 대역의 상호 보완적 정보를 융합하기 위한 다중해상도 변환 기법을 제안하였다. 특히, 영상 융합 시 SWIR 대역의 연기 투과 특성을 반영하기 위하여, 연기에 대한 정보가 담긴 haze-guided weight map을 다중해상도 변환 기법의 융합 단계에 적용하였다. 제안된 가시광 및 SWIR 영상 융합 기법은 산불에 의한 연기로 가시성이 극한적으로 제한된 지역을 촬영한 고해상도 위성영상, Worldview-3를 통해 검증되었다.

2. 연구자료 및 방법

2.1. 다중해상도 변환 기반 영상 융합 기법

다중해상도 변환 기반 영상 융합 기법은 객체를 다양한 스케일의 요소로 분해하여 인식하고 이로부터 각 영상의 중요한 정보를 융합하는 기법이다. 본 연구에서는 고해상도 다중대역 위성영상의 가시광 및 SWIR 대역의 융합을 위해 Vanmali and Gadre (2017)의 연구에서 제안된 다중해상도 변환 기반의 영상 융합 기법을 적용하였다. 먼저, 확보된 연기 발생 지역을 촬영한 고해상도 위성영상에 대하여 두 대역 간 방사적·기하적 차이를 보정하기 위한 전처리를 적용하였다. 전처리된 3채널의 가시광 영상은 hue, saturation, intensity (HSI) 성분으로 변환되었으며, 이 중 intensity 성분이 단일 대역의 SWIR 영상과의 융합에 활용되었다. 다중해상도 변환 기반 영상 융합 기법의 핵심적인 두 가지 요소는 분해 방법(decomposition method)과 융합 규칙(fusion rule)이다. 본 연구에서는 영상 분해 단계에서는 라플라시안 피라미드 기법이, 분해된 요소 간 융합 단계에서는 haze-guided weight map이 적용된 영상 융합 기법이 제안되었다.

2.1.1. Laplacian Pyramid

라플라시안(Laplacian) 피라미드는 영상을 여러 단계의 스케일로 분해하는 영상 처리 기법으로 가우시안(Gaussian) 필터를 합성곱하여 영상의 down-sampling 및 up-sampling을 수행하고 이로부터 피라미드 형태의 다중 스케일 영상을 추출하는 기법이다(Wang and Chang, 2011). 특히, 가우시안 피라미드끼리의 2차원 행렬 연산을 통해 얻어지는 라플라시안 피라미드는 원 영상의 다중 스케일 경계선(edge) 특징을 내포한다. 이에 Bulanon et al. (2009), Yu et al. (2014), Vanmali and Gadre (2017)의 연구에서는 다중해상도 변환 기법의 영상 분해 단계에서 라플라시안 피라미드 기법을 적용한 바 있다. Fig. 2는 라플라시안 피라미드를 추출하는 과정을 보여준다. 라플라시안 피라미드 과정에서는 가시광 대역의 intensity 영상과 SWIR 단일 대역 영상이 각각 프로세스의 원 영상(I_ori = G₀)으로 입력되고, 단계적 2차원 연산을 통해 피라미드 형태의 다중 스케일 특징 맵(feature map)이 출력된다. 각 i번째 단계에서의 가우시안 및 라플라시안 피라미드 연산 과정은 다음의 식으로 나타낼 수 있다.

Fig. 2. Process of Laplacian pyramid-based multi-resolution transform method.

G_i = Reduce[g(x, y) ⨂ G_i–1(x, y)]       (1)

L_i = G_i–1 – G'_i = G_i–1 – {R(x, y) ⨂ Expand[G_i](x, y)}       (2)

여기서 G_i는 i번째 가우시안 피라미드, L_i는 i번째 라플라시안 피라미드, Reduce는 down-sampling 연산, Expand는 up-sampling 연산, g(x, y)는 가우시안 필터, R(x, y)는 보간 필터(interpolation filter)를 의미한다. 가우시안 피라미드는 순차적인 가우시안 필터와의 합성곱 연산 및 down-sampling을 통해 추출되며, 라플라시안 피라미드는 이전 단계 가우시안 피라미드의 up-sampling 결과와 목표 단계 가우시안 피라미드와의 차 연산을 통해 추출된다. 각 단계의 피라미드는 다양한 스케일의 영상 특징들을 내포하게 되며, 두 영상으로부터 추출되는 각각의 피라미드 형태의 다중 스케일 특징 맵이 융합 규칙에 의해 합쳐지게 된다.

2.1.2. Haze-Guided Weight Map

라플라시안 피라미드 기법의 융합 규칙은 두 영상 간 상대적 가중치 지도에 의해 정의된다. 가중치 지도의 목적은 융합에 활용되는 두 영상 중 상대적인 정보량이 많은 부분을 강조하여 융합 영상의 가시성을 향상시키는데 있다. 이를 위해 먼저 본 연구에서는 Vanmali and Gadre (2017)에서 제안된 정보 융합(information fusion)에 근거한 가중치 지도를 적용하였다. Entropy, Contrast, Visibility 세 가지의 지표를 가중치 지도 생성에 활용하였으며, 융합에 활용된 영상 내 임의의 픽셀(x, y)에 대한 각 지표는 다음의 식으로 정의된다.

\(\begin{aligned}\operatorname{Entropy}(x, y)=\operatorname{Average}\left(\sum_{(i, j) \in \eta}-p(i, j) \log (p(i, j))\right)\end{aligned}\)       (3)

\(\begin{aligned}\operatorname{Contrast}(x, y)=\sqrt{\operatorname{Average}\left(\sum_{(i, j) \in \eta}(I(i, j)-\mu(i, j))^{2}\right)}\end{aligned}\)       (4)

\(\begin{aligned}\operatorname{Visibility}(x, y)=\sqrt{\left(I(x, y)-I(x, y) \otimes g\left(x, y, \sigma_{1}\right)\right)^{2} \otimes g\left(x, y, \sigma^{2}\right)}\end{aligned}\)       (5)

여기서 η는 주변 8개의 픽셀, p(i, j)는 픽셀 값의 확률적 분포, I(i, j)는 I 영상에서 (i, j)번째 픽셀 값, μ(i, j)는 (i, j) 픽셀들의 평균 값, g(x, y, σ)는 표준편차 σ를 가지는 가우시안 필터를 의미한다. 세 가지 지표의 가중 곱을 통해 가중치 지도가 계산되며, 가중치 지도의 값이 클수록 각 영상 내에 상대적 정보량이 많음을 의미한다. 정보 융합 기반의 가중치 지표와 더불어 본 연구에서는 haze-guided filter를 적용하였다. SWIR 대역은 고유한 물리적 특성에 의해 특정 대기입자를 투과할 수 있으며, 이를 통해 가시광 대역에서는 가시성을 확보하기 어려운 연기 지역에 대한 추가적 지표정보를 제공하기도 한다. 본 연구에서는 이러한 사전 지식에 기반하여 haze-guided weight map을 다중해상도 변환 기반 융합기법에 적용하였다. Haze-guided weight map은 다음과 같이 정의된다.

W^VIS(x, y) = W_haze(x, y) × [Entropy(x, y)^α × Contrast(x, y)^β × Visibility^γ]       (6)

\(\begin{aligned}W_{\text {haze }}(x, y)=\sum_{i \in B_{V I S}} C_{i} \times I_{i}(x, y)\end{aligned}\)       (7)

여기서 W^VIS는 가시광 영상에 대한 가중치 지도를, α, β, γ는 각각 Entropy, Contrast, Visibility 가중곱 계수를, B_VIS는 가시광 영상의 대역을, C_i 및 I_i는 i대역에 대한 haze-guided filter의 계수 및 밝기값을 의미한다. Haze-guided filter는 가시광 대역의 선형조합을 통해 계산되며, 값이 큰 픽셀일수록 연기가 짙은 지역을 의미한다. Haze-guided weight map은 두 영상으로부터 추출된 라플라시안 피라미드 간 융합에 사용되며, 다중 스케일 융합을 위해 가중치 지도 역시 가우시안 피라미드 형태로 분해되어 사용된다.

2.1.3. 가시광 및 SWIR 대역 융합

피라미드 형태로 분해된 특징 맵은 가장 낮은 단계의 가우시안 피라미드(G_N)와 라플라시안 피라미드를 통해 원 영상으로 복원될 수 있다. 본 연구에서는 haze-guided weight map을 기반으로 융합된 라플라시안 피라미드(L^fused_i)를 사용하여 융합 intensity 영상(I^fused)을 생성하였다. 융합 영상을 생성하는 단계는 아래 식과 같다.

I^fused = G^fused₀ = L^fused₁ + Expand(L^fused₂ + Expand(… Expand(G^fused_N)))       (8)

L^fused_i(x, y) = G_i{W^VIS(x, y)} × L^VIS_i(x, y) + G_i{W^SWIR(x,y)} × L^SWIR_i(x, y)       (9)

여기서 N은 피라미드 레벨을 의미한다. 융합된 라플라시안 피라미드에 사용되는 가시광 및 SWIR 대역의 가중치 지도는 상대 정규화가 적용되어 상대적 정보량의 비율을 나타내도록 조정되었다. 또한, 연기 지역에 대한 지표정보를 융합 영상에 내포시키기 위하여 융합된 가우시안 피라미드(G^fused_N)를 영상 복원에 사용하였다. 기존 연구에서는 대부분의 영상 정보가 가시광 대역에 존재하기 때문에, 영상 복원에 사용되는 가우시안 피라미드는 가시광 대역에서 추출된 가우시안 피라미드만을 사용한다. 그러나 짙은 연기가 존재하는 지역의 경우, 가시광 대역에서 취득할 수 있는 지표정보는 거의 존재하지 않으며 융합된 라플라시안 피라미드만으로는 영상 복원에 활용할 정보가 부족한 문제가 발생한다. 이에 본 연구에서는 SWIR 대역의 투과 효과를 활용하여 SWIR 대역의 가우시안 피라미드를 가시광 대역의 가우시안 피라미드와 융합하여 영상복원에 적용하였다. 마지막으로, 복원된 새로운 intensity 융합 영상(I^fused)과 기존 hue 및 saturation 영상을 통해 새로운 융합 가시광 영상을 생성하였다.

2.2. 자료 및 실험지역

본 연구에서는 고해상도 다중대역 위성영상인 Worldview-3를 활용하여 제안된 가시광-SWIR 영상 융합 기법을 검증하였다. Table 1은 실험에 사용된 Worldview-3 위성영상 자료에 대한 세부사항을 보여준다. Worldview-3 위성은 현재 운용되고 있는 위성 중 가장 높은 공간해상도의 자료를 제공해주는 위성으로 전정색 대역 기준으로 0.3 m의 공간해상도, 가시광 대역 기준으로 1.24 m의 공간해상도 영상을 제공한다. 이와 같은 다중분광(multi-spectral) 대역과 더불어 Worldview-3는 SWIR 대역의 영상을 3.7 m의 높은 공간해상도로 제공해준다. 가시광 대역이 포함된 다중분광 영상과 SWIR 영상 모두 각각 8개의 밴드로 제공되며, SWIR 영상의 파장대역의 경우 1,195 nm–2,365 nm 범위에 해당한다. 본 연구에서는 가시성 향상 효과를 검증하기 위하여 이와 같은 SWIR 대역을 포함하고 있는 고해상도 위성영상인 Worldview-3를 선정하였다.

Table 1. Experimental data

실험지역은 미국 캘리포니아 지역으로 선정하였다. 본 연구에서는 SWIR 대역의 연기 투과 효과에 기반한 영상 융합 기법을 제안하였다. 이에 기법 검증을 위한 실험 지역은 투과 효과를 분명하게 비교할 수 있는 산불 연기 발생 지역으로 선정하였다. 실험지역으로 선정된 두 자료 모두 미국 캘리포니아의 대형 산불로 인해 짙은 연기가 발생하여 극단적으로 가시성이 제한되었다는 공통점이 있다. Table 1에서 보이는 바와 같이, 가시광 영상에서는 짙은 산불 연기로 인해 지표정보를 거의 취득할 수 없는 지역이 포함되어 있으며, SWIR 영상에서는 해당 지역에 대한 지표정보가 연기를 투과하여 취득됨을 확인할 수 있다. 실험지역 A의 경우 연기로 인해 차폐된 지역의 대부분은 산림, 산맥과 같이 자연물로 구성되어 있으며, 실험지역 B는 산불 발생 주변 마을의 도로, 건물 등과 같은 인공물도 포함하고 있다.

2.3. 평가지표

본 연구에서 제안된 융합 기법에 대한 결과는 정량적·시각적으로 평가되었다. 정량평가를 위해 사용된 지표는 average local entropy (ALE) (Roberts et al., 2008), mean gradient (MG) (Uzair and Fayek, 2011), spatial frequency (SF) (Eskicioglu and Fisher, 1995)이며, 다음의 식으로 정의된다.

\(\begin{aligned}A L E=-\sum_{i}^{C} p_{i} \log p_{i}\end{aligned}\)       (10)

\(\begin{aligned}M G=\frac{1}{M N} \sum_{i}^{M} \sum_{j}^{N} \sqrt{\frac{\nabla I_{x}^{2}(i, j)+\nabla I_{y}^{2}(i, j)}{2}}\end{aligned}\)       (11)

\(\begin{aligned}S F=\sqrt{\sum_{i}^{M} \sum_{j}^{N}\left((I(i, j)-I(i, j-1))^{2}+(I(i, j)-I(i-1, j))^{2}\right)}\end{aligned}\)       (12)

여기서 C는 영상의 밴드 수, p_i는 밝기값의 확률적 분포, M과 N은 영상의 너비와 높이, I는 입력 영상을 의미한다. 3가지 평가지표는 모두 참조자료를 필요로 하지 않는다. 본 연구에서는 참조자료의 역할을 할 수 있는 동일 시기의 연기가 없는 맑은 가시광 영상을 취득하는 것이 불가하므로 이와 같은 영상 품질 평가지표를 사용하였다. ALE, MG, SF는 각각 entropy, gradient, frequency의 관점에서 영상이 내포하고 있는 정보량을 측정하는 지표로 값이 클수록 전체 영상의 정보량이 많음을 의미한다.

3. 연구결과 및 토의

Fig. 3은 제안된 기법을 통해 생성된 가시광 및 SWIR 융합 영상을 보여준다. 기법 적용 결과 영상(Fig. 3b, d)은 Worldview-3의 가시광 대역(다중대역 2, 3, 5번 밴드)과 SWIR 대역 8번 밴드를 융합하여 생성된 결과이다. 가시광 영상(Fig. 3a, c)에는 짙은 산불연기로 인해 가시성이 제한된 지역이 존재하며, 영상 융합 결과에서는 투과된 지표정보가 내포되어 가시성이 개선되었음을 시각적으로 확인할 수 있다. 연기로 인해 확인하기 어려웠던 산맥, 식생분포, 도로 등과 같은 토지피복에 대한 공간적·형태적 정보가 제안된 기법을 통해 SWIR 대역으로부터 추출되었으며, 이를 기반으로 투과된 지표정보가 가시광 대역의 색상정보와 융합되어 새로운 단일 영상이 생성되었다. 또한, 연기가 존재하지 않거나 옅은 연기로 인해 가시광 대역에서도 충분한 정보를 내포하고 있던 지역은 영상 융합 결과에서 역시 기존의 지표정보가 손실되지 않고 융합됨을 확인할 수 있다. 특히, 연기로 인해 왜곡된 색상 정보를 보정해주는 기존 연무제거 기법과는 달리 기존 영상 내 객체의 형태학적, 공간적 정보를 보존하는 형태로 융합이 이루어져 연기의 분포와 형태는 융합 영상에 남아있는 것을 확인할 수 있다.

Fig. 3. The original visible image and fusion result of the proposed method. (a) Original visible image in case A. (b) Fusion result in case A. (c) Original visible image in case B. (d) Fusion result in case B.

본 연구에서는 SWIR 대역의 연기 투과 특성을 활용하기 위하여 haze-guided weight map을 다중해상도 변환에 적용한 융합 기법을 제안하였다. 이와 더불어, 연기로 인해 가시광 대역에서의 가시성이 극단적으로 제한된 상황에서의 융합 효과를 향상시키기 위하여 영상 복원 시 SWIR 가우시안 피라미드와 융합된 새로운 피라미드를 생성하여 적용하였다. Fig. 4는 제안된 기법의 융합 결과를 융합 전 가시광 영상과 기존 다중해상도 변환 기법(Vanmali and Gadre, 2017)의 융합 결과와 비교하여 보여준다. Vanmali and Gadre (2017)에서 제안된 융합 기법은 본 연구와 동일한 다중해상도 변환 기법으로, 본 연구에서 새롭게 제안된 haze-guided weight map과 SWIR 융합 기반 가우시안 피라미드 기법 적용의 효과를 검증하기 위해 비교 기법으로 선정되었다. 최종 융합 결과(Fig. 4c, f)를 통해 제안된 SWIR 대역 특성에 기반한 융합 기법이 투과된 지표정보를 융합 영상에 효과적으로 주입시키는 것을 확인할 수 있다. Haze-guided weight map과 SWIR 융합 기반 가우시안 피라미드를 적용하지 않은 기존 기법(Fig. 4b, e)의 경우, 연기 지역에 대한 융합 결과가 융합 전 가시광 영상과 크게 차이나지 않는 것을 확인할 수 있다. 이는 기존의 가중치 지도가 연기 발생지역에 대하여 SWIR로부터 투과된 지표 정보를 충분히 추출해내지 못하였음을 의미한다. 반면, 제안된 기법에서는 SWIR 대역이 연기를 투과할 수 있다는 사전지식을 활용한 개선된 가중치 지도가 연기 발생 지역에 대하여 SWIR 대역의 정보를 효과적으로 강조하였다. 또한, 영상복원에 활용되는 가우시안 피라미드에 SWIR 대역의 정보를 융합하여 가시광 대역에서의 연기 지역에 대한 손실된 정보가 결과 영상에 내포된 것을 확인할 수 있다.

Fig. 4. Close-up view for comparison of the previous and the proposed method. (a) Original visible image in case A. (b) Result of Vanmail and Gadre (2017) in case A. (c) Result of the proposed method in case A. (d) Original visible image in case B. (e) Result of Vanmail and Gadre (2017) in case B. (f) Result of the proposed method in case B.

제안된 방법론에 대한 정량적 평가 결과는 Table 2에 나타내었다. 각 값은 SWIR 8개 밴드에 대한 융합 결과의 평균을 통해 계산되었다. 평가에 사용된 3가지 정량 지표를 기준으로, 제안된 기법을 통해 생성된 영상에는 융합 전 가시광 및 SWIR 영상에 비해 더 많은 정보량이 내포되었다. 또한, 제안된 방법론은 haze-guided weight map을 사용하지 않은 기존의 다중해상도 변환 기법보다 정보량의 측면에서 우수한 결과를 보였다. 시기와 지역이 다른 두 산불 발생 지역에 대하여 모두 동일한 양상의 개선된 결과를 확인할 수 있었다.

Table 2. Quantitative results of the proposed method

SWIR 대역은 가시광 대역에 비해 낮은 공간해상도를 가지며, 이는 SWIR 대역으로부터 지표정보를 추출하여 융합할 때 융합 영상에서의 공간해상도 저하를 발생시킬 수 있다. 이를 해결하기 위해서는, 영상의 정보량을 기준으로 가시광 영상의 고해상도 정보와 연기 투과 지역과 같이 SWIR 대역에서만 강조될 수 있는 지표 정보가 적절히 융합되어야 한다. Fig. 5는 제안된 융합 기법에 따른 고해상도 정보의 보존 여부를 보여준다. 가시광 영상(Fig. 5a)을 통해 차량, 컨테이너 등과 같은 소형 객체들이 해당 지역에 존재하는 것을 확인할 수 있다. 그러나 SWIR 영상(Fig. 5b)에서는 공간해상도의 한계로 인해 이러한 객체들에 대한 형태적 정보를 취득하기 어렵다. 제안된 가시광-SWIR 융합 기법의 결과(Fig. 5c)에서는 가시광 대역의 고해상도 정보를 손실없이 융합 영상에 주입시킨 것을 확인할 수 있다. 이는 연기지역이 포함된 단일 영상 내에서 SWIR 융합 기반 가우시안 피라미드를 동일하게 적용했음에도, 경계선과 같은 공간적·형태적 특징을 추출하는 라플라시안 피라미드로부터 고해상도의 공간정보가 손실없이 추출되었음을 보여준다.

Fig. 5. Close-up view showing the preservation of the high-detailed features in site A. (a) Original visible image. (b) Original SWIR image. (c) Fusion result of the proposed method.

Table 3과 Fig. 6은 융합에 사용되는 SWIR 영상의 밴드에 따른 차이를 보여준다. Structural similarity index measure (SSIM)은 두 영상 간의 구조적 유사도를 측정하는 지표로(Wang et al., 2004) 다음의 수식을 통해 정의된다.

Table 3. Comparison of the different SWIR bands in quantitative evaluation

Fig. 6. Close-up view for comparison of the different SWIR bands in case B. (a) Fusion result of the SWIR 1 band. (b) Fusion result of the SWIR 8 band.

\(\begin{aligned}\operatorname{SSIM}=\sum_{I_{1}, I_{2}} \frac{2 \mu_{1} \mu_{2}+C_{1}}{\mu_{1}^{2}+\mu_{2}^{2}+C_{1}} \cdot \frac{2 \sigma_{1} \sigma_{2}+C_{2}}{\sigma_{1}^{2}+\sigma_{2}^{2}+C_{2}} \cdot \frac{\sigma_{12}+C_{3}}{\sigma_{1} \sigma_{2}+C_{3}}\end{aligned}\)       (13)

여기서 μ와 σ는 각 영상 밝기값의 평균과 표준편차, C₁, C₂, C₃는 SSIM 알고리즘의 안정적 연산을 위한 하이퍼파라미터를 의미한다. SWIR 영상의 파장이 짧을수록 융합 결과 영상 및 가시광 영상 간 SSIM이 높은 값을 보이며, 이는 짧은 파장의 SWIR 밴드를 사용할 경우 더욱 가시광 영상과 유사한 융합 영상이 생성됨을 보여준다. 반면, SWIR 영상과 융합 결과 간의 SSIM은 파장이 길수록 우수한 값을 보였으며, 이는 가시광 영상과는 상반된 결과이다. 즉, SSIM 기반의 정량적 결과는 융합에 사용된 SWIR 영상의 파장이 길수록 향상된 연기 투과 효과로 인해 가시광 대역보다 SWIR 대역으로부터 더 많은 정보를 가져옴을 보여준다. 그러나 융합 영상의 총 정보량(ALE)의 관점에서는 파장이 짧은 SWIR 대역의 영상을 활용할 경우에 파장이 긴 경우보다 더 많은 정보가 내포됨을 확인할 수 있다. 이는 SWIR 대역 간 고주파 정보량의 차이에 기인한 것으로 분석된다. 실질적인 공간 분해능은 같은 3.70 m 공간해상도의 SWIR 밴드 내에서도 차이가 존재하며, 공간 분해능의 차이는 대역 간 고주파 정보량의 차이를 만들 수 있다.

이러한 고주파 정보량 차에 따른 융합 영상 간의 차이는 Fig. 6을 통해서 확인할 수 있다. Fig. 6(a)는 SWIR 1번 밴드의 영상을 사용하여 융합한 결과이며, Fig. 6(b)는 SWIR 8번 밴드의 영상을 사용한 융합 결과이다. 파장이 짧은 SWIR 영상을 사용한 경우(Fig. 6a), 연기 지역에 대한 식생의 패턴과 도로의 정밀한 형태와 같은 고주파 정보가 파장이 긴 경우(Fig. 6b)보다 더 잘 드러나는 것을 확인할 수 있다. 특히, 긴 파장의 SWIR 대역을 활용할 경우 가시광 대역의 고주파 정보(Fig. 6의 도로 부분)가 일부 손실되어 블러(blur)된 형태의 융합 결과물이 생성된 것을 확인할 수 있다. 즉, 가시광 대역에서의 고해상도 정보의 손실을 최소화하고 연기 지역에 대한 고주파 정보를 최대한 융합 영상에 내포시키기 위해서는 짧은 파장의 SWIR 영상을 사용해야 한다. 긴 파장의 SWIR 영상을 사용함에 따라 얻어지는 연기 투과 효과의 향상은 이러한 짧은 파장의 SWIR 영상 활용에 따른 고주파 정보량 향상 효과보다 적으며, 이로 인해 SWIR 파장이 길어질수록 총 정보량이 감소하는 것을 확인할 수 있다. 따라서 고해상도의 정밀한 정보가 최대한으로 내포된 융합 영상을 생성하고자 할 때에는 짧은 파장의 SWIR 영상을 활용하는 것이 적절하다. 그러나 투과가 어려운 짙은 연기 발생 지역이나 SWIR로 감지 가능한 고온의 열적 반응을 융합 영상에 내포해야 하는 경우에는 긴 파장의 SWIR 영상을 활용하는 것이 바람직하다.

4. 결론

전 세계적으로 다양한 다중대역 위성영상이 운용됨에 따라 다중대역별 상호보완적 정보를 융합하는 기술에 관한 요구가 증가하고 있다. 이에 본 연구에서는 고해상도 위성영상의 가시광 및 SWIR 대역을 융합하는 다중해사도 변환 기법을 제안하였다. 특히, SWIR이 가지는 특정 대기입자에 대한 투과 특성을 적극 활용하고자 haze-guided weight map을 적용한 라플라시안 피라미드 기법을 제안하였다. 제안된 기법은 실제 산불 연기 발생 지역인 미국 캘리포니아를 촬영한 고해상도 위성영상 Worldview-3를 사용하여 검증되었다.

융합 영상에는 SWIR 영상으로부터 얻어지는 투과된 지표정보가 효과적으로 주입된 것을 확인할 수 있었다. 가시광 영상에서는 연기로 인해 차폐되었던 산맥, 식생형태, 도로 등과 같은 객체들의 공간적 정보를 융합 영상에서는 확인할 수 있었으며, 전체 영상의 정보량 역시 제안된 기법의 결과 영상이 융합 전의 가시광 및 SWIR 영상보다 증가됨을 확인하였다. Haze-guided weight map과 SWIR 기반 융합된 가우시안 피라미드를 적용하지 않은 선행 연구와 비교하여 제안된 기법이 더욱 영상의 가시성 및 정보량을 효과적으로 향상시켰다. 또한, 제안된 기법은 가시광 영상의 고해상도 정보의 손실없이 융합 영상을 생성할 수 있었으며, 이를 통해 융합 전의 SWIR 영상에서는 식별하기 어려운 소형 객체의 형태적 특성을 융합 영상에서는 확인할 수 있었다. 본 연구에서는 융합에 사용된 SWIR 영상의 파장에 의한 영향을 분석하였으며, 정량적·시각적 평가를 통해 파장이 짧은 SWIR 영상을 사용할수록 가시광 영상으로부터 많은 정보를 가져옴을 알 수 있었다.

제안된 가시광-SWIR 융합 기법은 다음의 몇 가지 한계점을 지닌다. 먼저, 연기에 의해 차폐된 지역의 융합 결과에서는 분명한 색상정보가 생성되기 어렵다. 색상 정보를 주로 가져오는 가시광 영상에서의 연기 지역은 지표정보가 거의 존재하지 않으며, 이에 따라 융합 결과에서는 분광적 정보보다 SWIR 영상으로부터 추출되는 공간적 정보가 강조되는 특징이 있다. 또한, 연기 지역의 융합 결과의 공간해상도는 SWIR 영상의 저해상도를 따른다. 이 역시 지표정보가 전무한 가시광 영상으로부터 고해상도 정보를 추출해내지 못함에 기인하며, 결과적으로 단일 영상 내에서 연기 발생 유무에 따라 공간해상도의 차이가 발생하게 된다. 마지막으로, 투과 지역에 대해 생성된 RGB 분광값이 물리적 의미를 가지기 어렵다는 한계점이 존재한다. 제안된 기법을 정보가 존재하지 않던 픽셀의 intensity 값으로 SWIR과 융합된 새로운 intensity 값을 사용하는 방식으로, 이를 RGB로 복원하는 과정에서 투과된 지표에 대한 hue와 saturation 값이 존재하지 않아 분광적으로 유의미한 값을 생성해내기 어렵다. 이에 따라 생성된 융합 영상은 분광 값에 물리적 의미가 강조되는 생태 모니터링과 같은 활용 분야보다는 시각적 판독과 적절한 상황 인식 능력이 요구되는 감시정찰, 재해재난 대응 등의 분야에서 그 활용가치가 있을 것이라 생각한다.