Effect of Correcting Radiometric Inconsistency between Input Images on Spatio-temporal Fusion of Multi-sensor High-resolution Satellite Images

입력 영상의 방사학적 불일치 보정이 다중 센서 고해상도 위성영상의 시공간 융합에 미치는 영향

Abstract

In spatio-temporal fusion aiming at predicting images with both high spatial and temporal resolutionsfrom multi-sensor images, the radiometric inconsistency between input multi-sensor images may affect prediction performance. This study investigates the effect of radiometric correction, which compensate different spectral responses of multi-sensor satellite images, on the spatio-temporal fusion results. The effect of relative radiometric correction of input images was quantitatively analyzed through the case studies using Sentinel-2, PlanetScope, and RapidEye images obtained from two croplands. Prediction performance was improved when radiometrically corrected multi-sensor images were used asinput. In particular, the improvement in prediction performance wassubstantial when the correlation between input images was relatively low. Prediction performance could be improved by transforming multi-sensor images with different spectral responses into images with similar spectral responses and high correlation. These results indicate that radiometric correction is required to improve prediction performance in spatio-temporal fusion of multi-sensor satellite images with low correlation.

다중 센서 영상으로부터 공간 및 시간해상도가 모두 높은 영상을 예측하는 시공간 융합에서 다중 센서 영상의 방사학적 불일치는 예측 성능에 영향을 미칠 수 있다. 이 연구에서는 다중 센서 위성영상의 서로 다른 분광학적 특성을 보정하는 방사보정이 융합 결과에 미치는 영향을 분석하였다. 두 농경지에서 얻어진 Sentinel-2, PlanetScope 및 RapidEye 영상을 이용한 사례연구를 통해 상대 방사보정의 효과를 정량적으로 분석하였다. 사례연구 결과, 상대 방사보정을 적용한 다중 센서 영상을 사용하였을 때 융합의 예측 정확도가 향상되었다. 특히 입력 자료 간 상관성이 낮은 경우에 상대 방사보정에 의한 예측 정확도 향상이 두드러졌다. 분광 특성의 차이를 보이는 다중 센서 자료를 서로 유사하게 변환함으로써 예측 성능이 향상된 것으로 보인다. 이 결과를 통해 상대 방사보정은 상관성이 낮은 다중 센서 위성영상의 시공간 융합에서 예측 능력을 향상시키기 위해 필요할 것으로 판단된다.

1. 서론

동일 지역을 주기적으로 관측하여 제공되는 위성영상은 토지피복도 등의 주제도 제작, 변화 탐지, 작물 생산량 추정, 재해재난 모니터링 등 다양한 지구환경 정보 추출에 사용되어 왔다(Giri, 2012; Jang et al., 2021; Joyce et al., 2009; Kim et al., 2020; Zhu, 2017). 대부분의 위성영상은 위성의 촬영 목적 등에 따라 영상의 공간해상도와 시간해상도 사이에 트레이드 오프(trade-off)가 존재한다(Kim et al., 2020). 또한 현재 다양한 위성영상의 이용이 가능하지만, 광학 영상은 구름 등의 영향으로 실제 분석에 필요한 시기나 장기간의 영상 확보가 어려운 실정이다.

이러한 영상 이용의 한계를 극복하기 위해 시간해상도는 높으나 공간해상도가 낮은 영상과 공간해상도는 높으나 시간해상도가 낮은 영상을 융합하여 시간해상도와 공간해상도가 모두 높은 영상을 생성하는 시공간 융합(spatio-temporal fusion) 기술이 적용되고 있다(Fig. 1). 이 논문에서는 시공간 융합에 사용되는 공간해상도가 낮은 영상을 CS(coarse scale image) 자료, 공간해상도가 높은 영상을 FS(fine scale image) 자료로 표기하여 사용하고자 한다. 초기 시공간 융합 기술은 CS 자료와 FS 자료의 시간 및 공간해상도가 상호 보완적인 경우를 대상으로 개발되었으며, CS 자료로 MODIS 영상을, FS 자료로 Landsat 영상을 주로 이용하였다(Gevaert and García-Haro, 2015; Zhang et al., 2013). 최근에는 시간 및 공간해상도가 상이한 수많은 위성들이 개발됨에 따라 시공간 융합은 다중 센서 영상을 대상으로 적용이 확대되었다(Zhu et al., 2018).

Fig. 1. Illustration of the basic concept of spatio-temporal image fusion

시공간 융합은 (1) 시계열로 얻어진 CS 자료 사이의 관계성과 (2) CS 자료와 FS 자료가 동시에 얻어진 시기(T₀)에서 두 센서 자료 사이의 관계성을 모두 정량화 한 후에 CS 자료만 이용 가능한 시기(T_P)의 FS 자료 생성을 목적으로 한다. 시공간 융합 예측 성능은 기하학적 불일치, 방사학적 불일치, 저해상도 영상과 고해상도 영상의 해상도 차이 등에 영향을 받는 것으로 알려져 있다(Zhou et al., 2021). 기존 연구 중에서 Park et al. (2020)은 시공간 영상 융합에서 입력 자료 사이의 상관성이 높을수록 예측 능력이 향상된다고 보고하였다. 따라서 영상 촬영 시기에서의 대기 조건의 차이, 다중 센서 위성영상의 파장 영역 차이 등에 따른 방사학적 불일치는 시공간 융합의 예측 성능에 영향일 미칠 수 있다. 이에 이 연구에서는 전술한 요인들 중에서 T₀에서의 다중 센서 영상 이용에 따른 방사학적 불일치에 초점을 두고자 한다.

최근 고해상도 위성영상의 시간해상도를 높이기 위해 수많은 초소형 위성 군집으로 영상을 촬영하고 있는데, 대표적으로 PlanetScope 영상이 있다. 군집 위성영상에는 다수의 위성영상간 방사학적 불일치 문제가 나타난다고 보고되었는데(Wilson et al., 2017), 현재 방사보정이 적용된 버전의 영상이 제공되고 있다. 하지만 여전히 PlanetScope 영상은 Landsat과 같은 기존 위성영상과 비교했을 때 상대적으로 낮은 신호 대 잡음비(signal-tonoise ratio: SNR)를 보인다(Gabr et al., 2020; Houborg and McCabe, 2018). 만약 PlanetScope 영상을 시공간 융합의 FS 자료로 이용하는 경우에 CS 자료와의 방사학적 불일치가 더 크게 나타날 것이며, 이러한 불일치는 시공간 융합 결과의 예측 성능에 크게 영향을 미칠 수 있다.

현재까지 대부분의 시공간 융합 모델들은 T₀의 CS 자료와 FS 자료 간의 관계성을 추정하는 과정에서 방사학적 불일치가 일부 해소될 수 있다는 가정을 적용해서 입력 다중 센서 영상 사이의 방사학적 불일치에 따른 영향을 중점적으로 고려하지 않았다(Belgiu and Stein, 2019). 시공간 융합에 사용되는 다중 센서 영상의 방사보정에는 CS 자료와 FS 자료의 반사율 값 차이를 최소화하는 상대 방사보정 혹은 상대 방사정규화(relative radiometric normalization: RRN) 방법의 적용이 가능하다(Yang and Lo, 2000). 현재까지 상대 방사보정은 원격탐사 분야에서 변화탐지를 위한 전처리 과정으로 주로 적용되었으며(Canty et al., 2004; Du et al., 2002), 시공간 융합에 적용 된 사례는 매우 드물다. Zhao et al. (2018)는 시공간 융합 모델 RASTFM(robust adaptive spatial and temporal fusion model)의 적용 과정에서 T₀와 T_P에 획득된 CS 자료를 대상으로 상대 방사보정을 적용한 후에 T₀의 FS 자료와 융합하였다. 그러나 이 모델에서 상대 방사보정은 시간적인 불일치의 최소화를 위해 적용되었고, T₀에 획득된 CS 자료와 FS 자료 사이의 방사학적 불일치는 보정하지 않았다. 따라서 시공간 융합에서 사용되는 다중 센서 영상 간의 방사학적 불일치를 고려하여 입력 자료 보정의 영향을 별도로 분석할 필요가 있다.

이 연구에서는 시공간 융합에 영향을 미치는 여러 요인들 중에서 다중 센서 위성영상의 방사보정이 예측 성능에 미치는 영향을 정량적으로 분석하였다. 작물 재배지 모니터링을 목적으로 Sentinel-2 영상을 CS 자료로, RapidEye 영상과 PlanetScope 영상을 FS 자료로 사용하는 사례연구를 통해 상대 방사보정 여부에 따른 시공간 융합의 예측 성능을 비교하였다. 시공간 융합 모델로는 입력 자료의 반사율 차이를 예측 과정에 직접적으로 반영하는 STARFM(spatial and temporal adaptive reflectance fusion model; Gao et al., 2006)을 적용하였다. 방사학적 불일치의 영향을 정량적으로 살펴보기 위해 보정 전과 후의 입력 자료에서의 차이와 시공간 융합 결과에서의 차이로 구분하여 실험을 수행하였다. 실험 결과를 바탕으로 시공간 융합에서 입력 자료의 방사보정의 영향을 평가하고, 제안점을 도출하였다.

2. 연구 지역 및 사용 자료

국내에서는 소규모 필지에서 작물을 재배하기 때문에 작물 모니터링에는 고해상도 위성영상의 이용이 적합하다. 또한 작물의 식생 활력도가 높은 시기인 여름에는 구름이 없는 고해상도 위성영상 획득이 매우 어렵다. 따라서 작물 모니터링은 구름이 없는 시기에 촬영된 영상을 이용해 시계열 자료를 구축할 수 있는 시공간 융합의 적용성이 매우 높다. 이러한 이유로 이 연구에서는 우리나라 마늘과 양파 주산지인 경상남도 합천군 초계면과 논벼와 배추를 재배하는 전라남도 해남군 산이면의 일부 지역을 사례연구 지역으로 선정하였다(Fig. 2). 합천 연구 지역의 면적은 약 676 ha이며, 농경지는 평균 적으로 약 0.4~0.5 ha 면적을 갖는 필지로 구성되어 있다. 해남 연구 지역의 전체 면적은 약 1,156 ha이며, 평균 약 0.3~0.4 ha 크기의 밭과 약 0.9~1 ha 크기의 논이 분포하고, 호수 일부와 초지 등 다양한 토지피복이 대상지역 안에 존재한다.

Fig. 2. Sentinel-2 false color composite images (near infrared-red-green bands as R-G-B) in two study areas: (a) March 14, 2018 in Hapcheon and (b) June 2, 2019 in Haenam.

소규모 필지로 구성된 연구 지역을 대상으로 시공간 융합을 적용하기 위해 사례연구에는 Sentinel-2(S2) 영상, PlanetScope(PS) 영상 그리고 RapidEye(RE) 영상을 이용하였다(Table 1). 각 연구 지역에서 재배되는 작물의 생육주기를 고려하여 합천 지역은 3월과 5월 영상을, 해남 지역은 6월과 11월 영상을 사례연구에 이용하였다.

Table 1. Summary of S2, PS and RE images used in this study

S2 영상은 S2A와 S2B 두 개의 위성으로 영상을 촬영하는데 지속적인 검보정을 통해 비교적 안정된 품질의 영상을 제공한다. 반면 PS 영상은 약 130개 이상의 초소형 군집 위성으로부터 얻어지는데, SNR이 타 위성영상에 비해 상대적으로 낮은 것으로 알려져 있다(Latte and Lejeune, 2020; Sadeh et al., 2021). 이러한 특성을 갖는 PS 영상과 상대 방사보정의 영향을 비교하기 위해 5개의 소위성으로 구성된 RE 영상을 추가로 실험에 이용하였다. 원시 영상을 그대로 시공간 융합에 사용하지 않고, 모든 원시 영상을 대상으로 수치지도를 이용하여 기하 보정을 수행하였다

이 연구에서는 공간해상도가 다른 두 위성에 비해 상대적으로 낮은 S2 반사율 영상을 CS 자료로, S2 영상보다 공간해상도가 높은 PS 반사율 영상과 RE반사율 영상을 FS 자료로 간주하였다. PS 영상을 S2 영상과의 시공간 융합에 적용하기 위해서는 공간해상도를 S2 영상의 배수로 구성해야 하기 때문에 최근린 재배열 방법을 이용하여 PS 영상의 공간해상도를 2.5m로 변환하였다.

각기 다른 분광밴드를 가진 세 위성들의 파장 영역별 분광반응함수(spectral response function)를 보면(Fig. 3), RE 위성의 각 밴드별 파장 대역이 다른 두 위성에 비해 전반적으로 넓다. PS 위성은 영상의 버전이 바뀜에 따라 파장 영역이 바뀌었는데(Planet, 2021), 녹색과 근적외선 밴드는 다른 두 영상과 다소 차이를 보인다. 가시광선 밴드에서 세 위성의 파장 영역은 유사하지만, 식생 활력도와 가장 밀접한 관계가 있는 근적외선 밴드의 파장 영역은 차이를 보인다. 특히 PS 위성은 다른 두 영상해 높은 파장 영역을 가지기 때문에 겹치는 구간이 작다. 이처럼 대부분의 위성들이 서로 다른 센서로 촬영되어 파장 별 분광반응이 다르게 나타나기 때문에, 동일 지표 대상물이 위성별로 다른 반사율을 보일 수 있다. 이러한 차이는 T₀에 획득된 다중 센서 영상을 이용하는 시공간 융합의 예측 결과에 영향을 미칠 수 있다.

Fig. 3. Spectral response functions of S2, RE and PS in blue, green, red, red-edge, and NIR bands.

3. 방법론

연구의 목적은 시공간 융합에서 다중 센서 위성영상의 분광밴드별 방사학적 불일치를 줄이는 방사보정의 영향을 분석하는데 있다. 이를 위해 대상 영상의 반사율 값을 참조 영상의 값과 유사하게 변환하는 상대 방사보정을 적용한 후에 보정된 자료를 이용하여 시공간융합을 수행하였다(Fig. 4). 시공간 융합의 목적은 T_P의 FS 자료 예측에 있기 때문에 FS 자료의 특성을 최대한 유지하기 위해 FS 자료를 기준으로 CS 자료를 보정하였다. 즉 상대 방사보정이 적용될 대상 영상으로 CS 자료를, 참조 영상으로 FS 자료를 이용하였다. 먼저 CS 자료와 FS 자료의 분광학적 특성을 화소별로 비교하기 위해 CS 자료를 FS 자료의 해상도로 변환하는 재배열을 적용하였다. 이후 T₀와 T_P에 획득된 CS 자료에 대해 상대 방사보정을 수행한 후, T₀에 획득된 FS 자료를 함께 시공간 융합 모델에 적용하여 T_P의 FS 자료를 예측하였다.

Fig. 4. Flowchart showing the processing pipeline. SPIF refers to spectrally pseudo-invariant features. Blue and gray boxes represent RRN and spatio-temporal fusion steps, respectively.

1) 상대 방사보정

이 연구에서는 여러 상대 방사보정 방법론 중에서 기존 방법론 비교 연구 결과(Canty et al., 2004; Leach et al., 2019)를 참조해서 선형 회귀 기법을 적용하였다. T₀의 CS 자료와 FS 자료의 관계성이 T_P에서도 유지된다는 가정 하에, 두 자료는 동일한 혹은 분광학적으로 유사한 시기에 획득되어 높은 선형관계를 나타내기 때문에 선형 회귀 기법이 적합하다고 판단하였다.

선형 회귀 기반 상대 방사보정은 두 자료 사이에서 변화가 없는 동일 지점에서의 화소 값을 회귀 모델링에 이용하여 보정을 수행한다. 이 연구에서는 상대 방사보정 적용 단계를 분광학적인 변화가 없는 화소를 추출하는 과정과 선형 회귀를 통해 보정계수를 결정하는 과정으로 나누었다. 상대 방사보정이 주로 적용되는 변화 탐지에서는 시간에 따른 변화가 없는 지점을 PIF(pseudoinvariant feature)로 정의한다(Hong and Zhang, 2008). 다중 센서 위성영상에는 센서의 차이뿐만 아니라 촬영 각도, 촬영 시간차 등의 다양한 요인이 존재하는데, 이러한 요인들의 영향을 줄이고 두 영상 간의 분광 특성 차이를 최소화하기 위해 두 센서 영상에서 공통적인 분광 반응을 보이는 지점을 추출해야 한다. 이 연구는 두 시기에서 동일한 위성 센서로 촬영된 영상 사이의 관계성이 아니라, 다중 센서 위성영상 사이의 관계성을 추정하는 것이 목적이기 때문에 기존 PIF를 spectrally PIF(SPIF)로 재정의하였다. SPIF는 다중 센서 위성영상 모두에서 분광학적으로 차이가 없는 지점 혹은 화소를 의미하며, SPIF를 통해 서로 다른 센서로 촬영된 영상의 반사율 값 사이의 관계를 추정해서 보정이 가능해진다.

시공간 융합에서는 T₀와 T_P에 획득된 CS 자료가 모두 사용되기 때문에 두 시기의 CS 자료를 모두 FS 자료를 기준으로 보정하였다. 먼저 T₀에 얻어진 CS 자료와 FS 자료를 이용하여 SPIF를 추출한다. 시공간 융합에 입력으로 사용되는 TP의 CS 자료도 FS 자료와 방사학적 불일치가 존재하기 때문에 TP의 CS 자료와 T0의 FS 자료 사이의 SPIF도 별도로 추출하였다. 즉, T₀와 T_P에 획득된 CS 자료를 모두 FS 자료의 분광학적 특성에 맞게 보정을 한 후 시공간 융합의 입력 자료로 사용하게 된다.

이 연구에서는 두 자료의 유사도를 판단하는 기준으로 상관계수를 이용하였는데, 상관계수의 95%을 임계값으로 설정하여 임계값 이상의 분광 값을 갖는 화소들을 SPIF로 선택하였다. 즉 직접적으로 두 자료의 반사율 값을 비교하여 유사도가 가장 높은 상위 5%의 화소들을 추출하였다. 이 때 추출된 두 SPIF는 시기에 따른 토지피복의 변화에 영향을 받거나 다른 분광특성을 나타낼 수 있기 때문에 필터링을 추가로 적용하였다. 예를 들어, T₀의 CS자료와 FS 자료 사이에서 추출된 SPIF는 동일한 시기에서 분광학적으로 유사한 화소들이기 때문에 구조물뿐만 아니라 식생 관련 화소들이 포함될 수 있다. 반대로 T₀의 FS 자료와 TP의 CS 자료 사이에서 추출된 SPIF는 시간 및 분광학적으로 모두 유사한 화소이기 때문에 반사율 변화가 거의 없는 도로와 같은 구조물 화소들이 주로 추출될 가능성이 높다. 이때 두 SPIF의 공통되는 화소들을 추출함으로써 세 입력자료인 T₀의 CS 및 FS 자료와 T_P의 CS 자료에서 모두 분광학적으로 변화가 없는 유사 화소들의 추출이 가능하며 이런 화소들을 최종 SPIF로 선정하였다.

최종 SPIF를 기준으로 CS 자료와 FS 자료 간의 관계성은 선형 회귀 모델링을 적용하였다. T₀의 CS 자료에서 SPIF를 독립 변수로, T₀의 FS 자료에서 SPIF를 종속 변수로 설정하여 식 (1)의 선형 회귀식이 세워진다.

\(\mathrm{FS}\left(\mathrm{x}^{\prime}, \mathrm{y}^{\prime}, \mathrm{B}, \mathrm{T}_{0}\right)=\mathrm{a} \times \mathrm{CS}\left(\mathrm{x}^{\prime}, \mathrm{y}^{\prime}, \mathrm{B}, \mathrm{T}_{0}\right)+\mathrm{b}\)       (1)

여기서 x′와 y′는 밴드 B에서 SPIF의 위치를, 회귀계수 a와 b는 각각 회귀식의 기울기와 절편을 나타낸다.

추출된 회귀계수를 T0와 TP에 획득된 CS 자료에 적용함으로써 FS 자료와의 차이를 최소화하는 CSn 자료를 획득할 수 있다(식 (2), (3)).

\(\operatorname{CSn}\left(x, y, B, T_{0}\right)=a \times \operatorname{CS}\left(x, y, B, T_{0}\right)+b\)       (2)

\(\operatorname{CSn}\left(\mathrm{x}, \mathrm{y}, \mathrm{B}, \mathrm{T}_{\mathrm{P}}\right)=\mathrm{a} \times \operatorname{CS}\left(\mathrm{x}, \mathrm{y}, \mathrm{B}, \mathrm{T}_{\mathrm{P}}\right)+\mathrm{b}\)       (3)

여기서 x와 y는 밴드 B에서 영상 전체의 화소 위치를 의미하고 CSn은 상대 방사 보정된 CS 자료를 나타낸다.

2) 시공간 영상 융합

이 단계에서는 상대 방사 보정된 T₀와 T_P의 CSn 자료와 T₀의 원 FS 자료를 이용하여 T_P의 FS 자료를 예측한다. 이 연구에서는 예측 결과 생성을 위해 대표적인 시공간 융합 모델인 STARFM을 적용하였다(Gao et al., 2006). STARFM은 시공간 융합 과정에서 반사율 값만을 이용하기 때문에 방사보정 효과를 직관적으로 비교하기에 적합한 모델로 간주하여 선정하였다.

STARFM은 CSn 및 FS 자료의 시간, 공간, 분광학적 유사성을 고려하여 가중치를 계산하여 T_P의 FS 자료를 예측한다(식 (4)).

\(\begin{aligned} \mathrm{FS}\left(\mathrm{x}_{\mathrm{w} / 2}, \mathrm{y}_{\mathrm{w} / 2}, \mathrm{~B}, \mathrm{~T}_{\mathrm{P}}\right)=& \sum_{\mathrm{i}=1}^{\mathrm{W}} \sum_{\mathrm{j}=1}^{\mathrm{W}} \mathrm{W}_{\mathrm{ij}}\left[\operatorname{CSn}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{j}}, \mathrm{B}, \mathrm{T}_{\mathrm{P}}\right)\right.\\ &+\mathrm{FS}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{j}}, \mathrm{B}, \mathrm{T}_{0}\right) \\ &\left.-\mathrm{CSn}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{j}}, \mathrm{B}, \mathrm{T}_{0}\right)\right] \end{aligned}\)       (4)

여기서 w는 탐색창의 크기를 나타내며, x_w/2와 y_w/2는 예측하고자 하는 탐색창의 중앙화소를 나타낸다.

STARFM은 우선 FS 자료에서 일정 크기의 탐색창을 설정한 후, 탐색창에 포함되는 화소들의 표준편차와 클래스 수에 따른 임계 값을 설정하여 임계 값보다 작거나 같은 이웃 화소를 중앙 화소와 유사하다고 간주한다. 이후, (1) CSn 자료에서 T0와 TP 사이의 반사율 차이, (2) 탐색 창에서 중앙 화소와 이웃 화소들 간의 공간적 거리, 그리고 (3) CSn 및 FS 자료에서 이웃 화소들의 평균값 차이를 결합하여 가중치를 계산한다. 즉 시간, 공간, 분광학적으로 유사한 화소들에 가중치를 높게 부여하여 중앙 화소의 값을 예측한다.

3) 실험 설계

시공간 융합 실험에서는 앞서 언급한 것처럼 CS 자료를 FS 자료의 공간해상도로 변환해야 하는데, 기존 시공간 융합 연구에서 보편적으로 사용된 bilinear 재배열 방법을 적용하였다. 즉 S2 영상과 PS 영상을 융합하는 경우 S2 영상을 2.5 m로, S2 영상과 RE 영상을 융합하는 경우 5m로 재배열하였다. STARFM을 적용하기 위해서는 탐색창의 크기와 클래스 수를 결정해야 한다. 탐색창 크기가 커질수록 예측 정확성이 떨어진다는 연구 결과(Kim and Park, 2019)와 입력 영상의 공간해상도 를 고려하여 탐색창의 크기는 5로 설정하였다. 클래스수는 연구 지역의 세부 토지피복 항목을 고려하여 두 지역 모두 7로 설정하였다.

시간에 따른 순방향 융합을 수행하기 위해 T₀가 T_P 보다 이전인 경우를 고려하였는데, 합천과 해남 지역에 서 각각 3월과 6월에 획득된 영상을 T₀ 자료로 설정하여 각각 5월과 11월 영상을 예측하였다(Table 2). 시공간 융합 실험은 사용된 다중 센서 영상의 조합에 따라 (1) 합천지역에서 S2 영상과 PS 영상을 융합하는 경우(Case 1), (2) 합천지역에서 S2 영상과 RE 영상을 융합하는 경우 (Case 2), (3) 해남지역에서 S2 영상과 RE 영상을 융합하는 경우(Case 3)의 총 세 가지 경우를 고려하였다(Table 3). 즉 동일한 지역에서 서로 다른 위성 조합을 사용하는 융합 결과와 다른 지역에서 같은 위성 조합을 사용하는 융합 결과를 비교하였다.

Table 2. List of satellite images used for spatio-temporal fusion in two study areas

Table 3. Three comparison cases considered in the spatiotemporal fusion experiment

상대 방사보정이 시공간 융합 결과에 미치는 영향을 정량적으로 비교하기 위해 두 가지로 나누어 결과를 분석하였다. 우선 입력 자료에 상대 방사보정 적용 여부에 따른 영향을 분석하였다. 이를 위해 방사보정을 적용한 CSn 자료와 FS 자료와의 유사도, 그리고 보정을 하지 않은 원 CS 자료와 FS 자료와의 유사도를 측정하였다. 유사도의 측정은 분광 혼합 분석에서 분광학적 유사도를 측정하는 지수인 SAM(spectral angle mapper)을 이용하였다. SAM 지수는 대상과 참조값이 이루는 벡터 사이 의 각도를 측정하며, 0과 1사이의 값을 가지며 0에 가까울수록 혹은 값이 작을수록 유사성이 높은 것을 의미한다(Dennison et al., 2004). 이 연구에서 사용된 입력 자료들은 다중 분광밴드로 구성되는데, SAM 지수는 입력되는 모든 밴드를 사용하여 단일 값으로 계산된다. 또한 입력 자료의 상대 방사보정 여부에 따른 융합 결과의 예측 성능을 정량적 및 시각적으로 분석하였다. 시공간 융합 결과의 정량적 검증을 위해 융합에 사용하지 않은 실제 FS 자료를 검증 자료로 이용하여 오차 통계를 계산하였다. 오차 평가 지수로는 기존 시공간 융합에서 예측 성능 평가에 보편적으로 사용된 RMSE(root mean square error), 상관계수(correlation coefficient: CC), SAM 지수를 이용하였다.

4. 결과 및 토의

1) 입력 자료에 상대 방사보정 적용 결과

시공간 융합에서 입력 자료 간의 관계성은 예측 결과에 큰 영향을 미칠 수 있기 때문에(Park et al., 2020), 입력 자료의 보정 유무에 따라 입력 자료 사이의 관계성이 어떻게 변화하는지 살펴볼 필요가 있다. 이를 위해 T₀에 획득된 CS 자료와 FS 자료 사이의 상관성을 먼저 분석하였다(Table 4). Case 2에서 T₀ 시기의 S2 영상과 RE 영상 사이의 상관성은 평균 0.9 이상으로 매우 높게 나타났다. 반면, Case 1에서 T₀ 시기의 S2 영상과 PS 영상은 이에 비해 낮은 평균 약 0.7~0.8의 상관계수 값을 보였다. 특히 CS 자료와 FS 자료가 동일한 시기에 촬영된 T_P의 경우, S2 영상이 PS 영상에 비해 RE 영상과의 상관계수가 높았는데 이는 S2 영상이 PS 영상과의 방사학적 불일치가 큼을 의미한다. Case 3의 경우, T₀ 시기의 S2 영상과 RE 영상 사이의 상관성이 Case 2에 비해 상대적으로 낮지만 평균적으로 약 0.8~0.9의 상관계수 값을 보인다. 이러한 다중 센서 사이의 밴드 별 서로 다른 상관성은 상대방사 보정의 적용 유무에 따라 달라질 수 있으며, 이는 시공간 융합에서 입력 영상간 관계성에 영향을 미칠 수 있다.

Table 4. Correlation coefficients between CS and FS images per each spectral band

다음으로 입력 자료에서 방사보정의 영향을 살펴보기 위해 상대 방사보정 적용 전과 후의 입력 자료 간 유사도를 계산하였다. Table 5는 세 시공간 융합 실험에 사용된 CS 자료의 상대 방사보정 적용 유무에 따른 SAM 지수 값을 나타낸다. Case 2에서는 상대 방사보정 적용 유무에 따라 S2 영상과 RE 영상 사이의 유사도의 변화 정도가 크지 않다. 반면, Case 1에서 S2 영상과 PS 영상 사이의 유사도는 상대 방사보정을 적용함으로써 크게 증가하였다. 이는 Table 4에서 나타난 입력 자료 사이의 상관성과 관련이 있는데, 분광학적 상관성이 낮았던 S2 영상과 PS 영상의 상관성이 상대 방사보정을 통해 증가되었음을 의미한다. 또한 Case 3을 Case 2와 비교하면, 동일한 위성 센서 조합임에도 불구하고 입력 자료의 상관성이 더 낮았던 Case 3에서 상대 방사보정의 효과가 더 크게 나타났다. 방사학적인 차이뿐만 아니라 시간적인 변화가 있는 TP에서 CS 자료와 FS 자료 사이의 유사 도도 상대 방사보정을 통해 증가되었다. 이는 T₀와 T_P에 획득된 두 CSn 자료가 FS 자료의 분광학적 특성에 맞춰 변환되었음을 의미한다

Table 5. SAM values of FS data and CS data with and without relative radiometric correction (The most similar case per each different image combination is underlined)

2) 시공간 융합 결과에서의 방사보정 영향

상대 방사보정 적용 전후의 CS 자료와 FS 자료와의 유사성을 토대로 시공간 융합을 적용한 결과를 살펴보면(Table 6), 모든 경우의 예측 결과에서 상대 방사보정을 적용한 후 SAM값이 감소하여 예측 성능이 향상되었다. 특히 Case 1에서는 상대 방사보정을 적용함으로써 모든 밴드에서의 예측 정확도가 크게 향상되었다. Case 1은 S2와 PS 영상을 융합하는 경우로 앞에서 입력 자료의 상대 방사보정의 효과가 가장 크게 나타났는데, 서로 낮은 상관성을 보이는 다중 센서 자료에 상대 방사보정을 적용하여 유사도를 향상시킴으로써 시공간 융합 결과에서도 상관성이 높은 결과를 얻을 수 있었다. 반면, 입력 자료 간의 상관성이 높았던 Case 2와 Case 3의 경우에서는 상대 방사보정이 예측 능력에 미치는 효과가 두드러지지 않았다. 입력 자료의 상관성이 이미 높아 서로 분광학적으로 유사하기 때문에 상대 방사보정을 적용해도 융합 결과에 미치는 영향이 작았던 것으로 판단된다.

Table 6. Quantitative performance measures of fusion results with and without relative radiometric correction (The best prediction case per each band is underlined)

Fig. 5는 합천 지역의 일부 영역에서의 Case 1과 Case 2의 융합 결과를 나타내고 있다. A는 S2 영상과 RE 영상을 융합한 Case 2의 결과를 보여주는데, 필지 내 식생 활력도의 차이를 보이고 있다. CS 자료를 이용한 결과에서는 식생에서 채도가 낮은 영역과 높은 영역 사이의 경계가 뚜렷하지 않은 반면, CSn 자료를 이용한 결과에서는 FS 자료처럼 명확하게 경계가 구분되었다. B의 경우는 S2 영상과 PS 영상을 융합한 Case 1의 결과를 나타내는데, CSn 자료를 이용한 결과에서 식생의 분포 특성을 잘 예측한 것으로 나타난다. 영상에서 붉게 나타나는 부분은 식생의 근적외선 밴드에서의 높은 반사율을 지시하는데, Table 6에서 살펴본 바와 같이 근적외선 밴드에서의 두드러진 상대 방사보정의 효과로 예측 정확도가 향상된 부분이 시각적으로 잘 나타나고 있다. 즉 CSn 자료가 FS 자료와 유사한 분광 특성을 갖도록 변환되었기 때문에 A와 B 모두 CSn 자료를 사용한 결과에서 TP 시기의 FS 자료와 유사하게 나타났다.

Fig. 5. Comparison of true FS data and fusion results with and without relative radiometric correction (near infrared-red-green bands as R-G-B) in two subareas in Hapcheon: (a) predicted RE-like image using CS data, (b) predicted RE-like image using CSn data, (c) true RE image, (d) predicted PS-like image using CS data, (e) predicted PS-like image using CSn data, and (f) true PS image. A and B marked in the left image are the subareas of Case 2 and Case 1, respectively.

시공간 융합에서 상대 방사보정의 영향이 토지피복에 따라 다르게 나타날 수 있기 때문에 Case 1과 2에 비해 다양한 토지피복이 존재하는 Case 3 해남 지역의 주요 토지피복에서의 융합 결과를 비교하였다(Fig. 6). Case 3의 경우 SPIF가 대부분 육지 내에서 추출되었음에도 불구하고 수계와 초지에서의 예측 정확도가 향상되었다. SPIF가 수계에서 추출되지 않아 T₀에서 상대 방사보정을 적용해도 유사도가 감소하였지만(Table 7), TP에서 시간에 따른 차이를 감소시킨 상대 방사보정의 영향으로 수계에서도 예측 정확도가 향상된 것으로 보인다. 이 결과는 시공간 융합에서 T₀에서의 CS 자료와 FS 자료의 관계성뿐만 아니라 TP에서의 관계성의 영향도 중요함을 의미한다. 또한 이 연구에서 새로 정의한 SPIF가 두 자료의 센서 차이와 시간 차이에 따른 변화를 줄일 수 있음을 나타낸다.

Fig. 6. RMSE of fusion results for red and NIR bands per each land-cover class with and without relative radiometric correction in Case 3.

Table 7. SAM values per each land-cover class of FS data and CS data with and without relative radiometric correction in Case 3 (The most similar case per each land-cover class is underlined)

또한 상대 방사보정을 적용하였을 때 모든 토지피복에서 근적외선 밴드에서의 예측 정확도 향상이 두드러졌다. 특히 근적외선 파장대에서 시간에 따른 반사율 변화가 큰 논벼에서의 예측 오차가 크게 감소하였다. 세 다중 센서 영상의 분광반응함수를 비교했을 때(Fig. 3), 근적외선 밴드에서 센서 별 분광 파장 영역의 차이가 가장 컸다. 이는 근적외선 밴드에서의 세 영상의 방사학적 불일치가 큼을 의미하는데, 상대 방사보정을 통해 영상 간 유사도를 높임으로써 서로 다른 분광 파장 영역에 따른 불일치가 감소하여 예측 능력이 향상된 것으로 보인다.

이 연구에서는 시공간 융합 결과의 예측 성능을 상대 방사보정의 적용 유무에 따라 분석하였지만, 예측 성능은 여러 요인에 의해 영향을 받을 수 있다. 우선 시공간 융합 모델로 적용한 STARFM의 특성이 반영될 수 있다. Zhou et al. (2021)은 시공간 융합 성능 비교 실험을 통해 STARFM은 입력 자료의 방사학적 불일치에 매우 민감하며, 방사보정이 수행되지 않은 자료를 사용하였을 경우 예측 결과의 분광학적 편향(bias)이 매우 크다고 보고하였다. 특히 방사학적 불일치가 매우 큰 다중 센서 영상 조합을 사용할수록 예측 오차가 커진다고 보고하였다. 이 연구의 결과와 종합하면, STARFM을 적용할 때에는 입력 자료의 방사학적 불일치를 보정해주는 전처리 과정이 필요하다는 것을 의미한다. STARFM은 시간, 공간, 분광학적인 반사율 차이를 이용하여 가중치를 계산하고 이를 통해 값을 예측하기 때문에, 분광학적 반사율 차이가 크면 오차가 가중치에 포함되어 예측 정확도를 감소시키기 때문이다.

고해상도 위성영상의 경우, 위성 운용 상황에 따라 동일한 날짜에 촬영된 다중 센서 영상의 이용이 어려운 경우가 많다. 따라서 시공간 융합에 사용되는 T₀ 시기 두 영상의 촬영 시기에 차이가 있을 수 있다(Table 2). T₀의 입력 영상에 상대 방사보정을 적용하면, 적용 전에 비해 영상 간 분광학적 유사도가 증가하였다(Table 5). 이는 상대 방사보정을 통해 두 영상 사이의 센서 차이에 따른 분광학적 차이뿐만 아니라 T₀ 시기 영상의 획득 시간 차이도 줄일 수 있음을 의미한다. 즉 상대 방사보정을 적용한 입력 영상을 사용하면 서로 다른 조건으로 촬영된 다중 센서 영상에서 나타나는 차이를 최소화하여 시공간 융합 결과의 예측 정확도를 향상시킬 수 있을 것으로 판단된다.

이 연구에서는 다중 센서 영상의 분광 파장 영역이 차이에 따라 영상에 나타나는 반사율 값의 차이를 분석하였는데, 방사학적 불일치 외에도 다중 센서 위성영상의 기하학적 불일치, 공간해상도 차이 등의 다른 요인들도 예측 성능에 영향을 줄 수 있다. 특히 고해상도 영상은 중저해상도 영상에 비해 지표면의 상세 정보를 제공하기 때문에 다중 센서 영상간 기하학적 불일치는 토지피복의 불일치를 초래하여 시공간 융합 결과에 큰 영향을 미칠 수 있다. 이 연구에서는 기하보정을 통해 다중 센서 위성영상의 기하학적 불일치를 줄이고자 했지만, 여전히 남아있을 기하학적 불일치가 상대 방사보정의 효과와 함께 예측 오차에 영향을 줄 수 있다.

사례연구에서는 S2 영상과 PS 영상을 사용한 융합 결과에서 S2 영상과 RE 영상을 사용한 결과보다 상대 방사보정의 효과가 크게 나타났다. PS 영상은 S2 영상과 공간해상도가 4배 차이가 나기 때문에 S2 영상에 비해 공간해상도 차이가 2배인 RE 영상보다 반사율 변화의 폭이 크다. 만약 원 입력 자료의 반사율 값 변화가 클 경우, 시공간 융합 결과는 TP 시기의 실제 FS 자료와 반사율 차이가 발생할 수 있다. 따라서 이 연구에서 도출한 결과에는 상대 방사보정의 효과뿐만 아니라 다양한 요인들이 복합적으로 반영될 수 있으므로, 시공간 융합 모델별 차이, 다중 센서 영상의 기하학적 불일치 및 공간해상도 차이 등을 고려한 추가 분석이 필요하다.

5. 결론

이 연구에서는 다중 센서 고해상도 위성영상의 시공간 융합에서 다중 센서 입력 자료의 방사학적 불일치의 보정 여부가 융합 결과에 미치는 영향을 정량적으로 분석하였다. 기존 변화탐지를 위한 상대 방사보정에 적용된 SPIF를 새롭게 정의하여 선형 회귀 기반 상대 방사 보정을 다중 센서 영상에 적용하였다.

농경지가 주로 분포하는 합천과 해남 지역을 대상으로 CS 자료로는 S2 영상을, FS 자료로는 PS 영상과 RE 영상을 사용하는 사례연구를 수행한 결과, 상대 방사보정을 적용함으로써 CSn 자료와 FS 자료와의 유사도가 높아졌으며 이로 인해 CSn 자료를 사용하였을 때 예측 정확도가 높은 융합 결과를 얻을 수 있었다. CS 자료를 FS 자료의 분광 특성과 유사하게 변환해줌으로써 FS 자료의 분광 특성이 융합 결과에 반영되어 예측 정확도가 향상되었다. 다중 센서 입력 자료의 상관성이 높은 S2 영상과 RE 영상을 이용한 시공간 융합에 비해, 동일 시기에 얻어진 원 자료 사이의 상관성이 상대적으로 낮은 S2 영상과 PS 영상을 융합했을 때 예측 정확도의 향상이 두드러졌다. 이는 시공간 융합에 이용하는 입력 자료 사이의 상관성이 낮을 경우, 상대 방사보정을 적용한 입력 자료의 이용이 필요함을 지시한다. 서로 다른 분광 파장 영역을 갖는 다중 센서 간 방사학적 불일치에 따른 영향이 영상의 반사율 값에 직접적으로 반영되기 때문에 시공간 융합에 입력되는 영상 사이의 방사학 적 불일치를 보정하는 과정이 예측 정확도를 향상시킬 수 있다. 이 연구에서는 T0에 획득된 CS 자료와 FS 자료 사이의 불일치 요인으로 방사학적인 요인만 고려하였는데, 실제 다중 센서 자료는 방사학적인 요소 외에 기하학적 요소, 공간해상도의 차이 등 여러 요인에서 차이를 보일 수 있다. 따라서 시공간 융합에서 입력 자료 간 불일치가 큰 경우에도 특화된 전처리 과정의 적용을 통해 예측 능력을 효과적으로 개선할 수 있을 것으로 판단되며, 앞으로 시공간 융합의 입력 자료에 영향을 미칠 수 있는 다양한 요인들의 영향을 종합적으로 분석할 예정이다.