영역-점 회귀 크리깅 기반 다중센서 위성영상의 공간-분광 융합: 고해상도 적색 경계 및 단파 적외선 밴드 생성 실험

Spatio-spectral Fusion of Multi-sensor Satellite Images Based on Area-to-point Regression Kriging: An Experiment on the Generation of High Spatial Resolution Red-edge and Short-wave Infrared Bands

Abstract

이 논문에서는 상호보완적인 공간 및 분광해상도를 가진 다중센서 위성영상을 이용하여 공간해상도와 분광해상도를 향상시키기 위해 영역-점 회귀 크리깅(area-to-point regression kriging, ATPRK) 기반의 2단계 spatio-spectral fusion method (2SSFM)을 제안하였다. 2SSFM은 ATPRK와 random forest 회귀 모형을 결합하여 다중센서 위성영상에서 높은 공간해상도를 갖는 분광 밴드를 예측한다. 첫 번째 단계에서는 다중센서 위성영상 사이의 공간해상도 차이를 감소시키기 위해 ATPRK 기반 공간 상세화를 수행한다. 두 번째 단계에서는 다중센서 위성영상 사이의 분광 밴드의 관계성을 정량화하기 위해 random forest를 이용한 회귀 모델링을 적용하였다. 2SSFM의 예측 성능은 적색 경계와 단파 적외선 밴드를 생성하는 사례 연구를 통해 평가하였다. 사례 연구에서 2SSFM은 실제 분광 밴드와 유사한 분광패턴을 보이면서 공간해상도가 향상된 적색 경계와 단파 적외선 밴드를 생성할 수 있었으며, 2SSFM가 고해상도 위성영상에서 제공하지 않은 분광 밴드 생성에 유용함을 확인할 수 있었다. 따라서 2SSFM을 통해 실제로 획득 불가능하지만 환경 모니터링에 효과적인 분광 밴드를 예측함으로써 다양한 분광 지수를 생성할 수 있을 것으로 기대된다.

This paper presents a two-stage spatio-spectral fusion method (2SSFM) based on area-to-point regression kriging (ATPRK) to enhance spatial and spectral resolutions using multi-sensor satellite images with complementary spatial and spectral resolutions. 2SSFM combines ATPRK and random forest regression to predict spectral bands at high spatial resolution from multi-sensor satellite images. In the first stage, ATPRK-based spatial down scaling is performed to reduce the differences in spatial resolution between multi-sensor satellite images. In the second stage, regression modeling using random forest is then applied to quantify the relationship of spectral bands between multi-sensor satellite images. The prediction performance of 2SSFM was evaluated through a case study of the generation of red-edge and short-wave infrared bands. The red-edge and short-wave infrared bands of PlanetScope images were predicted from Sentinel-2 images using 2SSFM. From the case study, 2SSFM could generate red-edge and short-wave infrared bands with improved spatial resolution and similar spectral patterns to the actual spectral bands, which confirms the feasibility of 2SSFM for the generation of spectral bands not provided in high spatial resolution satellite images. Thus, 2SSFM can be applied to generate various spectral indices using the predicted spectral bands that are actually unavailable but effective for environmental monitoring.

1. 서론

가시광선부터 근적외선, 단파 적외선 등 다양한 파장 영역에서 얻어진 위성영상의 분광 밴드는 식생 활력도, 토양 수분 등 지표물에 대한 다양한 정보 획득에 이용되어 왔다(Govender et al., 2007; Lee et al., 2007). 대부분의 위성영상들은 가시광선 영역의 청색(blue), 녹색(green), 적색(red) 밴드와 근적외선(near-infrared, NIR) 밴드를 제공하는데, 최근 지표물에 대해 더 민감하게 반응하는 좁은 파장 범위를 갖는 분광 밴드의 필요성이 증대되고 있다(Lee and Lee, 2017; Lu et al., 2021). 그 중 식생이 적색 밴드와 근적외선 밴드 사이에서 급격한 분광 반사율 반응을 보이는 구간인 적색 경계(red-edge) 밴드는 적색 밴드보다 투과율이 높아 다층 구조 식물의 활력도 파악을 통한 농경지, 산림 모니터링에 많이 활용되고 있다(Horler et al., 1983; Jiang et al., 2021). 또한 단파 적외선(short-wave infrared, SWIR) 밴드는 식생과 토양의 수분에 대한 정보를 제공할 수 있어 수분 관련 분광 지수 생성에 유용하다(Jacques et al., 2014). 그러나 현재 운영되고 있는 위성들은 기술적 한계 등의 이유로 적색 경계 및 단파 적외선 밴드를 모두 제공하지 못한다.

현재 적색 경계 밴드를 제공하는 위성은 Sentinel-2, RapidEye, WorldView-3 등이 있으며, PlanetScope 위성 영상은 2022년부터 적색 경계 밴드를 제공하고 있다(Planet, 2022). 그러나 공간해상도가 높은 적색 경계 밴드를 제공하는 위성들은 주로 상업용 위성이 많기 때문에 자료 이용에 제약이 따른다. 또한 단파 적외선 밴드는 Sentinel-2, Landsat, MODIS 등의 위성에서 제공하고 있지만, 공간해상도가 최소 20 m에서 최대 약 1 km로 낮은 편이다(Claverie et al., 2018).

저해상도 분광 밴드의 공간해상도 향상과 관련해서 pan-sharpening 방법을 적용할 수있다(Zhu and Bamler, 2012). 일반적으로 pan-sharpening은 동일한 위성영상에서 획득된 고해상도 범색성 밴드를 부가자료로 이용하여 가시광선 및 근적외선 밴드의 공간해상도를 향상시킨다. 그러나 고해상도로 변환을 하고자 하는 분광 파장 영역을 모두 포함하는 공간해상도가 더 높은 범색성 밴드가 있어야 적용이 가능하며, 색상 왜곡과 품질의 일관성 저하 등의 문제가 존재한다(Du et al., 2007; Choi et al., 2019). 범색성 밴드 없이 다중 분광 밴드의 공간해상도를 향상시키기 위해 Wang et al. (2015)는 원래 저해상도 위성산출물의 공간해상도 향상을 위해 제안된 영역-점회귀 크리깅(area-to-point regression kriging, ATPRK)을 적용하였다. Sentinel-2 영상의 적색 경계와 단파 적외선 밴드의 공간해상도 향상을 위해 상대적으로 고해상도 가시광선 및 근적외선 분광 밴드를 이용하였다. 이 외에도 ATPRK의 회귀 모델링에 다중 선형 회귀모형, 지리적 가중 회귀 모형, 기계학습 회귀 모형을 이용한 연구도 수행되었다(Kim and Park, 2016; Kim and Park, 2017).

저해상도 분광 밴드의 공간해상도 향상을 위해 고해상도에서 얻어진 부가자료나 동일 위성의 다른 분광 밴드를 이용하는 경우 이외에 다중센서 위성영상을 활용할 수 있다. 그러나 공간해상도가 낮은 위성영상은 다양한 분광 밴드를 제공하지만, 공간해상도가 높은 위성영상은 분광해상도가 상대적으로 낮은 문제가 존재한다. 이러한 문제를 해결하기 위해 공간 및 분광해상도가 상호보완적인 다중센서 위성영상을 활용하는 공간-분광 융합(spatio-spectral fusion)을 적용할 수 있다. 공간-분광 융합은 공간해상도가 낮고 분광해상도가 높은 위성영상과 공간해상도가 높고 분광해상도가 낮은 위성영상을 융합하여 공간 및 분광해상도가 모두 높은 영상을 생성하는 방법이다(Zhou et al., 2021).

높은 적용 가능성에도 불구하고 현재까지 다중센서 위성영상을 이용한 공간-분광 융합 연구는 많이 이루어 지지 않았다. Song et al. (2014)은 표현 학습의 일종인 사전 학습을 이용하여 저해상도 다중센서 위성영상의 분광밴드 간 관계성을 추출한 후에 공간해상도가 향상된 분광밴드를예측하였다.최근Sentinel-2영상과 PlanetScope영상을 이용한 공간-분광 융합 연구가 주로 수행되었는데(Li et al., 2020; Zhao and Liu, 2022), 기존 pan-sharpening 방법을 적용하거나 Sentinel-2 영상의 분광특성을 매핑한 후 이웃 화소 정보를 이용하여 개선하는 절차를 포함하는 경우가 대부분이었다. 그러나 저해상도 영상과 고해상도 영상의 공간해상도 차이가 매우 클 경우, 융합 결과에서 저해상도 영상의 격자 형태가 그대로 나타나는 block artifact가 발생할 수 있다(Wang and Atkinson, 2018). 현재까지 다중센서 위성영상 사이의 공간해상도 차이를 고려한 공간-분광 융합 사례는 없으며, 기존 공간상세화 기법을 이용하여 국내 지역에 대해 공간-분광 융합을 적용한 연구는 수행되지 못했다.

이 연구에서는 공간 및 분광해상도 향상을 위해 고해상도 다중센서 위성영상을 이용하는 새로운 공간-분광 융합 방법을 제안하였다. 제안된 2단계 spatio-spectral fusion method (2SSFM)은 공간해상도 향상을 위한 ATPRK와 분광해상도 향상을 위한 기계학습 기반의 회귀 모형을 순차적으로 적용한다. 2SSFM의 예측 성능 평가를 위해 고해상도 분광특성을 고려한 절차가 없는 기존 공간상세화 기법인 ATPRK와 비교하였으며, 정량 및 정성적 분석을 위해 고해상도 적색 경계 및 단파 적외선 밴드를 생성하는 공간-분광 융합 실험을 수행하였다. 국내 소규모 필지로 구성된 작물 주산지에서 촬영된 Sentinel-2 영상과 PlanetScope 영상을 이용하는 사례 연구를 수행하였다. 사례 연구 결과를 바탕으로 공간-분광 융합에서 각 방법의 예측 성능을 평가하고 제안점을 제시하였다.

2. 연구 지역 및 사용 자료

적색 경계 및 단파 적외선 밴드가 많이 활용될 수 있는 분야는 작물의 분광학적인 변화 혹은 수분 함량 등에 대한 세부적인 식생 모니터링이 필요한 농경지나 산림 지역이다. 그리고 대규모 영역을 포함하는 산림 지역과는 다르게 국내 농경지는 소규모 필지에서 작물을 재배하기 때문에 고해상도 위성영상을 사용하는 것이 적합하다. 따라서 이 연구에서는 이를 고려하여 마늘과 양파 주산지인 경상남도 합천군 초계면 일부 지역을 고해상도 다중센서 위성영상을 이용한 공간-분광 융합 사례 연구 지역으로 선정하였다(Fig. 1). 합천 지역은 평균적으로 약 0.4~0.5 ha 면적을 갖는 소규모 밭 필지로 구성되어 있는데, 마늘과 양파는 11월에 파종을 시작하여 다음 연도인 5월 말에 수확한다.

Fig. 1. Location of the study area with the PlanetScope true color composite imagery acquired on April 4, 2022.

공간-분광 융합 실험에는 소규모 필지로 구성된 연구 지역의 특성을 고려하여 상대적으로 공간해상도가 높은 Sentinel-2 영상과 PlanetScope 영상을 사용하였다(Table 1). 총 13개의 분광 밴드로 구성된 Sentinel-2 영상은 공간해상도 10 m의 가시광선 및 근적외선 밴드와 함께 공간해상도 20 m의 적색 경계 및 단파 적외선 밴드를 포함한다. 반면 PlanetScope는 2022년부터 적색 경계밴드를 포함한 영상을 국내에 제공하기 시작하였고(Planet, 2022), 단파 적외선 밴드를 포함하지 않는다. PlanetScope 영상의 분광해상도는 Sentinel-2 영상에 비해 낮지만 공간해상도가 3 m로 높기 때문에, Sentinel-2 영상과 PlanetScope 영상을 각각 공간-분광 융합의 저해상도와 고해상도 자료로 사용하였다. PlanetScope 영상의 경우 Sentinel-2 영상과의 융합을 고려하여 최근린 재배열 방법으로 공간해상도를 2.5 m로 변환하였다.

Table 1. Summary of Sentinel-2 and PlanetScope images used in this study

이 연구에서 사용한 Sentinel-2 영상은 European Space Agency (ESA)에서 제공하는 top of atmosphere (TOA) 반사율 자료에 대해 LIBRADTRAN radiative transfer model을 사용하여 대기 보정을 수행한 bottom of atmosphere (BOA) 반사율 산출물을 사용하였다(Mayer and Kylling, 2005). 또한 PlanetScope 영상은 Planet에서 NASA와 ESA에서 제공하는 수증기, 오존 및 에어로졸 데이터와 표준 대기 모델을 결합한 6SV2.1 radiative transfer code을 이용하여 대기 보정을 수행하였다(Planet, 2022). 따라서 두 영상은 유사한 대기 조건 하에 대기 보정이 수행되었기 때문에 대기 보정된 반사율 산출물을 공간-분광 융합의 입력 자료로 사용하였다.

3. 방법론

1) 공간-분광 융합 방법

공간-분광 융합은 우선 서로 다른 센서로 촬영된 저해상도 영상과 고해상도 영상이 공통적으로 포함하는 분광 밴드 간 관계성을 추정한다. 이후 저해상도 영상만이 가지고 있는 분광 밴드에 대해 고해상도 영상의 특성이 반영된 분광 밴드를 예측한다. 이 과정은 일반적인 회귀 분석과 유사하지만, 저해상도 영상에서 개별 밴드 간 상이한 공간해상도와 저해상도 영상과 고해상도 영상 간 상이한 공간해상도를 모두 고려해야 한다. 사례 연구에서 사용된 영상을 예로 들면, Sentinel-2 영상의 경우 가시광선 및 근적외선 밴드는 공간해상도가 10 m인 반면 적색 경계 및 단파 적외선 밴드는 20 m로 동일한 위성영상 내 분광 밴드 별 공간해상도가 상이하다. 또한 공간해상도 2.5 m인 PlanetScope 영상은 Sentinel-2 영상과 공간해상도 차이가 크기 때문에 입력 자료 간 공간해상도 차이에 따른 영향을 고려한 절차가 필요하다.

이 연구에서 제안한 2SSFM은 입력 자료 간 공간해상도 차이에 따른 영향을 감소시키기 위해 공간해상도 향상 과정을 두 단계로 나누어 적용하는 방식을 고려하였다(Fig. 2). 첫 번째 단계에서는 저해상도 영상에서 공간해상도가 낮은 분광 밴드를 대상으로 공간해상도가 높은 분광 밴드를 부가자료로 사용하여 ATPRK를 적용한다. 첫 번째 단계의 예측 결과로 공간해상도가 향상된 저해상도 분광 밴드가 생성되며, 두 번째 단계에서 고해상도 영상의 분광 밴드와 회귀 모델링의 적용을 통해 고해상도 영상에 없는 분광 밴드를 최종적으로 생성한다.

Fig. 2. Workflow of the two-stage of spatio-spectral fusion method (2SSFM). Dark boxes represent the major two stages employed in this study.

2SSFM의 1단계인 공간상세화를 적용하기 위해 경향 성분과 잔차 성분의 결합으로 고해상도 화소값을 예측하는 ATPRK를 이용하였다(Park, 2013; Park et al., 2019). 먼저 저해상도 영상의 공간해상도로 업스케일링한 고해상도 영상과 저해상도 영상 사이의 관계성을 회귀 모형을 통해 추정한다. 이후 추정된 회귀 모형을 고해상도 영상에 적용하여 고해상도에서의 경향 성분을 생성한다. 그리고 회귀 모형으로부터 얻어진 경향 성분과 원 저해상도 영상과의 차이인 저해상도 잔차 성분의 고해상도 변환을 위해 area-to-point kriging (ATPK)을 적용한다(Kyriakidis, 2004). 최종적으로 고해상도 경향 성분과 ATPK로 추정된 고해상도 잔차 성분을 결합하여 상세화된 결과는 생성한다.

2SSFM에서 회귀 모델링은 1단계인 ATPRK의 경향 성분 추정 과정과 2단계인 다중센서 위성영상의 분광 밴드 간 관계성 정량화에 사용된다. 회귀 모형은 1단계에서 동일한 위성영상의 분광 밴드 간 선형 관계뿐만 아니라 2단계에서 다중센서 위성영상의 분광 밴드 간 비선형 관계도 추정할 수 있는 random forest (RF)를 선택하였다. RF는 여러 개의 의사결정 나무(decision tree)들을 결합한 앙상블 기법으로, 훈련 자료의 다양성을 위해 입력 자료를 랜덤으로 임의 추출하는 bootstrap aggregating (bagging) 방법으로 예측을 수행하는 기계학습 모형이다(Breiman, 2001). RF 모델 훈련 시 지정해야 하는 하이퍼파라미터 중 특징을 추출할 나무 개수는 반복적인 시행착오(trial-and-error) 과정을 통해 300개로 설정하였다.

2) 실험 설계 및 평가

이 연구에서는 공간해상도 20 m인 Sentinel-2 적색 경계 혹은 단파 적외선 밴드를 10 m로 공간해상도를 향상시킨 후, 공간해상도 2.5 m인 PlanetScope 가시광선 및 근적외선 밴드와의 분광학적 관계성을 정량화하여 PlanetScope 영상의 적색 경계 혹은 단파 적외선 밴드를 예측한다. 이 때, 회귀 모델링 과정에서 두 입력 자료의 공간해상도를 맞춰주기 위해 2SSFM의 1단계에서는 Sentinel-2 영상의 가시광선 및 근적외선 밴드를 20 m로, 2단계에서는 PlanetScope 영상을 10 m로 업스케일링하여 저해상도에서 다중센서 위성영상 간 관계성을 추정한다. 업스케일링에는 저해상도 화소 안에 포함되는 고해상도 화소들의 평균값을 이용하였다.

2SSFM으로부터생성된적색경계밴드와단파적외선 밴드의 정량적인 평가는 서로 다른 기준을 적용하였다. 적색 경계 밴드의 경우, PlanetScope 영상의 적색 경계 밴드를 참값으로 간주하고 적색 경계 밴드가 없다는 가정 하에 PlanetScope-like 밴드 값과의 비교를 통해 오차를 계산하였다. 이 때, Sentinel-2 영상과 PlanetScope 영상에서 하루 정도의 시기 차이는 분광 반사율의 변화가 거의 없고 동일한 조건에서 획득된 영상으로 가정하였다. 단파 적외선 밴드의 경우, 2.5 m에서 이용 가능한 참값이 없기 때문에 2SSFM을 통해 생성된 자료에 대해 시각적 평가를 수행하였다. 5개 영상 획득 시기 중에서 연구 지역 내 작물의 식생 활력도가 가장 높은 4월 4일은 예측 결과에 대한 시각적인 변화가 두드러지기 때문에 주요 예측 시기로 선정하여 분석에 이용하였다.

2SSFM의 두 단계의 필요성을 평가하기 위해 단계별 성능 분석을 수행하였는데, 1단계와 2단계 결과의 공간 해상도가 다르고 1단계 결과에 대한 참값이 없기 때문에 시각적 평가만 수행하였다. 또한 기존 공간상세화 방법의 공간-분광 융합에서의 적용성을 평가하기 위해, 공간해상도 20 m인 Sentinel-2 영상의 적색 경계 밴드와 공간해상도 2.5 m PlanetScope 영상의 가시광선 및 근적외선 밴드를 입력으로 사용하여 ATPRK를한번 적용하는 경우를 비교 대상으로 고려하였다.

적색 경계 밴드를 예측한 결과에 대한 정량적 평가 지수에는 평균 제곱근 오차(root mean square error, RMSE)와 구조적 유사도를 측정할 수 있는 structural similarity(SSIM)를 계산하였다(Wang et al., 2004). SSIM은 1에 가까울수록 예측 결과가 실제 분광 밴드와 공간적으로 유사함을 나타낸다. 정량적 평가는 5개 시기에 대한 예측 결과에 대해 모두 수행하였고, 반사율 구간 별 예측 성능을 비교하기 위해 RMSE는 0.1씩 반사율 단위 구간으로 구분하여 계산하였다.

4. 결과 및 토의

1) 2SSFM의 단계별 예측 결과

Fig. 3은 2SSFM의 두 단계로부터 각각 생성된 단파 적외선 밴드 생성 결과를 시각적으로 보여주고 있다. 2SSFM의 1단계 적용 결과는 공간해상도 20 m의 Sentinel-2 단파 적외선 밴드를 10 m의 가시광선 및 근적외선 밴드를 부가자료로 이용하여 ATPRK를 적용한 것이다. 호수의 대략적인 형태가 나타나고, 원 자료에서 밀집되어 있는 밭 필지들이 흐릿하게 보이는 현상이 감소한 것을 볼 수 있다. ATPRK의 경향 성분 추정 시 RF 회귀 모형의 결정계수는 95.9%로 매우 높은 설명능력을 가졌다. 경향 성분으로 전체 영상 변동성의 95% 이상을 설명할 수 있기 때문에 잔차 보정의 영향이 예측 결과에 크게 작용하지 않을 수 있다. 2단계 결과는 타 위성센서로부터 획득된 고해상도 분광 밴드를 부가자료로 이용하여 RF 회귀 모형을 적용한 것인데, 도로나 필지 사이 경계가 뚜렷하게 나타난다. 다중센서 위성영상을 이용한 RF 회귀 모형의 결정계수는 94.5%로 동일한 위성영상을 사용한 1단계에 비해 낮지만 여전히 매우 높은 설명 능력을 보였다.

Fig. 3. Prediction results of two stages of 2SSFM and original Sentinel-2 SWIR band at the prediction date. The black box shown in the full image is enlarged for comparison purposes.

단파 적외선 밴드와는 다르게 원 고해상도 영상의 참값이 있는 적색 경계 밴드에 대한 예측 결과는 Fig. 4에 제시하였다. 단파 적외선 예측 결과와 마찬가지로, Fig. 4의 A 지역을 보면 2SSFM의 각 단계를 적용할수록 공간해상도 향상 효과는 두드러짐을 확인할 수 있다. 적색 경계 밴드의 1단계와 2단계에서 RF 회귀 모형의 결정계수는 각각 98.9%와 96.4%로 단파 적외선 밴드 예측보다 높은 설명능력을 보였다. 이는 적색 경계 밴드가 상대적으로 단파 적외선 밴드에 비해 가시광선 및 근적외선 밴드와 파장 영역과 가깝고 유사한 분광 특성을 보이기 때문인 것으로 판단된다. B 지역과 같이 공간해상도 향상 효과만이 반영된 2SSFM의 1단계 결과는 Sentinel-2 영상에 나타나는 분광패턴을 그대로 따르는 반면, 2단계 결과에서는 이러한 양상이 없어지고 PlanetScope 영상과 유사하게 나타났다.

Fig. 4. Prediction results per individual stages of 2SSFM with actual Sentinel-2 and PlanetScope red-edge images at the prediction date. The black two boxes (A and B) shown in the full image are enlarged in the second and third rows, respectively.

영상 전반에 걸쳐 2SSFM의 예측 결과는 원 고해상도 영상인 PlanetScope 영상보다 Sentinel-2 영상과 더 유사한 반사율 값을 보이고 있다. 동일한 날짜에 취득되고 유사한 분광 파장 영역임에도 불구하고 Sentinel-2 영상과 PlanetScope 영상의 반사율 값은 각각 대략 0.2에서 0.4, 0.05에서 0.25 사이에 분포하고 있어 값 범위가 상이하다. 공간-분광 융합에 입력되는 두 영상의 값 범위 차이가 클 때 예측 성능이 낮아질 가능성이 있기 때문에 앞으로 다중센서 위성영상 간 반사율 구간에 따른 차이를 세분화하여 모델링하는 것과 같은 추가 절차가 필요할 것으로 보인다.

2) 방법론 별 예측 결과 비교

Table 2는 공간해상도 20 m에서 2.5 m로 직접적으로 변환하는 ATPRK와 2SSFM을 적색 경계 밴드 예측에 적용한 결과의 오차 통계를 나타내고 있다. 총 5개 시기에 대한 예측 결과에서 2SSFM이 ATPRK에 비해 높은 예측 정확도와 SSIM를 보였다. 특히 반사율이 높은 구간(0.2 이상)에서 2SSFM의 예측 성능이 두드러졌다. 2SSFM이 실제 PlanetScope 영상의 분광패턴과 유사하고 입력 자료 간 공간해상도 차이를 감소시켜 높은 구조적인 유사도를 보였다. ATPRK의 낮은 예측 성능은 ATPRK가 입력 자료인 저해상도 영상 특성을 예측 결과에 반영하는 잔차 보정의 영향으로 인해 상대적으로 PlanetScope 영상이 아닌 Sentinel-2 영상의 분광 특성에 맞춰 예측을 한 것에 기인한 것으로 판단된다. 이러한 정량적 비교 결과는 다중센서 위성영상을 이용할 때 서로 다른 분광패턴을 잘 반영하기 위해서는 ATPRK보다 회귀 모델링을 추가로 적용하는 2SSFM이 더 적합함을 나타낸다. 2SSFM의 1단계와 같이 동일한 센서 영상의 공간해상도를 향상시키기 위해서는 ATPRK를 사용하는 것이 적합하지만, 서로 다른 센서로 촬영되어 분광 특성이 상이한 두 영상 간의 관계를 정량화하는 데에는 회귀모델링이 적합하다.

Table 2. Accuracy statistics for predicting the red-edge band (the best case is underlined)

두 방법에 대한 참값과 예측된 값 사이의 산점도를 보면 전반적으로 과추정 양상이 두드러졌다(Fig. 5). ATPRK은 값 분포의 밀집도가 상대적으로 작아 과추정된 값들이 퍼져 있어 예측 오차도 크게 나타났다. 반면 2SSFM은 낮은 값의 과추정 양상과 높은 값의 저추정 양상도 ATPRK에 비해 완화되었다. 반사율이 높은 구간에서 2SSFM이 ATPRK에 비해 높은 예측 정확도를 보이는 양상을 Fig. 5에서도 확인할 수 있다.

Fig. 5. Scatter-density plots of predicted versus true values for ATPRK and 2SSFM.

개별 방법론의 차이는 적색 경계 밴드의 예측 결과와 원 PlanetScope 영상의 녹색-적색 경계-근적외선 밴드의 컬러 합성 영상에서 두드러진다(Fig. 6). 두 방법 모두 공간해상도 향상 효과가 나타났지만, ATPRK로 예측한 결과에서는 일부 필지에서 적색 경계 밴드의 값이 높게 예측되어 연두색으로 밝게 나타나는 부분이 있다. 이는 원 Sentinel-2 영상에서 높은 값으로 나타나는 부분의 영향이 그대로 예측 결과에 반영되었기 때문이다. 또한 공간-분광 융합에 입력되는 다중센서 위성영상 공간해상도 차이가 클 경우 block artifacts가 나타날 수 있는데, ATPRK를 적용한 결과에서 일부 높은 값이 분포하는 지역에서 block 단위의 격자 형태가 나타나고 있다. Fig. 6의 A 지역에서는 녹색을 띄는 적색 경계 밴드의 영향으로 인해 두 방법에 의한 예측 결과에서 모두 전반적으로 짙게 보이는 양상이 두드러지는데, 이는 Fig. 5에 나타나는 과추정된 값들의 영향인 것으로 판단된다. 또한 B 지역에서는 2SSFM이 PlanetScope 영상에 나타나는 일부 필지에서의 높은 반사율 값을 더 잘 반영하고 있음을 확인할 수 있다.

Fig. 6. Color composite prediction results with actual Sentinel-2 and PlanetScope images at the prediction date. The two black boxes (A and B) shown in the full image are enlarged in the second and third rows, respectively. All color composite images are displayed with NIR-red-edge-green as RGB.

2SSFM은 ATPRK를 이용한 결과에서 나타난 block artifacts를 두 단계 분석 절차의 적용으로 완화할 수 있었다. Fig. 4와 6의 B 지역에 나타나는 Sentinel-2 영상의 분광패턴을 따르는 2SSFM의 1단계 결과와 ATPRK 결과와는 다르게, 2번째 단계인 회귀 모델링을 통해 2SSFM의 결과가 PlanetScope 영상의 분광패턴을 반영하고 있음을 확인할 수 있다. 그러나 회귀 모델링은 두 영상의 가시광선 및 근적외선 밴드에서의 관계성만을 이용하기 때문에 2SSFM의 결과에서 PlanetScope 영상의 적색 경계 밴드에 대한 정보를 충분히 반영하지 못한 부분들이 여전히 남아 있다. 이러한 한계점에도 불구하고 2SSFM은 기존 연구에서 시도하지 않았던 다중 센서 영상을 이용한 공간-분광 융합을 통해 고해상도 분광 밴드의 생성이 가능함을 제시하였다.

공간-분광 융합을 통해 생성된 고해상도 분광 밴드는 비록 오차를 포함하더라도 고해상도 영상이 제공하지 못하는 파장 영역의 정보를 제공할 수 있다는 점에서 의미가 있다. 이러한 생성 결과는 PlanetScope와 같이 과거에 제공되지 않았던 위성영상의 분광 밴드 생성으로 확장하여 시계열 자료 구축이 가능하게 한다. 이 연구를 통해 생성된 적색 경계 및 단파 적외선 밴드는 식생 모니터링에 유용하게 사용될 수 있는데, 적색 경계 밴드를 이용하는 normalized difference red-edge index (NDRE) 혹은 단파 적외선과 근적외선 밴드를 이용하는 정규수분 지수(normalized difference water index, NDWI) 등의 생성에 이용할 수 있다(Seong et al., 2015; Sun et al., 2019). 이 연구에서 개발한 2SSFM을 이용한 공간-분광 융합은 고해상도 영상과 유사한 분광 밴드를 생성하여 자료 한계를 극복하고 환경 모니터링에 도움이 될 수 있는 정보를 제공할 수 있을 것으로 판단된다.

5. 결론

이 연구에서는 분광해상도가 높은 저해상도 영상과 분광해상도가 낮은 고해상도 영상을 융합하여 기존 고해상도 영상에는 없는 분광 밴드를 생성하는 공간-분광 융합 방법으로 2SSFM을 제안하였다. 2SSFM은 공간 상세화 기법인 ATPRK와 회귀 모델링을 두 단계로 결합한 방법으로, 다중센서 위성영상 사이의 공간해상도 차이에 따른 영향을 감소시키기 위해 저해상도 영상에 대하여 ATPRK를 적용하여 공간해상도를 향상시킨 후 기계학습 기반의 RF 회귀 모형을 이용하여 고해상도 영상의 분광 밴드를 생성할 수 있다.

2SSFM의 예측 성능 평가를 위해 적색 경계와 단파 적외선 밴드가 없는 고해상도 영상을 고려하여 두 밴드를 생성하는 실험을 수행하였다. 실험 결과, 2SSFM의 첫 번째 단계인 ATPRK을 적용한 공 간상세화 과정을 통해 저해상도 영상의 특성이 유지되면서 공간해상도가 향상된 결과를 생성할 수 있었다. 또한 다중센서 위성영상 간 분광학적인 관계성을 RF 회귀 모형을 이용하여 정량화함으로써 PlanetScope-like 적색 경계 밴드를 생성할 수 있었는데, 기존 ATPRK에 나타나는 block artifacts 현상과 과추정 양상을 감소시킬 수 있음을 확인할 수 있었다. 그러나 제안 방법으로 생성된 고해상도 분광 밴드는 실제 값보다 과추정된 경향을 포함하고 있기 때문에 향후 고해상도 영상의 분광학적인 특성을 효과적으로 반영할 수 있는 절차를 포함한 개선이 필요하다. 이러한 개선 절차가 포함된다면 이 연구에서 제안한 공간-분광 융합 방법을 이용하여 현재 운용되는 고해상도 위성영상에서 제공하지 않는 분광 밴드를 생성함으로써 환경 모니터링에 필요한 정보 제공이 가능할 것으로 기대된다.