Evaluation of Spatio-temporal Fusion Models of Multi-sensor High-resolution Satellite Images for Crop Monitoring: An Experiment on the Fusion of Sentinel-2 and RapidEye Images

작물 모니터링을 위한 다중 센서 고해상도 위성영상의 시공간 융합 모델의 평가: Sentinel-2 및 RapidEye 영상 융합 실험

Abstract

The objective of this study is to evaluate the applicability of representative spatio-temporal fusion models developed for the fusion of mid- and low-resolution satellite images in order to construct a set of time-series high-resolution images for crop monitoring. Particularly, the effects of the characteristics of input image pairs on the prediction performance are investigated by considering the principle of spatio-temporal fusion. An experiment on the fusion of multi-temporal Sentinel-2 and RapidEye images in agricultural fields was conducted to evaluate the prediction performance. Three representative fusion models, including Spatial and Temporal Adaptive Reflectance Fusion Model (STARFM), SParse-representation-based SpatioTemporal reflectance Fusion Model (SPSTFM), and Flexible Spatiotemporal DAta Fusion (FSDAF), were applied to this comparative experiment. The three spatio-temporal fusion models exhibited different prediction performance in terms of prediction errors and spatial similarity. However, regardless of the model types, the correlation between coarse resolution images acquired on the pair dates and the prediction date was more significant than the difference between the pair dates and the prediction date to improve the prediction performance. In addition, using vegetation index as input for spatio-temporal fusion showed better prediction performance by alleviating error propagation problems, compared with using fused reflectance values in the calculation of vegetation index. These experimental results can be used as basic information for both the selection of optimal image pairs and input types, and the development of an advanced model in spatio-temporal fusion for crop monitoring.

이 연구에서는 작물 모니터링을 위한 시계열 고해상도 영상 구축을 위해 기존 중저해상도 위성영상의 융합을 위해 개발된 대표적인 시공간 융합 모델의 적용성을 평가하였다. 특히 시공간 융합 모델의 원리를 고려하여 입력 영상 pair의 특성 차이에 따른 모델의 예측 성능을 비교하였다. 농경지에서 획득된 시계열 Sentinel-2 영상과 RapidEye 영상의 시공간 융합 실험을 통해 시공간 융합 모델의 예측 성능을 평가하였다. 시공간 융합 모델로는 Spatial and Temporal Adaptive Reflectance Fusion Model(STARFM), SParse-representation-based SpatioTemporal reflectance Fusion Model(SPSTFM)과 Flexible Spatiotemporal DAta Fusion(FSDAF) 모델을 적용하였다. 실험 결과, 세 시공간 융합 모델은 예측 오차와 공간 유사도 측면에서 서로 다른 예측 결과를 생성하였다. 그러나 모델 종류와 관계없이, 예측 시기와 영상 pair가 획득된 시기 사이의 시간 차이보다는 예측 시기의 저해상도 영상과 영상 pair의 상관성이 예측 능력 향상에 더 중요한 것으로 나타났다. 또한 작물 모니터링을 위해서는 오차 전파 문제를 완화할 수 있는 식생지수를 시공간 융합의 입력 자료로 사용해야 함을 확인하였다. 이러한 실험 결과는 작물 모니터링을 위한 시공간 융합에서 최적의 영상 pair 및 입력 자료 유형의 선택과 개선된 모델 개발의 기초정보로 활용될 수 있을 것으로 기대된다.

1. 서론

지구환경 정보의 획득을 위해 다양한 공간, 시간, 분광해상도를 갖는 많은 위성들이 개발되어 운영 중인데, 개별 위성들은 고유의 공간해상도 및 시간해상도에 따라 영상을 촬영한다. 예를 들어 MODIS 영상은 1 km에서 250 m의 저해상도에서 하루 두 번 제공된다. 반면 Landsat 위성은 상대적으로 고해상도인 30 m 공간해상도에서 영상을 촬영하지만, MODIS 영상에 비해 상대적으로 긴 16일의 시간해상도를 갖는다. 농경지의 작물 생육 모니터링을 위해서는 일관된 해상도에서 다량의 시계열 영상의 확보가 필요한데, 시간해상도가 높은 광학 영상의 경우 구름으로 인한 결측 지역이 존재하며 이로 인해 생육이 활발한 시기와 같이 관심있는 특정 시기의 영상 확보가 매우 어렵다. 따라서 특정 단일 위성만으로 분석 목적에 적합한 최적의 시공간 해상도를 가진 영상의 시계열 구축에는 제약이 따른다(Zhu et al., 2018). 이처럼 단일 위성영상의 시계열 구축의 어려움과 다양한 위성영상의 시간해상도와 공간해상도의 trade-off로 인해 시간해상도와 공간해상도가 모두 높은 영상을 일관되게 얻기 위해서는 다중 센서 위성영상을 융합할 필요가 있다(Kim et al., 2020).

시공간 융합(spatio-temporal fusion)은 공간해상도가 낮지만 시간해상도가 높은 영상과 공간해상도가 높지만 시간해상도가 낮은 영상을 융합하여 시간해상도와 공간해상도가 모두 높은 영상을 생성하는 방법론을 의미한다(Kim and Park, 2019). 다시 말해 시공간 융합은 저해상도 영상이 얻어진 시기의 고해상도 영상을 예측하는 공간 상세화(spatial downscaling) 과정과 저해상도 및 고해상도 영상이 동시에 얻어진 시기와 예측 시기의 시간에 따른 상관성을 고려하는 시간 상세화 과정이 결합된 방법론을 의미한다. 따라서 동일 시기에 얻어진 고해상도 영상과 저해상도 영상을 융합하여 공간 상세화 결과를 생성하는 전통적인 픽셀 기반 자료 융합과는 다르다.

현재까지 개발된 시공간 융합 모델들은 가중치 함수 기반, 분광혼합분석 기반, 학습 기반, 하이브리드 모델 등으로 구분할 수 있으며(Liu et al., 2019; Kim et al., 2020), 개별 모델마다 토지피복 유형이 공간적인 이질적인 경우와 토지피복의 변화가 일어난 경우에 효과적으로 시공간 융합을 할 수 있는 특별한 절차를 포함한다.

시공간 융합의 초기 모델로 제안된 가중치 함수 기반 모델은 저해상도 및 고해상도 영상으로부터 분광학적으로 유사한 이웃 화소들의 정보를 가중 결합하여 예측 시기의 고해상도 영상을 생성하며, 대표적인 모델로는 Spatial and Temporal Adaptive Reflectance Fusion Model(Gao et al., 2006)과 이를 개선한 Enhanced STARFM(Zhu et al., 2010)이 있다. 분광혼합분석 기반 모델은 이질적인 토지피복이 존재하는 지역에서의 효과적인 시공간 융합을 위해 분광혼합분석을 통해 얻어지는 저해상도 영상의 토지피복 비율 정보를 이용하여 예측 시기의 고해상도 영상을 예측한다. 대표적인 분광혼합분석 기반 모델로는 Unmixing-Based Data Fusion(Zurita-Milla et al., 2008), Spatial and Temporal Reflectance Unmixing Model(Gevaert and García-Haro, 2015)이 있다. 학습기반 모델은 동일 시기에 획득된 저해상도 영상과 고해상도 영상의 관계성을 정량적으로 모델링한 후에 예측 시기의 저해상도 영상으로부터 고해상도 영상을 예측하며, SParserepresentation-based SpatioTemporal reflectance Fusion Model(Huang and Song, 2012; Song and Huang, 2013)과 합성곱 신경망 모델(Song et al., 2018; Jia et al., 2020) 등이 있다. 마지막으로 앞에서 언급한 3가지 시공간 융합 모델 유형에서 2가지 이상을 결합한 하이브리드 모델이 개발되었는데, 대표적으로 가중치 함수와 분광혼합분석을 결합한 Flexible Spatiotemporal DAta Fusion(Zhu et al., 2016)이 있다.

현재까지 진행된 대부분의 시공간 융합 모델 개발 연구들은 주로 식생지역에서의 계절적인 변화나 홍수 등의 재해로 인한 토지피복의 변화 모니터링을 목적으로 하였으며, 유사한 분광 파장 대역 및 촬영 시간을 갖는 MODIS 영상과 Landsat 영상 pair를 이용하여 예측 시기의 Landsat 영상을 생성하는 실험을 통해 모델의 예측 능력을 검증하였다(Gao et al., 2006; Zhang et al., 2013; Xie et al., 2016; Liu et al., 2019). 그러나 소규모 필지에서 다양한 작물을 재배하는 우리나라의 현황을 고려할 때, 기존 시공간 융합 모델의 개발 및 검증에 사용된 Landsat 영상의 공간해상도는 적합하지 않다. 따라서 국내 농경지에서의 작물 모니터링을 위해서는 고해상도 위성영상의 시공간 융합 연구가 필요하며, 주로 중저해상도 위성영상을 대상으로 적용된 기존 모델을 고해상도 위성영상의 시공간 융합에 적용하기 위한 비교 및 평가가 필요하다. 하지만 현재까지 국내 농경지에서의 작물 모니터링을 목적으로 고해상도 위성영상의 시공간 융합 적용 사례는 없는 상황이다.

시공간 융합 모델은 유형에 상관없이 기본적으로 동일 시기에 획득된 한 개 이상의 저해상도 및 고해상도 영상 pair와 예측 시기의 저해상도 영상과의 관계성을 정량적으로 모델링하여 저해상도 영상만 이용 가능한 시기의 고해상도 영상을 예측한다(Fig. 1). 따라서 저해상도 및 고해상도 영상 pair와 예측 시기 저해상도 영상과의 관계성이 시공간 융합 결과에 큰 영향을 미친다. 그러나 기존 연구 대부분은 시공간 융합 결과의 예측 성능 향상에 주안점을 두어, 입력 영상 pair의 개수나 관계성 등의 영향을 정량적으로 분석한 사례는 매우 드물다. 최근 최적의 입력 영상 pair 구성을 위한 일부 연구가 진행되었지만(Xie et al., 2018; Chen et al., 2020), 다양한 시공간 융합 모델을 대상으로 입력 영상 pair의 영향을 분석한 연구는 부재한 상황이다.

Fig. 1. Illustration of the basic concept of spatio-temporal image fusion.

이 연구에서는 작물 모니터링을 위한 시계열 고해상도 위성영상의 시공간 융합을 목적으로 기존 중저해상도 위성영상의 시공간 융합에 적용되어온 대표적인 모델들의 예측 성능을 정량적으로 평가하고자 한다. 국내 소규모로 재배되는 작물 지역의 특성을 고려하여 Sentinel-2 영상을 저해상도 영상으로, RapidEye 영상을 고해상도 영상으로 이용하는 시공간 융합 실험을 수행하였다. 이 때 시공간 융합 모델의 예측 성능에 영향을 미치는 입력 영상 pair의 특성을 pair 자료 수, 영상 pair와 예측 시기의 저해상도 영상 사이의 상관성 등으로 세분화하여 시공간 융합 실험을 수행하고, 실험 결과를 바탕으로 향후 모델 개발을 위한 제안점을 도출하였다.

2. 대상 지역 및 사용자료

이 연구에서는 작물 모니터링을 위한 기존 시공간 융합 모델의 적용성 평가를 위해 전라남도 해남군 산이면의 농경지 일부 지역을 대상으로 사례 연구를 수행하였다(Fig. 2). Fig. 2(b)의 토지피복도는 환경부 세분류 토지피복도와 현장조사 자료를 통합하여 제작한 것이다. 연구지역의 평지에서는 논벼가 재배되며, 따뜻한 해양성 기후로 인해 밭작물로는 주로 가을 배추와 겨울 배추가 재배된다. 연구 지역에는 논과 밭 외에도 금호호의 일부가 포함되며, 관리되지 않는 논 필지에 초지가 분포하는 등 다양한 토지피복이 분포한다.

Fig. 2. (a) A false color composite (near infrared-red-green bands as R-G-B) of RapidEye imagery on Oct. 9, 2019 and (b) a compiled land-cover map in the study area.

약 1,156 ha에 해당하는 소규모 지역의 작물 모니터링을 위해 시계열 영상 확보가 가능한 공간해상도 10 m/20 m의 Sentinel-2 영상과 공간해상도 5 m의 RapidEye 영상을 선택하였다. 한반도의 주요 작물인 벼의 모니터링에 적합한 최저 공간해상도가 약 5 m로 보고되었는데(Kim et al., 2015), 이 두 위성영상의 시공간 융합을 통해 5 m 공간해상도의 시계열 RapidEye 영상 구성이 가능하기 때문이다. 또한 두 위성영상은 식생 모니터링과 관련해서 식물의 다양한 생물리적 인자 관련 정보를 제공하는 적색 경계(red-edge) 파장 밴드를 포함하기 때문에 실험에 사용하였다.

5 m 공간해상도로 제공되는 RapidEye 영상의 경우 5개 분광 밴드 중에서 작물 생육과 관련 있는 녹색, 적색, 적색 경계, 근적외선(near infrared: NIR) 밴드를 시공간 융합에 사용하였으며, Sentinel-2 영상의 13개 밴드 중에서 RapidEye 위성영상에 대응되는 5개 분광 밴드를 사용하였다(Table 1). Sentinel-2 영상의 3개 적색 경계 밴드 중에서 RapidEye의 적색 경계 밴드의 파장 대역(710 nm)과 유사한 적색 경계1(Red-edge 1: 705 nm) 밴드를 사용하였다. Sentinel-2 영상의 녹색, 적색, 근적외선 밴드의 공간해상도는 10 m이며, 적색 경계 밴드의 공간해상도는 20 m이다.

Table 1. Summar of Sentinel-2 RapidEye images used in this study

Sentinel-2 영상은 10일 주기의 2A와 2B 두 개의 위성이 교호하므로 5일 간격으로 획득된다. 약 77 km의 촬영폭을 갖는 5개의 위성으로 얻어지는 RapidEye 영상의 시간해상도는 최소 1일에서 최대 5.5일로 알려져 있다. 그러나 사전 조사 결과, 실험 시기에 해당하는 2019년 6월부터 11월까지 연구지역을 포함한 경로로 촬영된 실제 영상의 수는 총 9개로 평균 약 20일 간격으로 획득되었다. 또한 Sentinel-2 영상과 마찬가지로 구름으로 인해 사용할 수 있는 영상의 수가 제한되어 가용 영상들의 시간 간격이 크다. 이러한 이유로 시공간 융합 실험에서 Sentinel-2 영상을 공간해상도가 낮고 시간해상도가 높은 영상으로, RapidEye 영상을 공간해상도가 높고 시간해상도가 낮은 영상으로 간주하였다. 따라서 시공간 융합 결과는 RapidEye 영상의 공간해상도인 5 m에서 생성된다.

두 위성영상 모두 기하보정 및 방사보정이 된 산출물을 사용하였고 추가적으로 시각적 비교를 통해 영상의 기하학적 위치를 체크하였다. RapidEye 영상의 경우, TOA(Top-Of-Atmosphere) 반사율 자료로 변환하여 두 영상 모두 동일한 물리적 값을 갖도록 전처리를 수행하여 시공간 융합의 입력자료로 사용하였다.

이 연구에서는 벼와 배추의 모니터링을 위해 벼가 본격적으로 성장하는 시기인 2019년 6월부터 배추 재배시기인 11월까지의 영상을 시공간 융합 실험에 이용하였다(Table 2). 두 위성영상의 pair 구성과 정량적 검증을 위해 동일 혹은 유사 시기에 획득된 총 4개의 영상 pair를 실험에 이용하였다(Fig. 3). 두 위성영상을 동일 시기에 획득하는 것이 매우 어렵기 때문에 획득 시기의 차이가 작거나 분광반사율 패턴이 유사한 경우를 영상 pair로 간주하였다.

Table 2. List of Sentinel-2 and RapidEye image pairs

Fig. 3. True color time-series Sentinel-2 and RapidEye images in the study area.

3. 시공간 융합 및 분석 방법론

1) 시공간 자료 융합 모델

이 연구에서는 기존 시공간 자료 모델 중에서 다른 시공간 융합 연구에서 대표적인 모델로 비교 대상이 되었던 STARFM, SPSTFM, FSDAF 세 모델을 실험에 적용하였다. 여기서는 모델의 일반적인 특징에 대해서만 기술하였으며, 세 모델의 적용 절차는 Fig. 4에 제시하였다.

Fig. 4. Schematic diagram of processing steps for each spatio-temporal model: (a) STARFM, (b) SPSTFM, and (c) FSDAF.

(1) STRARFM

STARFM은 예측 시기의 저해상도 영상 내 화소와 영상 pair 내 화소와의 시간, 공간, 분광학적 유사성을 고려해 가중치를 계산하여 예측 시기의 고해상도 영상을 생성하는 대표적인 시공간 융합 방법이다(Gao et al., 2006). STARFM은 저해상도 영상과 고해상도 영상이 동시에 얻어진 시기와 예측 시기 사이에 토지피복의 변화가 없다는 가정을 적용하며, 단일 혹은 다중 시기의 저해상도 및 고해상도 영상 pair의 이용 가능할 때 모두 적용할 수 있다는 장점이 있다.

STARFM의 적용은 크게 3개의 과정으로 구분할 수 있는데(Fig. 4(a)), 첫 번째는 분광학적으로 유사한 화소를 찾는 과정으로, 고해상도 영상에서 탐색창 내 표준편차와 클래스 수에 임계값을 설정하여 임계값보다 작거나 같은 경우 유사한 화소로 간주한다. 두 번째 과정에서는 고해상도 화소와 저해상도에서 이웃한 화소들의 평균값의 차이를 이용한 분광학적 차이, 저해상도 영상의 예측 시기와 영상 pair가 획득된 시기 사이의 반사율의 비교를 통한 시간적 차이, 그리고 탐색창의 중앙 화소와 주변 분광학적으로 유사한 이웃 화소와의 공간적 거리를 나타내는 공간적 차이를 결합하여 가중치를 계산한다. 세 번째는 필터링의 적용 과정으로, 저해상도 및 고해상도 영상의 불확실성 값을 측정하여 이웃 화소들 중에서 중앙 화소보다 유용한 공간 및 분광학적 정보를 제공하지 못할 경우 제외시킨다.

STARFM을 적용할 시 고려해야하는 주요 파라미터는 탐색창의 크기와 연구 지역의 클래스 개수이다. 주변 화소의 범위를 설정하기 위해 탐색창 크기를 정의하고 앞서 분광학적으로 유사한 화소를 찾는 과정에서 전체 지역의 클래스 수를 정의한다. 이 클래스 개수를 많게 설정할 경우 임계값은 작아지기 때문에 임계값보다 작거나 같은 조건을 만족하는 이웃 화소의 개수가 적어진다. 그 외 가중치 계산 시 공간적 거리에 대한 중요도를 나타내는 요소와 필터링 과정에서의 제약조건을 나타내는 불확실성 값도 지정해야 한다.

(2) SPSTFM

사전 학습(dictionary learning)은 저해상도 및 고해상도 영상 pair로부터 특징 정보를 추출하여 특징 정보들의 관계성을 정량화하여 사전으로 표현한다(Yang et al., 2010). 여기서 사전은 일정 크기의 탐색창 안에 포함되는 화소값들을 하나의 행렬로 구성한 후 화소들의 특징 정보를 포함하는 행렬의 집합을 의미한다. 사전 학습을 통해 만들어진 사전을 이용하여 저해상도 영상에 대하여 sparse coding을 통해 입력 영상과 유사한 특징 정보를 사전에서 가져와 고해상도에서의 값을 추정한다. 공간 상세화를 통해 추정된 예측 시기의 고해상도 영상과 영상 pair가 획득된 시기의 고해상도 영상을 결합하여 최종 예측값을 생성한다. 사전 학습으로 학습된 특징 중에서 새로운 화소에 맞는 최적의 특징을 추출하기 위해 나머지 특징들의 영향을 최대한 감소시키기 때문에 sparse representation이라고 부른다.

Sparse representation을 이용한 시공간 융합은 다중 영상 pair를 사용하는 SPSTFM가 대표적이다(Huang and Song, 2012). SPSTFM은 저해상도 및 고해상도 영상 pair의 차이 영상을 입력 자료로 사용하기 때문에 저해상도 영상을 고해상도로 변환하여 임의로 공간해상도를 높인 가상의 고해상도 영상을 사용한다(Fig. 4(b)).

SPSTFM에 사용되는 파라미터는 탐색창의 크기, 사전의 크기와 샘플 개수 등이 있다. 분석자가 탐색창과 사전의 크기를 우선 설정하며, 사전 학습의 갱신을 위해 사용할 샘플 화소의 개수도 지정한다. 그 외 탐색창의 이동시 중첩 정도, 최적의 sparse 계수를 찾기 위해 역투영 과정의 적용 횟수 등도 지정해야 한다.

(3) FSDAF

FSDAF는 하나의 저해상도 및 고해상도 영상 pair만을 이용하여 공간적으로 다양한 토지피복이 존재하는 지역에서의 점진적인 혹은 급격한 토지피복 변화를 반영하기 위해 개발되었다(Zhu et al., 2016). 모든 저해상도 화소에서 클래스 별 시계열 변화는 모두 같다는 가정 하에 분광혼합분석을 기반으로 시계열 예측을 수행하고 thin plate spline 보간법을 이용하여 공간 예측을 수행한다. 그리고 시계열 예측과 공간 예측된 결과를 가중치 함수로 결합하여 최종 융합 결과를 생성한다(Fig. 4(c)).

FSDAF를 적용할 때 지정하는 파라미터는 탐색창의 크기, 유사한 화소의 개수와 순수한 화소의 개수이다. 시계열 변화 추정에 필요한 각 클래스 별 가장 순수한 저해상도 화소의 개수를 지정하고, 가중치 계산 과정에서 탐색창 안의 분광학적으로 유사한 화소의 최소 개수도 지정해야 한다. 그 외 ISODATA를 이용한 무감독 분류에 필요한 파라미터도 지정해야 하는데, 다른 분류기를 적용할 경우 해당 분류기에 적합한 파라미터를 설정해야 한다.

2) 실험 설계

서론에서 언급하였듯이, 시공간 융합은 영상 pair와 예측 시기 저해상도 영상의 시간적 상관성을 예측 결과 생성에 이용하기 때문에 영상 pair의 특성이 시공간 융합 결과에 큰 영향을 미친다. 따라서 대표적인 세 시공간 융합 모델의 적용성 평가와 더불어 입력 영상 pair의 영향을 함께 분석하기 위해 입력 영상 pair의 특징을 입력 영상 pair의 개수, 영상 pair의 시기 별 조합, 입력 영상 pair의 종류 등으로 구분하여 실험을 수행하였다. 우선 영상 pair가 획득된 시기 별로 입력 영상 간의 상관성을 분석하였고, 이후 영상 pair의 개수와 조합에 따른 비교를 수행하였다. 영상 pair의 개수는 단일 영상 pair와 다중 영상 pair로 구분하였고, 다중 pair를 이용하는 실험에서는 개별 영상 pair를 다양하게 조합하여 영상 pair가 획득된 시기와 예측 시기의 상관성이 예측 능력에 미치는 영향을 비교하였다. 마지막으로 입력 영상의 종류는 반사율 자료와 식생지수 자료로 구분하였는데, 반사율 자료와 식생지수 자료를 각각 시공간 융합의 입력 자료로 사용하여 식생지수를 생성한 후에 각각의 예측 능력을 비교하였다.

이 실험에서 적용하는 세 시공간 융합 모델은 영상 pair의 개수에 따라 적용 여부가 달라진다. STARFM은 단일 및 다중 영상 pair에 모두 적용할 수 있지만, FSDAF와 SPSTFM은 각각 단일 영상 pair와 다중 영상 pair에만 적용이 가능하다. 따라서 시공간 융합 모델 별로 적용 가능한 단일 영상 pair와 다중 영상 pair로 구분하여 비교하였다(Table 3). 이 때 단일 영상 pair와 다중 영상 pair 모두 적용 가능한 STARFM은 단일 영상 pair에 적용할 경우 STARFM1으로, 다중 영상 pair에 적용할 경우 STARFM2로 명명하였다.

Table 3. Applicability of three spatio-temporal fusion models with respect to the number of input image pairs (O: applicable, X: not applicable)

입력 영상 pair의 개수 별 모델의 성능 비교를 위해 Table 4와 같이 다양한 입력 영상 pair 및 예측 시기의 조합을 고려하였다. 이 때 단일 및 다중 영상 pair는 예측 시기를 기준으로 이전 시기의 영상을 pair 영상으로 간주하여 조합하였다. 저해상도 및 고해상도 영상 pair가 획득된 시기와 예측 시기의 저해상도 영상의 관계성은 영상획득 날짜의 차이와 반사율 값의 상관성으로 비교할 수 있다. 특정 예측 시기에서의 고해상도 영상 생성에 입력 영상 pair가 미치는 영향은 영상 pair가 획득된 시기와 예측 시기의 차이, 영상 pair가 획득된 시기의 저해상도 영상과 예측 시기의 저해상도 영상의 상관성에 따라 분석할 수 있다. 특히 기존 연구에서는 영상 pair가 획득된 시기와 예측 시기의 차이만을 주로 고려하였지만(Xie et al., 2018), 이 연구에서는 영상간 상관계수를 추가적으로 고려하였다.

Table 4. Cases of different combinations of input image pairs used for spatio-temporal fusion

입력 저해상도 및 고해상도 영상 pair의 개수와 조합이외에, 작물 모니터링에 널리 사용되는 식생지수 산출을 위해 입력 영상의 종류를 반사율을 이용하는 경우와 식생지수를 이용하는 경우로 구분하였다. 식생의 생육 상태와 현황 등의 모니터링을 위해 효과적인 식생지수는 파장 별 반사율을 사용하여 정규화 과정을 통해 센서 간의 차이에 따른 오차의 영향을 감소시킬 수 있다는 장점이 있다(Xue and Su, 2017). 기존 시공간 융합 연구는 대부분 적색 및 근적외선 파장의 반사율 자료를 개별적으로 융합한 후에 식생지수를 계산했기 때문에, 시공간 융합된 반사율 자료로부터 간접적으로 계산된 식생지수와 시공간 융합의 직접적인 결과물로 생성되는 식생지수의 상호 비교가 필요하다. 또한 식생지수를 시공간 융합 모델의 입력 자료로 사용함으로써 반사율 자료의 융합을 목적으로 개발된 기존 모델의 적용성 평가가 가능해진다.

이 연구에서는 식생지수로 정규식생지수(normalized difference vegetation index; NDVI)와 적색 경계 밴드와 근적외선 밴드를 이용하여 계산하는 normalized difference red edge index(NDRE)를 적용하였다. NDRE는 식물의 엽록소 함량, 수분 상태 파악 등에 유용한 정보를 제공하는 것으로 알려져 있다(Lee and Lee, 2017). 식생지수를 시공간 융합의 입력 자료로 이용하는 경우, Sentinel-2 영상과 RapideEye 영상으로부터 식생지수를 계산한 후에 이를 입력 영상으로 사용하며 융합 결과로 식생지수를 생성한다. 개별 밴드의 반사율 자료를 입력 영상으로 사용하여 융합 결과를 생성한 후에 식생지수를 계산하는 경우, Table 1의 4개 분광 밴드의 반사율을 대상으로 밴드 별로 시공간 융합을 적용하였다. 이 연구에서는 반사율 자료의 시공간 융합 결과로부터 예측 시기의 고해상도 식생지수를 계산하는 방식을 BI(Blend-then-Index)로, 식생지수를 직접 시공간 융합에 적용하는 경우를 IB (Jarihani et al., 2014)로 명명하여 결과를 비교하였다.

시공간 융합 모델의 적용 시 저해상도 영상의 해상도 변환과 각 모델의 파라미터 설정이 필요하다. 이 연구에서 적용되는 시공간 융합 모델 모두 저해상도 영상을 고해상도 영상의 공간해상도로 변환하여 입력 자료로 사용하기 때문에 저해상도 영상의 고해상도로의 재배열 과정이 필요하다. 이 연구에서는 사전 실험을 통해 기존 연구에서 많이 적용되어온 bilinear 방법(Huang and Song, 2012; Kim and Park, 2019)을 Sentinel-2영상에 적용하여 RapidEye 영상의 공간해상도인 5 m로 변환하였다. 세 시공간 융합 모델의 공통적인 파라미터인 탐색창의 크기는 사전 실험을 통해 동일하게 5로 설정하였다. STARFM와 FSDAF에서 정의해야 하는 전체 지역의 최소 클래스 수는 Fig. 2(b)에 제시된 연구 지역의 토지피복에 따라 총 7개로 결정하였다. 또한 FSDAF의 적용에 필요한 탐색창 내 유사한 화소 수와 각 클래스별 순수 화소 수는 각각 10개와 50개로 설정하였다. SPSTFM의 경우 저해상도와 고해상도 영상의 특징 정보를 저장하는 사전의 크기는 사전 실험을 통해 유용한 특징을 많이 추출할 수 있는 512로 결정하였다. 한 번의 사전 학습을 수행할 때 사용할 샘플 화소의 개수는 1000개로 지정하였으며, 최적의 sparse 계수를 찾기 위해 총 10번의 반복 수행을 하도록 설정하였다.

3) 평가 방법

서로 다른 시공간 융합 모델에 따른 예측 결과를 정량적으로 비교하기 위해 개별 모델의 융합 결과와 시공간 융합에 사용하지 않은 예측 시기의 RapidEye 영상을 픽셀 별로 비교하여 오차 통계를 계산하였다. 정량적 오차 평가를 위한 지수로는 기존 시공간 융합 연구에서 예측 성능 비교에 사용되어온 root mean square error(RMSE), 상관계수(correlation coefficient)와 구조적 유사도(structure similarity: SSIM)를 이용하였다. 오차의 크기 비교에는 RMSE를 이용하였고, 예측 결과와 원 자료와 서로 다른 시공간 융합 모델에 따른 예측 결과를 정량적으로 비교하기 위해 개별 모델의 융합 결과와 시공간 융합에 사용하지 않은 예측 시기의 RapidEye 영상을 픽셀 별로 비교하여 오차 통계를 계산하였다. 정량적 오차 평가를 위한 지수로는 기존 시공간 융합 연구에서 예측 성능 비교에 사용되어온 root mean square error(RMSE), 상관계수(correlation coefficient)와 구조적 유사도(structure similarity: SSIM)를 이용하였다. 오차의 크기 비교에는 RMSE를 이용하였고, 예측 결과와 원 자료와의 유사성 비교에는 상관계수를 이용하였다. 또한 예측 결과의 공간 유사성을 측정하기 위해 SSIM(Wang et al., 2004)를 계산하여 검증 자료의 SSIM과 비교하였다. SSIM은 일정 크기의 영역에 대하여 국소적으로 예측 결과와 검증자료의 평균, 표준편차 및 공분산을 이용하여 구조적인 유사성을 측정하는 지수로(Wang et al., 2004), 영상 품질 평가에 많이 활용되고 있다. SSIM은 1에 가까울수록 예측 결과가 검증자료와 구조적으로 유사함을 나타낸다.

언급한 3개의 평가 지수들을 단일밴드와 식생지수 산출물을 이용한 융합 결과에 모두 적용하여 정량적인 비교를 수행하였고, 시공간 융합 모델 별로 나타나는 예측 패턴은 시각적으로 비교하였다.

4. 결과 및 토의

1) 영상 pair의 상관성 분석 결과

시공간융합에사용하는입력영상의특성이다르기때문에 (1) 영상 pair를 구성하는 Sentinel-2 영상과 RapidEye 영상의 상관성과 (2) pair 영상 획득 시기와 예측 시기의 Sentinel-2 영상의 상관성을 분석하였다.

Fig. 5(a)는 Table 2에 제시된 영상 pair 별 Sentinel-2 영상과 RapidEye 영상의 상관계수를 단일 밴드와 식생지수 별로 나타낸다. 식생에 민감한 근적외선 밴드와 식생 활력도를 반영하는 식생지수는 모든 시기에서 높은 상관성을 나타낸다. 이는 서로 다른 날짜에 획득된 저해상도 및 고해상도 영상으로 입력 영상 pair 구성이 가능함을 나타내며, 특히 식생지수 계산과정에서 센서간 차이에 따른 영향이 감소하면서 매우 유사하게 나타나고 있다. 반면 가시광선 밴드들은 동일 날짜에 획득되었음에도 불구하고 8월에 낮은 상관성을 보이는데, 이는 Fig. 3의 8월 영상에서 확인할 수 있듯이 물에서 RapidEye 영상의 분광반사율 값이 매우 높게 나타났기 때문이다.

Fig. 5. Correlation coefficients of Sentinel-2 and RaidEye images pairs: (a) correlation coefficients between Sentinel-2 and RapidEye images on the pair date and (b) correlation coefficients of between Sentinel-2 images on the pair date and the prediction date.

Fig. 5(b)는 Table 4에서 정의된 단일 영상 pair 별로 pair 영상이 획득된 시기와 예측 시기의 Sentinel-2 영상의 상관계수를 나타낸다. 조합 1번의 경우, 영상 pair가 획득된 6월과 예측 시기인 8월 영상의 상관성이 근적외선 밴드와 식생지수에서 낮게 나타나서 식생 활력도의 변화가 있음을 지시한다. 10월에는 근적외선 밴드와 식생지수의 상관성이 높아지고, 가시광선 밴드들은 0에 가까워 상관관계가 거의 존재하지 않는다. 조합 3번은 영상 pair가 획득된 8월과 예측 시기 10월 영상 사이의 상관성을 나타내는데, 벼의 식생 활력도가 가장 높을 시기에 해당되어 근적외선과 NDVI의 상관성이 가장 높게 나타나고 있다. 영상 pair가 획득된 10월 영상과 예측 시기에 해당하는 11월 영상의 조합인 6번의 경우, 시기적으로 예측 시기와 가장 가까운 10월 영상과의 상관성이 모든 밴드에서 높게 나타났으며, 조합 4번에 비해 조합 5번에서 식생지수의 상관성이 감소되었다. 이는 8월 영상 pair보다는 6월 영상 pair가 예측 시기인 11월 영상과 식생 상관성이 높다는 것을 알 수 있다. 이러한 영상 pair를 구성하는 저해상도 및 고해상도 영상의 상관성과 영상 pair와 예측 시기 저해상도 영상과의 시기별 상관성의 차이는 예측 성능에 영향을 미치게 된다.

2) 영상 pair의 조합에 따른 시공간 융합 결과

Table 4에 정의된 단일 영상 pair와 다중 영상 pair 조합에 따라 반사율 영상을 대상으로 STARFM1, FSDAF, STARFM2과 SPSTFM을 적용한 결과, 단일 영상 pair을 이용하는 경우 pair 영상의 특징에 따른 차이는 STARFM1과 FSDAF 모두 동일하게 나타났다(Fig. 6). 10월 고해상도 영상을 예측하는 경우, 조합 3번에 비해 조합 2번을 사용할 때 예측 오차가 낮으면서 가장 높은 상관성을 보이는 예측 결과를 얻을 수 있었다. 영상 pair 간 상관성은 조합 3번이 더 높지만 예측 오차가 더 크게 나타났는데, 이는 pair를 구성하는 Sentinel-2 영상과 RapidEye 영상의 낮은 상관성에 기인한 것으로 판단된다. 11월 영상을 예측하는 경우, 예측 시기인 11월과 시기적으로 가까운 10월 영상을 pair로 사용한 조합 6번의 예측 정확도가 가장 높았다. 조합 6번의 경우, 시기적인 차이가 작으며 상관성도 높기 때문에 11월의 반사율 패턴을 잘 예측할 수 있었다. 조합 4번과 5번을 비교하면 시기적으로 영상 pair가 획득된 8월이 예측 시기인 11월과 더 가깝지만 6월에 획득된 pair 영상을 사용하였을 때 예측 정확도와 상관성의 차이가 두드러졌다. 이는 11월과 6월 영상의 상관성이 8월에 비해 더 높았기 때문이다(Fig. 5). 즉 시기적으로 가까우면서 상관성이 높은 영상 pair를 시공간 융합에 이용하는 것이 가장 적합하며, 시기적으로 가까운 pair 영상보다 상관성이 높은 영상 pair를 이용하는 것이 예측 성능을 향상시킬 수 있음을 확인할 수 있었다. 예측 시기와 영상 pair 획득 시기 사이의 차이가 적을 경우 예측 성능이 향상된다는 기존 연구와 달리, 본 실험 결과는 시간적인 차이보다는 영상간 유사성이 예측 능력에 더 영향을 미치는 것을 지시한다.

Fig. 6. Three accuracy measures of prediction images by STARFM1 and FSDAF for each spectral band with respect to the different one-pair cases: RMSE, correlation coefficient (CC), and SSIM.

단일 pair 영상을 이용할 경우 STARFM1과 FSDAF의 오차 통계 차이가 두드러지지 않았지만, 전반적으로 STARFM1의 예측 오차가 더 작았고 검증 자료와의 상관성도 높게 나타났다. STARFM은 동질적인 지역일수록 주변 이웃 화소들과 예측하고자 하는 중앙 화소와 유사성이 증가하기 때문에 예측 성능이 높게 나타난 것으로 판단된다. FSDAF는 STARFM1과 유사하게 분광반사율 예측 정확도가 높게 나타났는데, 특히 시간적인 변 단일 pair 영상을 이용할 경우 STARFM1과 FSDAF의 오차 통계 차이가 두드러지지 않았지만, 전반적으로 STARFM1의 예측 오차가 더 작았고 검증 자료와의 상관성도 높게 나타났다. STARFM은 동질적인 지역일수록 주변 이웃 화소들과 예측하고자 하는 중앙 화소와 유사성이 증가하기 때문에 예측 성능이 높게 나타난 것으로 판단된다. FSDAF는 STARFM1과 유사하게 분광반사율 예측 정확도가 높게 나타났는데, 특히 시간적인 변다(Fig. 7).

Fig. 7. Comparisons between input, true, and predicted red-edge images for November using June one-pair images: (a) June Sentinel-2 image, (b) November Sentinel-2 image, (c) November image predicted by STARFM1, (d) June RapidEye image, (e) true November RapidEye image, and (f) November image predicted by FSDAF. The black square subarea marked in the left image is enlarged.

다중 영상 pair를 이용한 융합 결과는 단일 영상 pair를 이용하였을 때보다 전반적으로 RMSE가 낮아지고 상관계수와 SSIM 모두 향상되었다(Fig. 8). 동일한 모델인 STARFM1과 STARFM2의 결과를 비교해보면, 평균적으로 오차는 0.02정도 낮아졌고 상관계수와 SSIM 모두 약 0.1 정도 향상되었다. 이 때 일부 영상 pair 조합에서는 다중 영상 pair 보다 단일 영상 pair를 이용할 때 예측 성능이 높아졌다. 단일 영상 pair 조합 4번과 다중 영상 pair 조합 6번의 예측 성능을 비교하면, 11월 영상을 예측할 때 6월 영상 pair 하나만 이용한 경우가 6월과 8월 영상 pair를 함께 이용한 경우에 비해 예측 오차가 낮게 나타났다. 이는 8월 영상 pair를 포함하더라도 11월과 8월 영상 사이의 낮은 상관성으로 인해 오히려 예측 정확도가 감소된 것으로 보인다. 따라서 입력 영상 pair 수가 증가하면 예측 오차가 감소하지만, 이 때 예측 시기와의 유사성이 큰 영상을 포함하는 영상 pair를 추가할 필요가 있다.

Fig. 8. Three accuracy measures of prediction images by STARFM2 and SPSTFM for each spectral band with respect to different multiple-pair cases: RMSE, correlation coefficient (CC), and SSIM.

STARFM2과 SPSTFM의 예측 성능은 영상 pair 조합에 따라 다르게 나타났다. 8월 영상을 예측하는 경우, 두 모델 모두 조합 1번보다 조합 2번을 사용하였을 때 예측 오차가 더 커졌다. 이는 예측 시기인 8월이 영상 pair가 획득된 11월보다 10월 영상 pair와 시기적으로 가까우면서 상관성이 더 크기 때문인 것으로 판단된다. 10월 영상을 예측하는 경우, SPSTFM이 STARFM2에 비해 더 높은 예측 성능을 보였는데 특히 조합 3번과 5번에서 두 모델의 성능 차이가 두드러졌다. 조합 3번과 5번은 모두 8월 영상 pair를 이용하는데 STARFM2는 8월에서 나타나는 작물의 높은 반사율 패턴을 잘 반영하지 못하는 반면, SPSTFM은 8월의 특징 정보를 사전 학습을 통해 추출함으로써 예측 시기와 반사율 변화가 크더라도 영상 pair로부터 추출한 특징 정보를 예측 결과에 반영할 수 있었기 때문인 것으로 판단된다. 또한 11월을 포함하여 전반적으로 SPSTFM의 결과가 높은 SSIM값을 나타냈는데, Fig. 9를 보면 STARFM2는 탐색창 내에 유사한 화소들의 정보가 많이 반영되어 경계 부근에서 이웃한 화소들과 유사해지는 blur 현상이 나타난다. 반면 SPSTFM은 필지 경계가 선명하게 나타나며, 수확이 완료된 필지 내부의 세부적인 표면 상태까지 잘 나타내고 있다. STARFM2와 FSDAF 모두 식생 활력도가 가장 높은 8월 영상 pair를 이용했을 때 예측 정확도가 감소하였는데, 이러한 영향이 SPSTFM에서는 적게 나타난 것으로 보아 반사율의 변동성이 큰 특징을 잘 반영한 것으로 보인다.

Fig. 9. Comparisons between true and predicted images (NIR-Red-Green bands as R-G-B) for October using two-pair images acquired in August and November: (a) October Sentinel-2 image, (b) true October RapidEye image, (c) October image predicted by STARFM2, and (d) October image predicted by SPSTFM. Two black square subareas marked in the left image are enlarged. A and B represent the subareas of cabbage cultivation fields and paddy fields, respectively, and yellow circles denote a certain paddy field with specific spatial patterns.

3) 식생지수의 시공간 융합 결과

식생지수를 시공간 융합의 입력 자료로 사용하였을 때, 단일 영상 pair를 이용하는STARFM1과 FSDAF 모두 BI 방식보다 IB 방식에서 예측 정확도가 더 높게 나타났다(Fig. 10). 모든 영상 pair 조합에서 BI 방식보다 IB 방식에서 예측 성능이 높은 이유는 오차 전파로 설명할 수 있다. BI 방식은 단일 밴드 반사율의 융합 결과에서 발생하는 오차가 식생지수 계산 결과에 직접적으로 반영되기 때문이다. BI 방식의 경우, NDVI 예측(NDVIBI)에 비해 NDRE 예측(NDRE-BI)의 예측 오차가 더 작게 나타났는데, 이는 적색 밴드와 적색 경계 밴드의 차이에 기인한 것으로 적색 밴드의 반사율 융합 결과의 오차가 적색 경계 밴드의 반사율 융합 결과의 오차보다 더 컸기 때문이다. IB 방식의 높은 예측 정확도는 반사율 자료의 시공간 융합을 위해 개발된 STARFM1과 FSDAF이 입력 자료의 값 범위가 다른 식생지수의 시공간 융합에도 적용이 가능함을 지시하며, 작물 모니터링을 위한 시계열 식생지수 구축에는 IB 방식이 더 적합함을 의미한다.

Fig. 10. RMSE of predicted vegetation index images by STARFM1 and FSDAF with respect to different one-pair cases: (a) STARFM1 and (b) FSDAF.

5. 결론

외국에 비해 소규모 필지에서 작물을 재배하는 우리나라의 특성을 고려하면, 원격탐사 자료를 이용한 작물 모니터링에는 시계열 고해상도 영상 구축이 중요하다. 그러나 고해상도 위성영상의 시간해상도는 보통 저해상도 위성영상에 비해 낮기 때문에 시계열 영상 구축이 매우 어려운 상황이다. 이러한 한계를 극복하기 위해 다른 시간 및 공간해상도를 가진 다중 센서 영상의 시공간 융합이 필요하다. 이 연구에서는 작물 모니터링을 목적으로 고해상도 위성영상의 시공간 융합을 위해 기존 중저해상도 위성영상의 시공간 융합을 목적으로 개발된 대표적인 시공간 융합 모델의 적용성을 평가하였다. 시공간 융합 모델이 기본적으로 동일 시기에 획득된 저해상도 및 고해상도 영상 pair와 예측 시기 저해상도 영상과의 시공간 관계성을 이용하여 예측을 수행하기 때문에, 이 연구에서는 기존 연구와 달리 입력 영상 pair의 특성 차이가 예측 능력에 미치는 영향도 함께 고려하였다. 대표적인 융합 모델인 STARFM, SPSTFM, FSDAF를 Sentinel-2 영상과 RapidEye 영상의 시공간 융합 실험에 적용하였다.

해남지역에서의 시공간 융합 실험 결과, 단일 영상 pair를 이용하는 것보다 다중 영상 pair를 이용할 때 모델의 종류와 상관없이 예측 능력이 향상되었다. 또한 예측 시기로부터 시기적으로 가까운 영상 pair보다는 예측 시기의 저해상도 영상과 상관성이 높은 영상 pair를 이용하는 것이 유용하다는 것을 확인하였다. 모델 별 예측 성능을 살펴보면, 개별 시공간 융합 모델은 입력 영상 pair의 특성에 따라 서로 다른 예측 능력과 공간해상도 향상 정도를 보였다. STARFM은 속성값 예측 능력이 다른 모델에 비해 높았으며, FSDAF는 지표면 물리적인 상태가 변하는 경우에 예측 성능이 우수하였다. 사전 학습 기반의 SPSTFM은 속성값 변화가 큰 경우에 예측 성능이 우수하였고, 특히 구조적 유사성이 높은 융합 결과를 생성하였다. 이 실험을 통해 중저해상도 위성영상의 시공간 융합을 위해 개발된 세 융합 모델 세부 적용 절차의 특별한 변경 없이 다중 센서 고해상도 위성영상의 시공간 융합이 가능함을 확인했지만, 융합 결과에서 일부 blur 현상이 나타나 고해상도 영상의 특성이 완전히 반영되지 못하였다. 작물 모니터링에 유용하게 사용되는 식생지수의 경우, 오차 전파 문제가 발생하는 융합된 반사율로 식생지수를 계산하는 경우에 비해 식생지수를 직접적으로 시공간 융합의 입력 자료로 이용하는 경우의 예측 능력이 높았다.

이 연구에서는 특정 지역을 대상으로 시공간 융합 실험을 수행했지만, 실험 결과는 서로 다른 특성을 가진 기존 시공간 융합 모델의 장단점을 상호 보완하여 시계열 분광 특성의 반영과 공간해상도 향상 정도가 모두 높은 예측 결과를 생성할 필요가 있음을 지시한다. 특히 중저해상도 영상과 다르게 고해상도 영상에서는 필지 경계와 같이 서로 다른 토지피복의 경계가 뚜렷하게 나타나고 지표 특성이 보다 상세하게 표현되기 때문에 이러한 고해상도 영상의 특성이 잘 반영되도록 모델의 적용 절차를 개선할 필요가 있다. 또한 시공간 융합의 예측 성능을 높이기 위해 시기 차이보다는 예측 시기 영상과의 상관성을 입력 영상 pair의 선정 기준으로 적용하고, 작물 모니터링을 위해 식생지수를 시공간 융합의 입력 자료로 사용할 필요가 있다. 향후 이러한 연구 결과를 기반으로 다양한 고해상도 위성영상의 시공간 융합을 위한 개선된 모델을 개발하고, 여러 지역을 대상으로 실험을 수행하여 작물 모니터링에의 적합성을 평가할 예정이다.