Gap-Filling of Sentinel-2 NDVI Using Sentinel-1 Radar Vegetation Indices and AutoML

Sentinel-1 레이더 식생지수와 AutoML을 이용한 Sentinel-2 NDVI 결측화소 복원

Abstract

The normalized difference vegetation index (NDVI) derived from satellite images is a crucial tool to monitor forests and agriculture for broad areas because the periodic acquisition of the data is ensured. However, optical sensor-based vegetation indices(VI) are not accessible in some areas covered by clouds. This paper presented a synthetic aperture radar (SAR) based approach to retrieval of the optical sensor-based NDVI using machine learning. SAR system can observe the land surface day and night in all weather conditions. Radar vegetation indices (RVI) from the Sentinel-1 vertical-vertical (VV) and vertical-horizontal (VH) polarizations, surface elevation, and air temperature are used as the input features for an automated machine learning (AutoML) model to conduct the gap-filling of the Sentinel-2 NDVI. The mean bias error (MAE) was 7.214E-05, and the correlation coefficient (CC) was 0.878, demonstrating the feasibility of the proposed method. This approach can be applied to gap-free nationwide NDVI construction using Sentinel-1 and Sentinel-2 images for environmental monitoring and resource management.

위성영상 기반의 정규식생지수(normalized difference vegetation index, NDVI)는 넓은 영역에서 주기적인 정보를 수집할 수 있어 산림 및 농업 모니터링에 주로 사용된다. 그러나 광학센서 기반 식생지수는 구름 등의 영향으로 일부 지역에서 결측을 가지기 때문에, 본 연구는 전천후 및 주야에 관계없이 관측 가능한 Sentinel-1의 합성 개구 레이더(synthetic aperture radar, SAR) 영상을 활용하여 Sentinel-2 NDVI 결측값을 복원하는 모델을 개발하였다. 이는 광학적으로 관측이 어려운 구름 조건이나 야간에도 NDVI를 추정할 수 있는 잠재력을 보여준다. Automated machine learning (AutoML)을 활용한 비선형 결측복원모델의 5폴드(fold) 교차검증 결과, 절대오차 7.214E-05, 상관계수 0.878의 NDVI 복원 성능을 보였다. 이를 통해 시공간 연속적인 NDVI 생산 방법론을 발전시켜, 전천후 식생 모니터링에 필요한 정보 생산에 기여할 수 있을 것으로 기대된다.

1. 서론

위성영상은 단기간에 넓은 지역의 정보를 획득할 수 있는 이점을 바탕으로 국내외 다양한 분야에 활용되고 있다. 이 중 위성영상 기반의 다양한 식생지수(vegetation index, VI)는 식물체 내 엽록소의 분광학적 특성을 활용한 지표로 산림 및 농업 모니터링, 가뭄, 증발산 추정 등에 이용된다(Thomas and Gausman, 1977; Na et al., 2016; Kwak et al., 2017; Ahn et al., 2018; Ng et al., 2019). 특히, 식생의 장기적인 생육 특성을 표현하기 위한 시계열 자료 구축에 정규식생지수(normalized difference vegetation index, NDVI)가 주로 사용된다(Xue and Su, 2017; Seong et al., 2020). 식생의 건강 상태에 따라 적색광(Red)과 근적외선(near-infrared, NIR)을 흡수 또는 반사하는 특성을 이용하는 NDVI는 가시광선과 근적외선의 파장대를 가지는 모든 위성영상에서 산출 가능하다(Shin and An, 2007). 대표적으로 미 항공우주국(National Aeronautics and Space Administration, NASA) Moderate Resolution Imaging Spectroradiometer (MODIS) 센서는 250 m, 500 m, 1 km 해상도로 구성된 NDVI 산출물을 16일과 월 단위로 제공한다. 그러나 MODIS, Advanced Very High Resolution Radiometer (AVHRR) 등 저해상도 위성영상은 국소 지역 모니터링에 한계를 가지며(Kim and Park, 2019), 보다 정확한 식생 모니터링을 위하여 고해상도 위성영상의 활용이 요구된다(Son et al., 2021).

농업 및 산림 분야에 특화된 탑재체 사양과 위성궤도를 갖춘 Sentinel-2 위성은 Landsat이나 Satellite Pour l’Observation de la Terre (SPOT)와 유사한 고해상도와 분광밴드를 가지면서도, 동일 지역의 촬영주기 단축을 위하여 확장된 290 km의 촬영폭(swath width)을 가진 2기의 위성을 운영함으로써 5일의 촬영주기를 가진다(Lee et al., 2018). 또한, 농업전용 밴드의 공간 해상도 범위는 10–20 m로, 16일마다 30 m 해상도로 촬영되는 Landsat에 비하여 비교적 높은 해상도로 전 지구 규모의 식생정보 획득 및 모니터링이 가능하다(Segarra et al., 2020). 최근 Sentinel-2 위성영상을 활용하여 얻은 NDVI는 식생 및 농업 모니터링뿐만 아니라 토지피복, 농업 가뭄, 작물 분류 및 수확 등 다양한 분야에 적용되고 있다(Kaplan and Avdan, 2017; Kayad et al., 2019; Vélez et al., 2019; Kim et al., 2022; Soriano-González et al., 2022).

그러나 이 연구들의 한계는 1장 또는 소량의 영상으로 실험을 진행했다는 점이다. 가시광선과 적외선을 감지하는 광학위성센서는 구름을 투과할 수 없기 때문에 구름이 덮인 지역에 대하여 지표면의 NDVI를 계산하는 것이 불가능하다(Bradley et al., 2007; Li et al., 2021). 따라서 구름의 영향을 받은 영상들을 제외하는데, 이 경우 영상의 수가 크게 제한되어 가용 영상들의 시간 간격이 크고 관심있는 특정 시기의 영상 확보가 어렵다. 식물의 생애주기를 나타내는 NDVI는 수준, 주기, 진폭, 위상의 요소를 가진 파장의 형태로 계절적인 변화 양상을 관찰할 수 있어 장기간의 시계열 자료 구축이 중요하다(Lee, 2009).

합성 개구 레이더(synthetic aperture radar, SAR)는 광학 스펙트럼에 비해 긴 파장을 가지며, 이는 구름을 투과하고 조명과 빛의 영향을 받지 않는 특성을 지닌다(Lee et al., 2021). 따라서 전천후 주야에 관계없이 관측 가능한 SAR 위성 영상을 활용하여 광학위성 기반의 NDVI를 추정할 수 있다. 특히 Sentienl-1의 vertical transmit-vertical receive (VV), vertical transmit-horizontal receive (VH) 대역을 사용하여 NDVI와의 관계를 탐색하거나 추정하는 해외 사례들을 통해 이에 대한 가능성을 확인하였다(Navarro et al., 2016; Veloso et al., 2017; Frison et al., 2018; Periasamy, 2018; Mazza et al., 2018; Filgueiras et al., 2019; Holtgrave et al., 2020; Kaushik et al., 2021; Pelta et al., 2022).

그러나 선행 연구들을 종합하였을 때, Sentinel-1의 후방산란계수(backscattering coefficient)가 NDVI 추정에 일정한 잠재력을 가지고 있지만 실제 위치나 작물에 따라 후방산란계수를 어떻게 조합하고 활용할지에 대한 일관된 결론은 아직 도출되지 않았다. 따라서 본 연구는 하나의 SAR 지수에 초점을 두지 않고 통합하여 비선형 방식을 이용한 Sentinel-2 NDVI 자료의 복원 모델을 개발하였다. 구체적으로 2019년과 2020년의 Sentinel-2 자료를 수집하여 신뢰도 높은 픽셀을 기준으로 자동화 머신러닝(automated machine learning, AutoML)을 통해 식생지수의 결측 픽셀을 복원하는 모델을 구축하고 그 성능을 평가하였다. 모델 학습에 사용된 입력변수는 고해상도 기상(기온) 및 지형(고도) 격자자료와 Sentinel-1 기반의 편광 식생지수 3종이며 우리나라 용인자연휴양림과 주변 일대를 대상으로 실험을 수행하였다.

2. 연구지역 및 자료

2.1. 연구지역

본 연구의 구체적인 공간범위는 위도 37.26°N에서 37.33°N, 경도 127.26°E에서 127.38°E까지로 용인자연휴양림과 주변 일대를 포함한다. 해당 지역은 정광산, 태화산, 해룡산과 같은 최대 최대 615 m의 해발고도를 가진 산림 지역뿐만 아니라 농업지역, 나지, 수역 등 다양한 토지피복을 포함한다(Fig. 1).

Fig. 1. Visualization of the study area. (a) Satellite map. (b) Street map. (c) Digital elevation model (DEM). (d) Land cover.

2.2. 자료 및 전처리

2.2.1. Sentinel-2 기반 NDVI

Sentinel-2는 European Space Agency (ESA)에서운영하는 광학위성으로 다분광촬영장비(multi spectral instrument, MSI)를 탑재하여 13개의 분광대역에서 영상을 촬영하며, 가시광선과 적외선 영상은 10 m, 그 외 영상은 20 m, 60 m의 공간 해상도를 지닌다(Drusch et al., 2012). 본 연구는 구글 어스 엔진(Google Earth Engine, GEE)을 통해 수집한 2019년과 2020년의 Sentinel-2 레벨 2A 영상을 활용하였다. 이 중 구름 차폐 비율(cloud cover)이 20%를 초과하지 않는 영상을 선별하였고 그 결과 2019년 27장, 2020년 25으로 총 52장의 영상이 연구 자료로 수집되었다. 이후 QA60 밴드의 클라우드 마스크(cloud mask)를 이용하여 구름을 제거하고 NDVI를 계산하였다. NDVI는 위성자료의 Red와 NIR의 산술 연산에 의해 얻어지며(식 1), 일반적으로 -1에서 1까지의 범위를 가진다.

\(\begin{aligned}N D V I=\frac{N I R-R e d}{N I R+R e d}\end{aligned}\)       (1)

Table 1은 NDVI 산출에 사용되는 Band 4 (Red), Band 8 (NIR)의 대역 및 공간해상도를 나타낸다.

Table 1. Spectral bands and spatial resolutions of Sentinel-2 imagery used for NDVI calculation

2.2.2. Sentinel-1 기반 편광 식생지수

ESA의 Sentinel-1 위성은 상세한 전 지구 모니터링을 위한 코페르니쿠스(Copernicus) 프로그램의 일환으로 발사한 첫 번째 위성이다. 동일한 궤도에서 180°의 위상차로 운용중인 Senitnel-1A와 Senitnel-1B를 통해 영상이 수집되며 각 위성의 주기가 12일로 이루어져 함께 사용할 시 6일의 시간 해상도를 가진다(Ahmad and Kim, 2019). C-밴드(5.405 GHz)의 이중 편광(dual-polarization) 레이더 센서를 장착한 Sentinel-1 SAR 영상은 해상도와 주사폭에 따라 4가지 획득 모드로 구분되는데(Table 2), 그 중 interferometric wide (IW) swath 모드는 육지 관측의 주요 모드이다(Torres et al., 2012). SAR의 편광은 레이더 파장의 송수신에 따라 변하며, Sentinel-1의 IW 모드에서는 VV 편광과 VH 편광 영상이 제공된다. 본 연구에서는 GEE의 Sentinel-1 레벨 1 ground range detected (GRD) 영상을 사용하였다. 이는 Sentinel-1 Toolbox를 통해 궤도 보정(apply orbit file), 잡음 제거(noise removal), 방사보정(radiometric calibration), 지형보정(terrain correction)과 같은 전처리 과정을 거쳐 데시벨(dB) 단위의 후방산란 계수(σ°)로 처리된 영상이다(Filipponi, 2019). 추가로 Lee 5 × 5 필터를 사용하여 스펙클 필터링(speckle-filtering)을 수행하였으며(Lee, 1980), 레이더 식생지수 계산을 위하여 선형(linear) 스케일로 변환한 IW 모드의 VV, VH 편광 후방산란계수(σ⁰_VH, σ⁰_VV)를 최종 생성하였다(Flores-Anderson et al., 2019).

Table 2. Sentinel-1 characteristics

SAR 편광 식생지수는 레이더 영상을 활용하여 지표의 생태학적 변화를 정량화하고 신속하게 파악하는 방법으로, 식생의 표면을 효과적으로 모니터링하는데 기여한다(Flores-Anderson et al., 2019). 이는 광학적 영향을 받지 않아 어두운 영역이나 산 그림자 등과 같은 어려운 조건에서도 높은 감지 능력을 유지한다(Wang et al., 2019). 본 연구에서는 mRVI, mRFDI, RVI4S1와 같은 3가지 편광 식생지수를 사용하였다. RVI는 Kim and van Zyl (2009)에 의해 제안된 식생지수로 다중 편파(quad-polarization) SAR 영상을 위해 개발되었다(식 2).

\(\begin{aligned}R V I=\frac{8 \sigma_{H V}^{0}}{\sigma_{H H}^{0}+\sigma_{V V}^{0}+2 \sigma_{H V}^{0}}\end{aligned}\)       (2)

그러나 Sentinel-1 영상은 이중 편파만을 제공하므로 Nasirzadehdizaji et al. (2019)에 의해 수정된 mRVI를 사용하였다(식 3).

\(\begin{aligned}m R V I=\frac{4 \sigma_{V H}^{0}}{\sigma_{V H}^{0}+\sigma_{V V}^{0}}\end{aligned}\)       (3)

Radar forest degradation index (RFDI)는 주로 산림 지역에서 지표 상태를 모니터링할 때 사용하는 식생지수로(식 4), 일반적으로 0에서 1까지의 범위를 가지며 0.3 미만의 값은 높은 밀도의 산림, 0.4에서 0.6은 퇴적된 숲을 나타내고 0.6 이상은 산림이 없어진 지역을 나타낸다(Çolak et al., 2021).

\(\begin{aligned}R F D I=\frac{\sigma_{H H}^{0}-\sigma_{H V}^{0}}{\sigma_{H H}^{0}+\sigma_{H V}^{0}}\end{aligned}\)       (4)

본 연구에서는 마찬가지로 Sentinel-1의 VV, VH 편광을 위하여 식(5)와 같이 수정된 mRFDI를 사용하였다(Nicolau et al., 2021).

\(\begin{aligned}m R F D I=\frac{\sigma_{V V}^{0}-\sigma_{V H}^{0}}{\sigma_{V V}^{0}+\sigma_{V H}^{0}}\end{aligned}\)       (5)

RVI4S1는 Sentinel-1 SAR GRD 영상을 위한 식생지수로 작물 모니터링을 위하여 개발되었다(식 6, Sentinel Hub:https://custom-scripts.sentinel-hub.com/custom-scripts/sentinel-1/radar_vegetation_index/).

\(\begin{aligned}R V I 4 S 1=\sqrt{1-\frac{\sigma_{V V}^{0}}{\sigma_{V V}^{0}+\sigma_{V H}^{0}}} \times \frac{4 \sigma_{V H}^{0}}{\sigma_{V V}^{0}+\sigma_{V H}^{0}}\end{aligned}\)       (6)

3가지의 편광 식생지수(mRVI, mRFDI, RVI4S1)는 Sentinel-2 NDVI 영상과 가장 가까운 일자의 영상을 기준으로 생성하였다. Fig. 2는 본 연구에서 사용한 자료 중 위성 영상의 처리과정을 나타내었으며, Fig. 3은 그 예시이다.

Fig. 2. Process of creating satellite-based vegetation indices.

Fig. 3. Vegetation indices from Sentinel-1/2 satellites. (a) NDVI on June 22. (b) mRVI on June 26. (c) mRFDI on June 26. (d) RVIS1 on June 26.

2.2.3. 기타 입력변수 및 시공간일치

Sentinel-1 NDVI의 결측 복원을 위하여 추가적으로 사용한 변수는 기온과 고도이다. 본 연구는 고해상도 기상 데이터 생산 플랫폼 알파멧(AlphaMet)의 기온 자료를 사용하였다. 이는 남한 전역에서 수집한 기상청의 자동기상관측장비(automatic weather system, AWS), 종관기상관측장비(automatic synoptic observation system, ASOS) 그리고 NASA Modern-Era Retrospective analysis for Research and Applications version 2 (MERRA-2) 재분석 자료를 종합하여 상세 지형효과를 고려한 등압면 두께에 따른 기온 감률을 적용 및 계산한다(나노웨더: https://www.nano-weather.com). 고도는 Shuttle Radar Topography Mission (SRTM)의 수치표고모델(digital elevation model, DEM) v4.1을 사용하였다. 본 연구에서는 NDVI 복원 해상도를 90 m로 설정하고 모든 입력자료를 동일 해상도로 재격자화(resampling) 하였다.

3. 연구 방법

AutoML은 반복적인 작업을 줄이기 위하여 모델 선택, 엔지니어링, 하이퍼파라미터 조정 등 모델을 생성하는데 필요한 일련의 과정을 자동화하는 기술로 모델 개발에 필요한 시간과 도메인 지식에 대한 의존성을 줄인다는 장점이 있다(Jin et al., 2019). 이는 다양한 모델에 대하여 각각 하이퍼파라미터(hyperparameter)를 최적화한 후, 리더보드(leader board)의 상위 N개 모델을 앙상블(ensemble)하여 정확도를 향상시키는 기법으로 본 연구에서는 H2O 플랫폼에서 제공하는 AutoML을 사용하여 결측복원을 수행하였다(LeDell and Poirier, 2020).

구성된 매치업(matchup) DB 수는 1,142,232개이며 모든 데이터를 훈련 및 평가에 활용하면서 편중과 과적합(overfitting)을 피할 수 있도록 5폴드(fold) 교차검증을 수행하였다. 5폴드 교차검증은 전체 데이터를 셔플링(shuffling)하여 5개 그룹으로 나눈 뒤, 각 라운드마다 하나의 그룹을 검증 타깃으로 삼아 나머지 네 그룹으로 모델을 훈련한다. 그 후, 검증 타깃을 사용하여 모델의 성능을 평가한다. 이 과정을 총 5번 반복하여 서로 다른 조합의 정확도 통계량을 얻고 종합하여 모델의 최종 성능을 평가한다(Fig. 4).

Fig. 4. Concept of 5-fold cross-validation.

본 연구에서 사용한 성능 평가지표는 평균편의오차(mean bias error, MBE), 평균절대오차(mean absolute error, MAE), 평균제곱근오차(root mean square error, RMSE), 상관계수(correlation coefficient, CC)이다.

4. 연구결과 및 토의

Table 3은 5폴드 교차검증 결과 통계량으로 AutoML을 이용한 NDVI 결측복원모델의 성능을 나타낸다. 전체 데이터에 대하여 MAE가 7.214e-05로 실제 NDVI 값과 예측값이 매우 근접하다는 것을 나타내며, 0.878의 CC는 NDVI 복원모델의 높은 상관관계를 보인다. 이는 Sentinel-1의 레이더 영상을 활용한 NDVI 추정 잠재력을 강조하며, 전천후 주야에 관계없이 관측 가능한 레이더 영상을 통해 결측없이 안정적인 시계열 NDVI를 구축하는데 효과적인 모델임을 시사한다.

Table 3. Cross-validation statistics of AutoML model for gap-free Sentinel-2 NDVI

Fig. 5는 NDVI복원을 위한 최종 모델의 산점도(scatter plot)를 나타낸다. 일반적으로 NDVI 0에서 0.2는 황무지나 불균형한 식생이 나타나는 지역을 나타내고 0.2에서 0.4는 어느정도 식생이 나타나는 지역으로 농작물이나 초목지, 0.4에서 0.6은 관목이나 농림복합지, 0.6에서 0.8은 숲이나 농업림업복합지, 0.8에서 1은 열대 우림과 같이 높은 식생이 풍부한 지역을 나타낸다. 산점도를 통하여 본 논문의 연구지역인 용인자연휴양림과 주변 산림지역의 NDVI 특성을 파악할 수 있다. 다만 식생이 활발한 여름에 구름 영향으로 사용한 영상 수가 가장 적고(7장), 식생 활력도가 가장 떨어지는 겨울에 영상 수가 17장으로 가장 많기 때문에 NDVI 값이 낮게 분포할 수 있으며 이를 고려해야 한다. 또한 대다수의 경우, 자료들은 1대1 선에 고밀집된 분포를 보인다. 그러나 1대 1 선으로부터 벗어나 있는 일부 자료들은 토지피복을 함께 고려할 경우 더욱 정확한 예측이 가능할 것으로 예상된다.

Fig. 5. Scatter plot of the AutoML for gap-filling of Sentinel-2 NDVI.

Fig. 6는 추정치에서 관측치를 뺀 잔차(residual) 분포를 토지피복별로 나타내었다. 대부분 0주변에 정규분포 되어있어 예측이 관측값에 근접하게 이루어졌음을 나타내며 분포의 대칭성을 통해 과대평가(overestimate)나 과소평가(underestimate) 없이 NDVI를 적절히 예측하고 있다는 것을 확인할 수 있다. 반면 수역 부분은 양의 잔차가 많아 현 모델로는 예측이 어려울 것으로 생각된다.

Fig. 6. The distribution of the NDVI residuals. (a) Urban area. (b) Agricultural land. (c) Forest. (d) Grass. (e) Barren. (f) Water.

5. 결론

본 연구는 Sentinel-2 기반의 NDVI 결측복원에 대한 새로운 방법을 제시하였다. 선행연구에서 제안한 편광식생지수를 통합하고 AutoML을 활용하여 비선형 복원모델을 개발 및 평가하였다. 실험은 용인자연휴양림과 주변 지역에서 2019년과 2020년의 자료를 활용하였으며, 5폴드 교차검증 결과 MAE=7.214e-05, CC=0.878의 우수한 NDVI 복원 성능을 보였다. 이는 Sentinel-1 레이더 영상이 NDVI의 예측 및 복원에 효과적으로 사용될 수 있음을 시사하며, 제안된 방법론은 특정 지역이나 데이터셋에 국한되지 않고 다양한 환경에서 적용 가능하므로 향후 더욱 다양한 지역 및 상황에서의 응용 가능성을 열어두고 있다. 또한, 복원된 NDVI는 농업, 산림 모니터링 및 기상에 민감한 지역에서 유용하게 활용될 수 있으며 지속 가능한 자원 관리 및 농업 생산성 향상에 기여할 것으로 기대한다.