대한원격탐사학회지 (Korean Journal of Remote Sensing)

대한원격탐사학회 (Korean Society of Remote Sensing)
권호 표지
DOI QR코드

DOI QR Code

MODIS 및 Landsat 위성영상의 다중 해상도 자료 융합 기반 토지 피복 분류의 사례 연구

A Case Study of Land-cover Classification Based on Multi-resolution Data Fusion of MODIS and Landsat Satellite Images

  • 김예슬 (한국항공우주연구원 국가위성정보활용지원센터)
  • Kim, Yeseul (National Satellite Operation & Application Center, Korea Aerospace Research Institute)
  • 투고 : 2022.11.01
  • 심사 : 2022.11.15
  • 발행 : 2022.12.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

이 연구에서는 토지 피복 분류를 위한 다중 해상도 자료 융합의 적용성을 평가하였다. 여기서 다중 해상도 자료 융합 모델로는 spatial time-series geostatistical deconvolution/fusion model (STGDFM)을 적용하였다. 연구 지역은 미국 Iowa 주의 일부 농경 지역으로 선정하였으며, 대상 지역의 규모를 고려해 다중 해상도 자료 융합의 입력 자료로 Moderate Resolution Imaging Spectroradiometer (MODIS) 및 Landsat 영상을 사용하였다. 이를 바탕으로 STGDFM 적용해 Landsat 영상이 결측된 시기에서 가상의 Landsat 영상을 생성하였다. 그리고 획득한 Landsat 영상과 함께 STGDFM의 융합 결과를 입력 자료로 사용해 토지 피복 분류를 수행하였다. 특히 다중 해상도 자료 융합의 적용성 평가를 위해 획득한 Landsat 영상만을 이용한 분류 결과와 Landsat 영상 및 융합 결과를 모두 이용한 분류 결과를 비교 평가하였다. 그 결과, Landsat 영상만을 이용한 분류 결과에서는 대상 지역의 주요 토지 피복인 옥수수와 콩 재배지에서 혼재 양상이 두드러지게 나타났다. 또한 건초 및 곡물 지역과 초지 지역 등 식생 피복 간의 혼재 양상도 큰 것으로 나타났다. 반면 Landsat 영상 및 융합 결과를 이용한 분류 결과에서는 옥수수와 콩 재배지의 혼재 양상과 식생 피복 간의 혼재 양상이 크게 완화되었다. 이러한 영향으로 Landsat 영상 및 융합 결과를 이용한 분류 결과에서 분류 정확도가 약 20%p 향상되었다. 이는 STGDFM을 통해 MODIS 영상이 갖는 시계열 분광 정보를 융합 결과에 반영하면서 Landsat 영상의 결측을 보완할 수 있었고, 이러한 시계열 분광 정보가 분류 과정에 결합되면서 오분류를 크게 줄일 수 있었던 것으로 판단된다. 본 연구 결과를 통해 토지 피복 분류에 다중 해상도 자료 융합이 효과적으로 적용될 수 있음을 확인하였다.

This study evaluated the applicability of multi-resolution data fusion for land-cover classification. In the applicability evaluation, a spatial time-series geostatistical deconvolution/fusion model (STGDFM) was applied as a multi-resolution data fusion model. The study area was selected as some agricultural lands in Iowa State, United States. As input data for multi-resolution data fusion, Moderate Resolution Imaging Spectroradiometer (MODIS) and Landsat satellite images were used considering the landscape of study area. Based on this, synthetic Landsat images were generated at the missing date of Landsat images by applying STGDFM. Then, land-cover classification was performed using both the acquired Landsat images and the STGDFM fusion results as input data. In particular, to evaluate the applicability of multi-resolution data fusion, two classification results using only Landsat images and using both Landsat images and fusion results were compared and evaluated. As a result, in the classification result using only Landsat images, the mixed patterns were prominent in the corn and soybean cultivation areas, which are the main land-cover type in study area. In addition, the mixed patterns between land-cover types of vegetation such as hay and grain areas and grass areas were presented to be large. On the other hand, in the classification result using both Landsat images and fusion results, these mixed patterns between land-cover types of vegetation as well as corn and soybean were greatly alleviated. Due to this, the classification accuracy was improved by about 20%p in the classification result using both Landsat images and fusion results. It was considered that the missing of the Landsat images could be compensated for by reflecting the time-series spectral information of the MODIS images in the fusion results through STGDFM. This study confirmed that multi-resolution data fusion can be effectively applied to land-cover classification.

키워드

1. 서론

원격탐사 자료를 이용한 토지 피복 분류에는 광역 규모에서 주기적으로 자료를 획득할 수 있는 위성영상이 주요 입력자료로 활용되고 있다(Kown et al., 2021; Ye, 2021; Kwak and Park, 2022). 특히 농경지, 도심지, 산림, 수계 등 다양한 토지 피복의 유형을 구분하기 위해서는 단일 시기에서 획득한 위성영상의 분광 정보만을 이용하는 것보다 다중 시기에서 획득한 위성영상을 이용해 분광 및 시간 정보를 분류에 결합하는 것이 유리한 것으로 알려져 있다(Kim et al., 2018; Kwak and Park, 2019; Yang et al., 2020). 그러나 단일 센서로부터 획득한 위성 영상은 trade-off로 인해 토지 피복 분류에 적합한 시간 혹은 공간 해상도를 충족시키기 어렵다(Pelletier et al., 2016; Park et al., 2021; Karagiannopoulou et al., 2022). 다시 말해서 좁은 영역에서 다양한 토지 피복 유형을 구분해야 한다면 상대적으로 높은 공간 해상도의 위성영상을 분류의 입력 자료로 활용해야 한다. 그러나 고해상도 위성영상은 낮은 획득 주기를 갖기 때문에 유사한 시계열 분광 정보를 갖는 피복 유형 간의 혼재가 나타날 가능성이 높다. 반대로 높은 시간 해상도의 위성영상을 이용해 시계열 분광 정보를 기반으로 피복 유형 간의 구분력을 향상시킬 수 있다. 그러나 높은 시간 해상도의 위성영상은 상대적으로 공간 해상도가 낮기 때문에 좁은 영역에서의 분류를 수행하는데 한계를 갖는다.

토지 피복 분류에서 단일 센서의 위성영상이 갖는 한계를 보완하기 위해 다중 해상도 자료 융합을 적용할 수 있다. 여기서 다중 해상도 자료 융합은 다중 센서의 위성영상이 갖는 해상도의 보완적 특성을 결합해 목표하는 시간 및 공간 해상도에서 가상의 위성영상을 생성하는 기술을 의미한다(Park et al., 2019; Ghamisi et al., 2019). 이를 위해 다중 해상도 자료 융합은 공간 해상도는 낮지만 시간 해상도가 높은 자료(Low Spatial-resolution data with High Temporal-resolution, LSHT data)와 반대로 공간 해상도가 높지만 시간 해상도가 낮은 자료(High Spatial-resolution data with Low Temporal-resolution, HSLT data)를 입력 자료로 사용한다. 그리고 동일 시기에서 획득한 LSHT 자료와 HSLT 자료의 모델링을 통해 HSLT 자료가 결측된 시기에서 가상의 HSLT 자료를 생성한다. 이와 관련하여 LSHT 자료와 HSLT 자료의 모델링 방법에 따라 가중 결합 기반의 융합 모델(Gao et al., 2006; Zhu et al., 2010), 학습 기반의 융합 모델(Huang and Song, 2012; Song and Huang, 2013), 지구통계 기반의 융합 모델(Kim et al., 2020) 등 다양한 융합 모델이 개발 및 제안되어 왔다. 다양한 연구를 통해 다중 시기에서 융합 결과를 높은 예측 정확도로 생성할 수 있게 되었지만, 융합 결과를 시계열 변화 탐지, 식생 모니터링, 토지피복 분류 등의 입력 자료로 직접적으로 활용한 사례는 거의 없는 실정이다(Jin et al., 2017; Kim et al., 2019).

이와 관련하여 이 연구에서는 토지 피복 분류를 위한 다중 해상도 자료 융합의 적용성 평가를 수행하였다. 이를 위해 먼저 Moderate Resolution Imaging Spectroradiometer(MODIS) 위성영상과 Landsat 위성영상을 이용해 다중 해상도 자료 융합을 수행하였다. 자료 융합을 통해 Landsat 영상의 공간 해상도에서 토지 피복 분류를 위한 다중 시기 위성영상을 생성하였다. 생성한 다중 시기 위성영상을 입력 자료로 활용해 토지 피복 분류를 수행하였다. 분류에서 다중 시기 위성영상의 가용 여부에 따른 영향을 살펴보기 위해 시계열 분광 정보의 차이가 크게 나타나는 농경지, 산림, 초지 등 식생 피복이 넓게 분포하는 지역을 대상 지역으로 선정하였다. 이를 바탕으로 일부 시기에서 획득한 Landsat 영상만을 이용한 분류와 다중 시기에서 획득한 Landsat 영상 및 융합 결과를 이용한 분류를 비교해 토지 피복 분류에서 다중 해상도 자료 융합의 적용성을 평가하였다.

2. 다중 해상도 자료 융합 모델

이 연구에서는 다중 해상도 자료 융합 모델로 Kim et al. (2020)이 제안한 spatial time-series geostatistical deconvolution/fusion model (STGDFM)을 적용하였다. STGDFM은 LSHT 자료와 HSLT 자료의 융합을 위해 1) 저해상도 시계열 경향성분 모델링, 2) 고해상도 시공간 경향성분 추정, 3) 고해상도 잔차성분 추정의 세 단계의 세부 과정을 포함한다. 이를 바탕으로 최종 융합 결과로 고해상도에서 추정된 경향성분과 잔차성분을 결합해 높은 공간 및 시간 해상도를 갖는 가상의 자료를 생성한다.

STGDFM의 첫 번째 단계에서는 LSHT 자료로부터 저해상도 시계열 경향성분을 모델링한다. 이 과정은 LSHT 자료로부터 시간에 따른 예측 속성의 변화 추세를 정량화 하는 것을 의미한다. 이를 위해 STGDFM은 시공간 지구통계학 모델인 공간 시계열 모델링(spatial time-series modeling)을 적용한다(Kyriakidis and Journel, 2001). 공간 시계열 모델링은 경향성, 주기성, 계절성 등의 시계열 자료가 갖는 특성의 유무와 관계없이 시계열 경향성분 모델링이 가능하다(Kyriakidis and Journel, 2001; Kyriakidis et al., 2004). 공간 시계열 모델링은 각 저해상도 화소의 시계열 값과 기본 시계열 요소(basis time-series elements)의 관계성을 기반으로 시계열 경향성분을 모델링한다. 여기서 기본 시계열 요소는 공간적 위치와 무관하게 대상 지역에서 물리적 해석이 가능한 시계열 값을 의미한다. 이를 바탕으로 STGDFM은 피복에 따라 시계열 반사율 값의 특성이 다른 점을 고려하여 대상 지역의 주요 토지 피복별 시계열 반사율의 평균을 기본 시계열 요소로 정의한다. 다음 기본 시계열 요소와 각 화소의 시계열 반사율 값의 관계성을 추정하기 위해 비모수적 기계학습 모델인 랜덤 포레스트를 적용한다. 추정된 관계성을 기반으로 STGDFM은 저해상도 각 화소에서 시계열 경향성분을 모델링한다.

다음은 LSHT 자료의 공간 해상도에서 모델링한 시계열 경향성분을 HSLT 자료의 공간 해상도에서 추정하는 단계를 적용한다. 저해상도 시계열 경향성분을 고해상도 시공간 경향성분으로 추정하기 위해 STGDFM은 공간 분해능 행렬을 계산하고 이를 적용한다. 여기서 분해능 행렬은 동일 시기에서 획득한 LSHT 자료와 HSLT 자료 간의 선형 관계식을 행렬 형태로 정의한 것이다. 이 분해능 행렬은 컨볼루션 행렬과 디컨볼루션 행렬이 있는데(Xue et al., 2017), STGDFM은 저해상도 자료를 고해상도 자료로 변환하기 때문에 디컨볼루션 행렬을 분해능 행렬로 추정해 적용한다(Kim et al., 2020). 예측 시기에서는 참 값의 HSLT 자료가 없기 때문에 디컨볼루션 행렬을 정의할 수 없다. 따라서 STGDFM은 동일 시기에서 획득한 LSHT 및 HSLT 자료로부터 정의된 디컨볼루션 행렬의 가중 결합을 통해 예측 시기에서의 디컨볼루션 행렬을 추정한다. 여기서 가중치는 예측 시기와 LSHT 및 HSLT 자료의 동시 획득 시기에서 모델링한 저해상도 시계열 경향성분 간의 상관성을 통해 계산된다. 즉, 두 시기 사이에서 획득한 저해상도 시계열 경향성분의 상관성을 계산하고 상관성이 높은 시기에서 정의된 디컨볼루션 행렬에 높은 가중치를 할당한다. 이를 바탕으로 시기별 디컨볼루션 행렬의 가중 결합을 통해 예측 시기에서 디컨볼루션 행렬을 추정한다. 그리고 추정된 디컨볼루션 행렬은 예측 시기의 저해상도 시계열 경향성분에 적용하여 고해상도 시공간 경향 성분을 추정한다.

앞서 추정한 고해상도 시공간 경향성분은 획득한 LSHT 및 HSLT 자료의 시공간 모델링의 결과로 간주할 수 있다. 그러나 예측 속성에는 입력 자료의 시공간 모델링으로 설명할 수 없는 잔여 속성이 존재할 수 있고, 이는 예측 속성의 잔차성분으로 간주할 수 있다(Kim et al., 2020). STGDFM은 예측 속성을 모두 고려하기 위해 경향성분과 함께 이러한 잔차성분을 고해상도에서 추정하여 고해상도 시공간 경향성분과 결합함으로써 최종 융합 결과로 생성한다. 이를 위해 먼저 고해상도 시공간 경향성분을 대상으로 Gaussian kernel 기반의 Point Spread Function (PSF)를 적용해 저해상도로 업스케일링한다. 업스케일링한 경향성분을 예측 시기에서 획득한 LSHT 자료와의 차이를 통해 저해상도에서 잔차성분을 계산한다. 그리고 저해상도 잔차성분을 대상으로 지구통계 기반의 공간 상세화 기법인 area-to-point kriging (ATPK)를 적용한다(Kyriakidis, 2004). ATPK를 기반으로 고해상도에서 추정한 잔차성분을 앞서 추정한 고해상도 시공간 경향성분과 결합하여 STGDFM의 자료 융합 결과를 생성한다(Kim et al., 2020).

3. 방법론

1) 대상 지역 및 사용 자료

다중 해상도 자료 융합 결과를 기반으로 토지 피복분류를 수행하기 위해 이 연구에서는 미국 Corn Belt에 위치한 아이오와 주 일부 지역을 대상 지역으로 선정하였다(Fig. 1). 대상 지역은 약 22 × 22 km범위로 선정하였으며, Fig. 1과 같이 주요 토지 피복은 작물 재배지로 여기에는 옥수수와 콩을 주요 작물로 재배하고 있다. 주요 작물인 옥수수와 콩은 일반적으로 4월에서 5월 사이에 파종하고, 8월에서 9월 사이에 수확한다(Shen et al., 2022). 두 작물은 수확 전인 7월에서 8월 사이에 가장 높은 식생 활력도를 보이며, 옥수수 보다 콩의 수확이 더 늦게 이루어진다. 작물 재배지 외에도 대상 지역은 건초, 산림, 도심지, 수계지역 등 다양한 토지 피복으로 구성되어 있다(Fig. 1).

OGCSBN_2022_v38n6_1_1035_f0001.png 이미지

Fig. 1. Location of study area with a Cropland Data Layer (CDL) in 2018.

이 연구에서는 대상 지역의 공간 규모와 다양한 토지피복의 구성을 고려해 다중 해상도 자료 융합의 입력 자료로MODIS 및 Landsat 위성영상을 사용하였으며, 영상의 제원은 Table 1과 같다. 여기에는 주요 작물인 옥수수와 콩의 파종 및 수확 시기를 고려해 Table 2와 같이 2018년 3월부터 10월까지 구름이 없는 14장의 MODIS 영상과 2장의 Landsat 영상을 수집하였다. 수집한 MODIS 영상은 MOD09GQ 산출물로 적색(Red) 및 근적외선(Near-Infrared, NIR) 채널에서 일별 반사율 정보를 제공한다(U.S. Geological Survey, 2022b).

Table 1. Summary of MODIS and Landsat images as input data for data fusion

OGCSBN_2022_v38n6_1_1035_t0001.png 이미지

Table 2. Acquisition dates of MODIS and Landsat images used in this study

OGCSBN_2022_v38n6_1_1035_t0002.png 이미지

MODIS images were acquired at all dates.

Landsat images were acquired at the dates with underline.

* The dates with underline mean acquired dates of simultaneously MODIS and Landsat images.

Landsat 영상은 Landsat-7 ETM+ 영상으로 scan line corrector 장비 고장(SLC-off)의 영향이 없는 영역에서 입력 자료를 구성하였다. MODIS의 반사율 산출물을 입력 자료로 사용하기 때문에 Landsat 영상도 반사율 산출물을 사용하였으며(Table 1), 여기에는 미국 USGS에서 제공하는 반사율 자료인 Landsat-7 ETM+ Collection 2 Level-2를 사용하였다(U.S. Geological Survey, 2022a). 앞서 언급한 바와 같이 사용된 MODIS 영상은 적색 및 근적외선 채널의 반사율 자료를 제공하기 때문에 Landsat 영상에서도 적색 및 근적외선 채널 자료만을 입력 자료로 사용하였다. 획득한 MODIS 영상과 Landsat 영상의 공간 해상도 비율을 정수로 맞추어 자료 융합에 입력해야 한다. 이를 위해 전처리 과정으로 획득한 14개 MODIS 영상의 공간 해상도를 240 m로 resampling 하였으며, 여기에는 최근린(nearest neighboring) 기법을 적용하였다.

다중 해상도의 위성영상과 함께 이 연구에서 적용한 다중 해상도 자료 융합 모델인 STGDFM은 낮은 공간해상도에서 획득한 토지 피복도를 입력 자료로 사용한다(Kim et al., 2020). 이를 위해 미국 USDA에서 제작 및 제공하는 Cropland Data Layer (CDL)를 사용하였다(U.S.Department of Agriculture, 2022). CDL은 다양한 작물과 산림, 도심지, 수계지역, 초지 등 총 256개의 항목으로 구성된 연 단위 토지 피복도이다(Lark et al., 2021). 본 연구에서는 대상 지역의 주요 피복 항목인 옥수수, 콩, 건초, 산림, 수계지역, 도심지, 초지 등의 7개 항목으로 CDL 자료의 속성을 재할당하여 사용하였다(Fig. 1).

또한 30 m의 공간 해상도로 제공되는 CDL 자료를 우선 획득하고, 이를 STGDFM에 입력하기 위해 CDL의 원본 해상도를 240 m의 공간 해상도로 변환하였다. 여기서 240 m의 공간 해상도는 STGDFM에 입력된 MODIS 영상의 공간 해상도와 동일하다(Table 1). CDL 자료의 공간 해상도를 변환하기 위해 240 m 화소 안에 포함되는 CDL 자료의 모든 속성을 비율로 계산하고, 높은 비율을 갖는 속성을 해당 화소의 속성으로 할당하는 방식을 적용하였다. CDL 자료를 STGDFM의 입력 자료로 사용함과 동시에 이 연구에서는 자료 융합의 활용성 평가를 위한 분류 정확도의 검증 자료로 사용하였다. 자료 융합 기반의 분류 결과는 Landsat 영상의 공간 해상도에서 생성되기 때문에 분류 정확도 평가에는 30 m의 CDL 자료를 검증 자료로 사용하였다.

2) 실험 방법

이 연구는 크게 두 단계로 실험을 수행하였는데(Fig. 2), 먼저 첫 번째 단계에서는 획득한 MODIS 및 Landsat 영상을 대상으로 다중 해상도 자료 융합을 위한 STGDFM을 적용하였다. STGDFM을 적용하면 Table 1에서 Landsat 영상이 결측된, 즉 MODIS 영상만 획득된 12개 시기에서 가상의 Landsat 영상이 생성된다. 다음 두 번째 단계에서는 자료 융합을 통해 생성한 가상의 Landsat 영상과 획득한 Landsat 영상을 분류의 입력 자료로 사용해 토지 피복 분류를 적용하였다. 특히 토지 피복 분류를 위한 다중 해상도 자료 융합의 적용성을 평가하기 위해 (1) 두 시기에서 획득한 Landsat 영상 기반 토지 피복 분류 결과와 (2) 두 시기에서 획득한 Landsat 및 융합 결과 기반 토지 피복 분류 결과를 비교 및 분석하였다.

OGCSBN_2022_v38n6_1_1035_f0002.png 이미지

Fig. 2. Flow chart of this study. The grey rectangles with x indicate no HSLT data at prediction dates. The grey rectangles without x indicate the fusion results.

실험의 첫 번째 단계인 STGDFM을 적용하기 위해 본 연구에서 구성한 입력 자료는 다음과 같다. 먼저 Table 2에 제시된 영상의 획득 시기에서 MODIS 및 Landsat 영상을 동시에 수집한 4월 23일과 8월 29일을 pair date로 정의하였다. 이를 바탕으로 pair date에 획득한 MODIS 및 Landsat 영상을 pair data로 사용하였다 . 그리고 MODIS 영상만을 획득한 나머지 12개 시기를 STGDFM의 예측 시기로 정의하였다. 이를 바탕으로 STGDFM의 자료 융합 결과인 가상의 Landsat 영상은 MODIS 영상만 획득한 12개 시기에서 생성된다.

이 연구에서는 예측 시기에서 획득한 참 값의 Landsat 영상이 부재하기 때문에 예측 시기에서 MODIS 영상 기반 NDVI 자료와 융합 결과 기반 NDVI 자료를 시각적으로 비교 및 평가하였다. 또한 Landsat 영상 및 융합 결과 기반의 NDVI 자료와 MODIS 영상 기반의 NDVI 자료 간의 시계열 양상이 정량적으로 유사한지를 확인하기 위해 토지 피복별로 두 시계열 NDVI 값의 교차상관성과 비유사도를 계산해 비교하였다. 이를 위해 특정 토지 피복 n 항목에서 MODIS 영상 기반의 시계열 NDVI 값을 xn,t로 정의하고 Landsat 영상 및 융합 결과 기반의 시계열 NDVI 값을 yn,t로 정의한 후 식(1)과 (2)를 통해 각각 교차상관성(Corn(xn,t, yn,t))과 비유사도(Dcorn(xn,t, yn,t))를 계산하였다(Montero and Vilar, 2014):

\(\begin{aligned}\operatorname{Cor}_{n}\left(x_{n, t}, y_{n, t}\right)=\frac{\sum_{t=1}^{T}\left(x_{n, t}-\bar{x}_{n, t}\right) \sum_{t=1}^{T}\left(y_{n, t}-\bar{y}_{n, t}\right)}{\sqrt{\sum_{t=1}^{T}\left(x_{n, t}-\bar{x}_{n, t}\right)^{2}} \sqrt{\sum_{t=1}^{T}\left(y_{n, t}-\bar{y}_{n, t}\right)^{2}}}\\\end{aligned}\)       (1)

\(\begin{aligned}\operatorname{Dcor}_{n}\left(x_{n, t}, y_{n, t}\right)=\sqrt{2\left(1-\operatorname{Cor}_{n}\left(x_{n, t}, y_{n,}\right)\right)}\\\end{aligned}\)       (2)

여기서 T는 MODIS 영상을 획득한 시기를 의미한다. 또한 교차상관성은 1에 가까울수록 비유사도가 낮은 값 일수록 두 시계열 값의 유사도가 높다는 것을 의미한다.

교차상관성과 비유사도를 계산하기 위해서는 두 자료 간의 해상도 차이를 고려해야 하기 때문에 앞서 CDL 자료를 240 m로 업스케일링하는 과정에서 계산된 모든 토지 피복별 비율 자료를 이용하였다. 즉, 240 m 화소 안에 포함되는 토지 피복별 비율이 100%인 위치에서만 NDVI 값을 시계열로 추출하였다. 따라서 동일 위치에서 추출한 MODIS 영상 기반 NDVI 값과 Landsat 영상 및 융합 결과 기반 NDVI 값의 교차상관성 및 비유사도를 토지 피복별로 계산하였다.

실험의 두 번째 단계에서는 자료 융합 결과를 기반으로 토지 피복 분류를 수행하였다. 이 연구에서는 자료 융합 결과를 적색 및 근적외선 채널에서 생성하며, 입력 자료의 효율성을 위해 토지 피복 분류의 입력 자료는 적색 및 근적외선 채널을 기반으로 생성한 정규식생지수(normalized difference vegetation index, NDVI)를 사용하였다. 이를 바탕으로 토지 피복 분류의 입력 자료는 (1) 4월 23일과 8월 29일에서 획득한 NDVI 영상과 (2) 3월부터 10월까지 14개 시기에서 획득 및 생성한 NDVI 영상으로 구성하였다.

토지 피복 분류를 위한 훈련 자료는 CDL 자료로부터 추출하였다. 훈련 자료는 대상 지역의 피복별 비율을 고려해 Table 3과 같이 추출하였으며, 추출된 훈련 자료는 전체 화소의 4.5%에 해당된다. 토지 피복 분류에는 랜덤 포레스트 분류기를 적용하였다. CDL 자료에서 추출된 훈련 자료를 제외한 나머지 화소는 분류 정확도 평가를 위한 검증 자료로 사용하였다(Table 3).

Table 3. Number of training and validation datasets

OGCSBN_2022_v38n6_1_1035_t0003.png 이미지

4. 결과 및 토의

1) 다중 해상도 자료 융합 결과

먼저 예측 시기에서 MODIS 영상 기반 NDVI 자료와 융합 결과 기반 NDVI 자료를 시각적으로 비교하였다(Fig. 3). 여기에는 토지 피복별 NDVI 값의 시간적 변화를 살펴보기 위해 pair date에서 획득한 MODIS 및 Landsat 영상 기반 NDVI 자료도 함께 비교하였다. 먼저 Fig. 3에서 Landsat 영상 기반 NDVI 자료와 STGDFM 융합 결과 기반 NDVI 자료의 시간적 변화를 살펴보면, 다중 시기 MODIS 영상 기반 NDVI 자료의 시간적 변화와 유사한 양상을 확인할 수 있다. 특히 STGDFM 융합 결과 기반 NDVI 자료를 살펴보면 Landsat 영상의 공간 해상도에서 MODIS 영상 기반 NDVI 자료의 양상을 잘 반영한 것으로 나타났다.

OGCSBN_2022_v38n6_1_1035_f0003.png 이미지

Fig. 3. Visual comparison of MODIS NDVI images, Landsat NDVI images, and STGDFM NDVI results at multiple dates. The data with black lines mean the pair data and the data with black dotted lines mean the data acquired at prediction dates.

Fig. 3에서 시기별 NDVI 자료를 비교해 살펴보면, 4월에는 대상 지역의 주요 피복인 식생의 활력도가 낮기 때문에 전반적으로 낮은 NDVI 값을 보이고 있다. 이후 7월 및 8월에는 대상 지역의 주요 피복인 옥수수와 콩이 수확되기 전 가장 높은 식생 활력도를 바탕으로 높은 값의 NDVI를 보였다. 반대로 식생 피복이 아닌 수계 및 도심지역에서는 낮은 값의 NDVI를 보이고 있다. 그리고 옥수수와 콩을 대부분 수확하는 시기인 9월에서는 비교적 NDVI 값이 떨어진 것을 확인할 수 있다(Fig. 3).

두 시계열 NDVI 값의 교차상관성과 비유사도를 계산한 결과는 Table 4에 제시하였다. 모든 토지 피복에서 0.9 이상의 교차상관성을 보이며 두 시계열 NDVI 값이 유사한 것을 확인할 수 있다. 비유사도를 살펴보면 대부분 0에 가까운 값을 보이며 두 시계열 값의 유사도가 높은 것을 알 수 있다. 이러한 결과는 STGDFM이 MODIS 영상의 시계열 정보를 Landsat 영상의 공간 해상도에서 예측한 결과에 잘 반영하였다는 것을 의미한다. 그러나 수계 및 도심지역에서 각각 0.1과 0.3 이상의 비유사도 값을 보이며 상대적으로 유사성이 떨어지는 것으로 나타났다.

Table 4. Cross correlation and dissimilarity for two time-series NDVI values

OGCSBN_2022_v38n6_1_1035_t0004.png 이미지

이를 분석하기 위해 Figs. 1 and 3를 함께 살펴보면, 대상 지역에서 수계지역은 습지(wetlands)를 포함하고 있고 도심지역은 조경을 위해 나무, 잔디 등의 식생 피복을 포함하고 있다. 따라서 동일한 토지 피복 항목으로 분류되어 있지만 MODIS 영상의 공간 해상도인 240 m 화소 안에서 물 혹은 콘크리트/시멘트 등의 단일 피복만 포함된 것이 아니라 식생 피복이 함께 포함되었을 가능성이 높다. 이러한 영향으로 해당 토지 피복에서는 MODIS 영상 기반의 시계열 NDVI 값과 Landsat 영상 및 융합 결과 기반의 시계열 NDVI 값에서 유사도가 저하된 것으로 판단된다.

2) 토지 피복 분류 결과

다음은 (1) Landsat 영상 기반 두 시기 NDVI 자료와 (2) Landsat 영상 및 STGDFM 융합 결과 기반 시계열 NDVI 자료를 이용해 토지 피복 분류를 수행하였다(Fig. 4). 먼저 두 시기에서 획득한 Landsat 영상 기반 NDVI 자료를 이용한 분류 결과, 화소 기반 분류에서 주로 나타나는 salt-and-pepper 현상이 두드러지게 나타났다. 특히 참조 자료인 CDL 자료와 비교했을 때, 대상 지역의 주요 토지 피복 항목인 농경지에서 콩 재배지역이 옥수수 재배지역으로 오분류된 것을 확인할 수 있다. 반면 Landsat 영상과 STGDFM 융합 결과를 함께 입력 자료로 사용한 분류 결과에서는 이러한 옥수수와 콩의 혼재 양상이 크게 완화된 것으로 나타났다(Fig. 4).

OGCSBN_2022_v38n6_1_1035_f0004.png 이미지

Fig. 4. Visual comparison of two classification results and reference data.

이러한 결과는 분류 결과를 확대해서 비교한 Fig. 5에서도 확인할 수 있다. 두 시기의 Landsat 영상만을 이용한 분류 결과에서는 옥수수와 콩의 혼재로 salt-and-pepper현상이 두드러지게 나타나 콩 재배 필지 양상이 제대로 반영되지 못한 것으로 나타났다. 반면 Landsat 영상과 융합 결과를 입력 자료로 사용한 분류 결과에서는 옥수수와 콩의 혼재 양상이 완화되면서 콩 재배 필지 양상이 잘 반영된 것을 확인할 수 있다. 주요 토지 피복 항목인 농경지역 외에도 Landsat 영상만을 이용한 분류 결과에서 건초 및 곡물 지역이 옥수수 재배지 혹은 초지로 오분류 되었다. 또한 대상 지역에서 우상단에 위치한 도심 지역이 초지로 오분류된 것으로 나타났다. 반면 이러한 오분류 양상이 STGDFM 융합 결과를 함께 입력 자료로 사용한 분류 결과에서 크게 완화된 것을 확인할 수 있다.

OGCSBN_2022_v38n6_1_1035_f0005.png 이미지

Fig. 5. Visual comparison of two classification results in two subareas. The results with black line are zoomed in subarea A. The results with dotted black line are zoomed in subarea B.

먼저 도심 지역의 오분류 양상을 분석해 보면, 앞서 설명한 바와 같이 대상 지역에 위치한 도심 지역은 조경을 위해 나무, 잔디 등의 식생 피복을 포함하고 있다. Fig. 3에서 입력 자료로 사용한 4월 23일과 8월 29일의 Landsat 영상을 살펴보면, 같은 도심 지역이라 하더라도 식생 피복과 인공 구조물 피복에서 나타나는 NDVI 값이 다른 것을 확인할 수 있다. 특히 4월 23일의 Landsat 영상을 살펴보면, 도심 지역의 식생 피복과 초지에서 유사한 NDVI 값을 보이고 있다. 이러한 영향으로 두 시기의 Landsat 영상만을 이용한 분류 결과에서 도심 지역이 초지로 오분류된 것으로 보인다.

두 분류 결과의 차이를 분석하기 위해 서로 다른 피복에서 시계열 NDVI 값을 비교하기 위해 두 시기에서 획득한 Landsat 영상과 12개 시기에서 예측한 STGDFM의 융합 결과로부터 토지 피복별 시계열 NDVI 변화 양상을 살펴보았다(Fig. 6). Landsat 영상을 획득한 4월 23일과 8월 29일에서 옥수수와 콩의 NDVI 값이 유사한 것을 확인할 수 있다. 결과적으로 두 시기에서 획득한 Landsat 영상 기반의 분류 결과에서 옥수수와 콩의 혼재 양상이 두드러지게 나타난 것으로 판단된다. 또한 4월 23일과 8월 29일에서 건초 및 곡물 지역의 NDVI 값이 초지의 NDVI 값과 유사한 것으로 나타났다. Landsat 영상을 획득한 시기에서 두 피복 사이 간의 유사한 NDVI 값을 갖기 때문에 분류 결과에서 두 항목 간의 혼재가 발생한 것으로 보인다.

OGCSBN_2022_v38n6_1_1035_f0006.png 이미지

Fig. 6. Class-wise time-series NDVI profiles extracted from 2 Landsat images and 12 STGDFM fusion results. Two black arrows indicate the acquisition dates of Landsat images.

반면 Fig. 6과 같이 14개 시기에서 시계열 NDVI를 살펴보면, 옥수수와 콩의 NDVI 값이 옥수수의 파종 직후인 6월 12일과 옥수수와 콩의 수확 직후인 9월 22일에서 차이를 보였다. 또한 건초 및 곡물 지역과 초지 지역간의 NDVI 값은 다른 시기와 비교했을 때 10월 16일과 10월 28일에서 차이를 보였다. 결과적으로 이러한 토지피복별 다중 시기 분광 정보를 분류에 결합하기 때문에 Landsat 영상 및 STGDFM 융합 결과 기반의 분류에서 혼재 양상이 완화된 결과를 획득할 수 있었던 것으로 판단된다. 특히 식생을 포함하는 토지 피복에서 다중 시기 분광 정보의 결합으로 혼재가 크게 완화될 수 있었다.

다음 두 분류 결과의 시각적 비교와 함께 정량적 평가를 위해 정확도를 계산해 비교하였다(Table 5). 정량적 평가를 위한 정확도에는 전체 정확도와 분류 항목별 사용자 정확도를 계산하였다. 먼저 전체 정확도를 비교해 보면 두 시기의 Landsat 영상만을 이용한 분류 결과에서는 56.71%의 비교적 낮은 정확도를 보였다. 반면 Landsat 영상과 STGDFM 융합 결과를 이용한 분류 결과에서는 71.69%로 전체 정확도가 14.98%p 향상되었다. 정확도의 향상은 Table 5와 같이 모든 분류 항목에서 정확도가 크게 향상된 영향으로 판단된다. 특히 분류 항목 중에서도 대상 지역의 주요 토지 피복인 옥수수와 콩재배지에서 각각 13.16%p 및 20.97%p의 정확도 향상을 보이면서 전체 정확도가 크게 향상된 것으로 보인다. 두 분류 결과의 시각적 및 정량적 분석을 통해 위성영상의 결측으로 다중 시기의 분광 정보 획득이 어려운 경우 다중 해상도 자료 융합을 통해 위성영상의 결측을 보완함으로써 토지 피복 분류의 정확도를 향상시킬 수 있다는 것을 확인하였다.

Table 5. Comparison of classification accuracy for two classification results

OGCSBN_2022_v38n6_1_1035_t0005.png 이미지

5. 결론

본 연구에서는 토지 피복 분류를 위한 다중 해상도 자료 융합의 적용성 평가를 수행하였다. 특히 토지 피복 분류의 정확성을 향상시키기 위해 다중 시기 위성영상의 획득을 목적으로 지구통계 기반의 다중 해상도 자료 융합 모델인 STGDFM의 적용성을 평가하였다. 이를 위해 미국 Iowa 주의 일부 농경지역을 대상으로 MODIS 및 Landsat 영상을 이용한 다중 해상도 자료 융합 기반의 토지 피복 분류를 수행하였다. 여기에서 다중 해상도 자료 융합의 적용성을 평가하기 위해 일부 시기에서 획득한 Landsat 영상만을 이용한 분류 결과와 다중 시기 Landsat 영상 및 STGDFM 융합 결과를 이용한 분류 결과를 비교 평가하였다.

연구 결과, 일부 시기에서 획득한 Landsat 영상만을 이용한 분류 결과에서는 분류 항목 간의 혼재가 두드러졌다. 특히 옥수수 및 콩 재배지역, 초지, 건초 및 곡물지역 등 식생을 포함하는 토지 피복 간의 혼재 양상이 큰 것으로 나타났다. 반면 STGDFM 융합 결과를 입력자료로 함께 사용한 토지 피복 분류 결과에서는 이러한 오분류 양상이 완화되면서 약 20%p의 분류 정확도 향상을 보였다. STGDFM 융합을 통해 다중 시기에서 획득한 MODIS 영상의 시계열 분광 정보를 유지하면서 Landsat 영상의 결측을 보완할 수 있었다. 결과적으로 시계열 분광 정보를 분류 과정에 결합하면서 토지 피복간의 혼재 특히, 식생 피복 간의 혼재 양상을 크게 완화 시킬 수 있었던 것으로 판단된다. 본 연구를 기반으로 토지 피복 분류 뿐만 아니라 변화 탐지, 작황 모니터링 등 다중 시기 위성영상을 입력 자료로 활용하는 연구에 다중 해상도 자료 융합이 효과적으로 적용될 수 있을 것으로 기대한다.

사사

이 연구는 한국항공우주연구원 “정부위성정보활용협의체 지원(FR22J00)” 주요사업의 일환으로 수행되었습니다.

참고문헌

  1. Gao, F., J. Masek, M. Schwaller, and F. Hall, 2006. On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance, IEEE Transactions on Geoscience and Remote Sensing, 44(8): 2207-2218. https://doi.org/10.1109/TGRS.2006.872081
  2. Ghamisi, P., B. Rasti, N. Yokoya, Q. Wang, B. Hofle, L. Bruzzone, F. Bovolo, M. Chi, K. Anders, R. Gloageun, P.M. Atkinson, and J.A. Benediktsson, 2019. Multisource and multitemporal data fusion in remote sensing: A comprehensive review of the state of the art, IEEE Geoscience and Remote Sensing Magazine, 7(1): 6-39. https://doi.org/10.1109/MGRS.2018.2890023
  3. Huang, B. and H. Song, 2012. Spatiotemporal reflectance fusion via sparse representation, IEEE Transactions on Geoscience and Remote Sensing, 50(10): 3707-3716. https://doi.org/10.1109/TGRS.2012.2186638
  4. Jin, Y., J. Zhu, S. Sung, and D.K. Lee, 2017. Application of satellite data spatiotemporal fusion in predicting seasonal NDVI, Korean Journal of Remote Sensing, 33(2): 149-158 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2017.33.2.4
  5. Karagiannopoulou, A., A. Tsertou, G. Tsimiklis, and A. Amditis, 2022. Data fusion in earth observation and the role of citizen as a sensor: A scoping review of applications, methods and future trends, Remote Sensing, 14(5): 1263. https://doi.org/10.3390/rs14051263
  6. Kim, Y. and N.-W. Park, 2019. Comparison of spatiotemporal fusion models of multiple satellite images for vegetation monitoring, Korean Journal of Remote Sensing, 35(6-3): 1209-1219 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2019.35.6.3.5
  7. Kim, Y., G.-H. Kwak, K.-D. Lee, S.-I. Na, C.-W. Park, and N.-W. Park, 2018. Performance evaluation of machine learning and deep learning algorithms in crop classification: Impact of hyper-parameters and training sample size, Korean Journal of Remote Sensing, 34(5): 811-827 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2018.34.5.9
  8. Kim, Y., P.C. Kyriakidis, and N.-W. Park, 2020. A cross-resolution, spatiotemporal geostatistical fusion model for combining satellite image time-series of different spatial and temporal resolutions, Remote Sensing, 12(10): 1553. https://doi.org/10.3390/rs12101553
  9. Kown, S.-K., K.-M. Kim, and J. Lim, 2021. A study on pre-evaluation of tree species classification possibility of CAS500-4 using RapidEye satellite images, Korean Journal of Remote Sensing, 37(2): 291-304 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.2.9
  10. Kwak, G.-H. and N.-W. Park, 2019. Impact of texture information on crop classification with machine learning and UAV images, Remote Sensing, 9(4): 643. https://doi.org/10.3390/app9040643
  11. Kwak, G.-H. and N.-W. Park, 2022. Unsupervised domain adaptation with adversarial self-training for crop classification using remote sensing images, Remote Sensing, 14(18): 4639. https://doi.org/10.3390/rs14184639
  12. Kyriakidis, P.C., 2004. A geostatistical framework for area-to-point spatial interpolation, Geographical Analysis, 36(3): 259-289. https://doi.org/10.1111/j.1538-4632.2004.tb01135.x
  13. Kyriakidis P.C. and A.G. Journel, 2001. Stochastic modeling of atmospheric pollution: A spatial time-series framework, Part 1: Methodology, Atmospheric Environment, 35(13): 2331-2337. https://doi.org/10.1016/S1352-2310(00)00541-0
  14. Kyriakidis, P.C., N.L. Miller, and J. Kim, 2004. A spatial time series framework for simulating daily precipitation at regional scales, Journal of Hydrology, 297(1-4): 236-255. https://doi.org/10.1016/j.jhydrol.2004.04.022
  15. Lark, T.J., I.H. Schelly, and H.K. Gibbs, 2021. Accuracy, bias, and improvements in mapping crops and cropland across the United States using the USDA cropland data layer, Remote Sensing, 13(5): 968. https://doi.org/10.3390/rs13050968
  16. Montero, P. and J.A. Vilar, 2014. TSclust: An R package for time series clustering, Journal of Statistical Software, 62(1): 1-43. https://doi.org/10.18637/jss.v062.i01
  17. Park, N.-W., Y. Kim, and G.-H. Kwak, 2019. An overview of theoretical and practical issues in spatial downscaling of coarse resolution satellite-derived products, Korean Journal of Remote Sensing, 35(4): 589-607. https://doi.org/10.7780/kjrs.2019.35.4.8
  18. Park, S., S.-H. Cho, N.-W. Park, and H. Kim, 2021. Evaluation of spatio-temporal multi-sensor image fusion models for generating time-series Landsat images: A case study in Mt. Halla, Journal of Climate Research, 16(4): 291-306 (in Korean with English abstract). https://doi.org/10.14383/cri.2021.16.4.291
  19. Pelletier, C., S. Valero, J. Inglada, N. Champion, and G. Dedieu, 2016. Assessing the robustness of random forests to map land cover with high resolution satellite image time series over large areas, Remote Sensing of Environment, 187: 156-168. https://doi.org/10.1016/j.rse.2016.10.010
  20. Shen, Y., X. Zhang, and Z. Yang, 2022. Mapping corn and soybean phenometrics at field scales over the United States Corn Belt by fusing time series of Landsat 8 and Sentinel-2 data with VIIRS data, ISPRS Journal of Photogrammetry and Remote Sensing, 186: 55-69. https://doi.org/10.1016/j.isprsjprs.2022.01.023
  21. Song, H. and B. Huang, 2013. Spatiotemporal satellite image fusion through one-pair image learning, IEEE Transactions on Geoscience and Remote Sensing, 51(4): 1883-1896. https://doi.org/10.1109/TGRS.2012.2213095
  22. U.S. Department of Agriculture, 2022. National Agricultural Statistics Service, https://www.nass.usda.gov/, Accessed on Sep. 15, 2022.
  23. U.S. Geological Survey, 2022a. Earth Explorer, https://earthexplorer.usgs.gov/, Accessed on Oct. 1, 2022.
  24. U.S. Geological Survey, 2022b. Land Processes Distributed Active Archive Center, https://lpdaac.usgs.gov/, Accessed on Oct. 1, 2022.
  25. Xue, J., Y. Leung, and T. Fung, 2017. A Bayesian data fusion approach to spatio-temporal fusion of remotely sensed images, Remote Sensing, 9(12): 1310. https://doi.org/10.3390/rs9121310
  26. Yang, S., L. Gu, X. Li, T. Jiang, and R. Ren, 2020. Crop classification method based on optimal feature selection and hybrid CNN-RF networks for multi-temporal remote sensing imagery, Remote Sensing, 12(19): 3119. https://doi.org/10.3390/rs12193119
  27. Ye, C.-S., 2021. Object-based image classification by integrating multiple classes in Hue channel images, Korean Journal of Remote Sensing, 37(6-3): 2011-2025 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2021.37.6.3.9
  28. Zhu, X., J. Chen, F. Gao, X. Chen, and J.G. Masek, 2010. An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions, Remote Sensing of Environment, 114(11): 2610-2623. https://doi.org/10.1016/j.rse.2010.05.032