DOI QR코드

DOI QR Code

Comparison of Pixel-based Change Detection Methods for Detecting Changes on Small Objects

소형객체 변화탐지를 위한 화소기반 변화탐지기법의 성능 비교분석

  • 서정훈 (인하대학교 스마트시티공학전공) ;
  • 박원규 (쎄트렉아이 방산사업부문) ;
  • 김태정 (인하대학교 공간정보공학과)
  • Received : 2020.11.19
  • Accepted : 2021.01.28
  • Published : 2021.04.29

Abstract

Existing change detection researches have been focused on changes of land use and land cover (LULC), damaged areas, or large vegetated and water regions. On the other hands, increased temporal and spatial resolution of satellite images are strongly suggesting the feasibility of change detection of small objects such as vehicles and ships. In order to check the feasibility, this paper analyzes the performance of existing pixel-based change detection methods over small objects. We applied pixel differencing, PCA (principal component analysis) analysis, MAD (Multivariate Alteration Detection), and IR-MAD (Iteratively Reweighted-MAD) to Kompsat-3A and Google Map images taken within 10 days. We extracted ground references for changed and non-changed small objects from the images and used them for performance analysis of change detection results. Our analysis showed that MAD and IR-MAD, that are known to perform best over LULC and large areal changes, offered best performance over small object changes among the methods tested. It also showed that the spectral band with high reflectivity of the object of interest needs to be included for change analysis.

변화탐지 연구는 주로 토지이용/피복의 변화, 재난/재해 피해지역과 같은 토지의 변화, 수역, 식생과 같은 특정 넓게 분포하는 객체의 변화에 대한 연구가 진행되어 왔다. 한편, 위성영상의 공간/시간 해상도가 지속적으로 향상됨에 따라 위성영상으로부터 선박, 차량과 같은 면적이 작은 객체의 변화탐지의 가능성이 높아지고 있다. 이러한 가능성을 확인하기 위하여 본 논문에서는 위성영상으로부터 소형객체 변화탐지를 수행하기 위해 기존 화소기반 변화탐지기법의 성능을 분석하였다. 10일 이내의 짧은 시기에서 촬영된 Kompsat 3A 위성영상 및 Google Earth 영상을 이용하여 대표적인 화소기반 변화탐지기법인 차분, 주성분 분석, MAD 및 IR-MAD을 적용하였다. 영상에서 관측 가능한 소형 객체 주변으로 변화/비변화 참조자료를 정의하고 각 기법을 적용하여 얻어진 변화탐지 결과영상과 참조자료를 비교하여 성능을 분석하였다. 성능분석 결과 실험에 사용한 모든 영상에서 MAD, IR-MAD 기법이 상대적으로 우수한 성능을 제공하였다. LULC, 식생변화 등 대규모 지역의 변화탐지에 우수한 성능을 보인 MAD, IR-MAD 기법이 소형객체의 변화탐지에도 적용될 수 있음을 확인할 수 있었다. 아울러 변화탐지 대상인 소형객체에 높은 반사율 특성을 가지는 분광밴드를 변화탐지를 위한 분석에 포함하는 것이 소형객체 변화탐지율을 높일 수 있었다.

Keywords

1. 서론

기술발전에 따라 인공위성 영상의 공간해상도와 시간해상도가 지속적으로 향상되고 있다. 국내의 경우, 가용한 고해상도 위성영상으로 Kompsat 3호 및 3A호가 있으며 추후에 0.5 m 해상도를 갖는 국토관측위성 1, 2 호가 발생 예정이다. 이러한 서브미터급 공간 해상도를 갖는 고해상도 위성영상에 대한 관심과 활용도가 증대 되고 있다. 특히, 영상의 해상도 증가에 따라 관측되는 객체의 형태가 상세히 표현 가능하므로 소형객체의 변화탐지를 기대할 수 있다.

위성영상을 활용한 전통적인 변화탐지 연구는 LULC (Land Use and Land Cover)의 변화, 재난/재해 피해지역과 같은 토지의 변화, 수역, 식생과 같은 지표면에 넓게 분포하는 객체의 변화에 대한 연구가 진행되어 왔다. Choi et al. (2017)는 Kompsat 2호 및 3호 영상을 이용하여 변화탐지를 통한 산림황폐화 분석을 수행하였다. 해외 연구의 경우에도 토지이용변화 (Nielsen et al., 1998; Nielsen, 2007; Li et al., 2017; Seydi et al., 2018; Du et al., 2019), 홍수피해탐지 (Zang et al., 2016), 습지변화 (Ballanti et al., 2017), 산림변화 (Housman et al., 2018) 등을 위한 변화탐 지기법들이 연구되었다. 고해상도 위성영상을 이용하여 건축물에 대한 변화탐지 연구 (Leichtle et al., 2017; Wan et al., 2018; Wu et al., 2020) 및 도심지 변화탐지 (Saha et al., 2019) 연구가 수행되었다. 최근 고해상도 위성영상을 이용하여 deep learning 등 감독방식으로 자동차, 선박, 항공기 등 소형객체에 대한 변화탐지가 보고된 바가 있다 (Peng et al., 2019). 그러나, 소형객체에 대한 화소 기반 무감독 변화탐지 연구는 본격적으로 진행된 바가 없다. 위성영상 해상도의 지속적 향상에 따라 높아지고 있는 소형객체 변화탐지의 가능성에 부응하기 위해서 고해상도 위성영상을 활용한 소형객체 변화탐지 연구가 반드시 필요하다고 판단된다. 또한 상대적으로 빠른 시간에 수행될 수 있는 무감독 방식 소형객체 변화탐지 를 통해서 처리시간이 오래 걸리는 감독방식 변화탐지 의 작업범위를 줄여주기 위해 화소기반 소형객체 변화 탐지 연구가 필요하다.

본 연구의 목적은 고해상도 위성영상을 이용하여 소형객체의 변화탐지 가능성을 점검하는 것이다. 본 연구에서는 기존에 제안된 화소기반 변화탐지기법을 사용하여 소형객체의 변화지역을 탐지하고 기존 화소기반 변화탐지 기법의 성능 분석을 수행하고자 한다. 화소기반 변화탐지 기법은 영상의 화소값을 이용하여 훈련자료 없이 변화탐지를 수행하는 무감독 방식으로서, 변화 전후 영상의 화소값을 차분하는 방식, 비율(ratio) 기법, 특정 지수(Index)를 계산 방법, 영상을 변환하여 변화 탐지로 주성분 분석(PCA, Principal component analysis), MAD(Multivariate Alteration Detection),IR-MAD(Iteratively Reweighted-Multivariate Alteration Detection) 등이 있다. 본 연구에서는 차분방식, 주성분 분석, MAD, IR-MAD 를 적용하였으며 소형객체의 변화특성을 감안하여 변화 전후 영상 간의 시간차이가 적은 Kompsat-3A 영상과 Google 영상을 사용하였다. 영상의 전처리로 기하/ 정사보정과 영상 융합을 수행하였다. 각 영상에서 변화 지역 및 비변화지역 참조자료를 영상에 존재하는 소형 객체를 대상으로 추출하였다. 추출된 소형객체에 대해 각 변화탐지기법을 적용하여 성능을 분석하였으며 ROC(Receiver Operating Characteristic)와 AUC(Area Under Curve)를 이용하여 성능 비교 및 분석하였다.

2. 사용 DATA

Kompsat 3A 위성영상은 5개의 연구지역, Google Earth 영상은 3개의 연구지역을 선정하였으며 각 연구 지역은 소형 차량, 선박, 트럭, 컨테이너와 같은 소형객 체의 변화가 존재하는 지역으로 선정하였다. 소형객체 특성상 면적이 작고 이동성이 뛰어나서 높은 공간/시간 해상도를 요구하기 때문에 가능한 짧은 시기로 선정하기 위해 시기차이가 10일 이내의 고해상도 영상으로 구성하였다. 소형객체를 구성하는 물체는 다양하며 객체마다 서로 다르기 때문에 색상의 정보와 반사율 특성이 다양하다. 따라서 다양한 분광 특성을 반영하기 위해 다수의 Spectral band의 정보를 사용하였다. Kompsat 3A 위성영상의 공간 해상도는 약 0.5 m이며 Panchromatic 영상과 융합된 청색(Blue), 녹색(Green), 적색(Red), 근적 외선(Near Infrared) 4개의 밴드를 사용하였다. Google Earth 영상의 경우 공간해상도 정보는 제공하지 않기 때문에 KML(Keyhole Markup Language)를 이용하여 고도(altitude)를 1000 m로 설정하여 일정한 공간해상도를 갖는 영상을 사용하였다. Google Earth 영상은 청색, 녹색, 적색 3개의 밴드로 이루어져 있으며 각 밴드는 Spectral 특성을 반영하지 않고 색상 정보만을 제공한다. 각 데이터 셋의 상세 정보는 Table 1과 Fig. 1, Fig. 2와 같다.

Table 1. Study Data informations

OGCSBN_2021_v37n2_177_t0001.png 이미지

Fig_1.JPG 이미지

Fig. 1. Study area Data (From the Left: Before image, After image, Ground Truth), (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk.

OGCSBN_2021_v37n2_177_f0002.png 이미지

Fig. 2. Study area Data (From the Left: Before image, After image, Ground Truth), (a) Shanghai1, (b) Shanghai2, (c) Tianjin.

각 데이터 셋의 성능 분석을 위해 소형객체 변화 지역과 비변화 지역을 추출하여 참조자료(Ground Truth) 를 제작하였다. 소형객체에 대한 자세한 정보는 Table 2 와 같으며 배, 차량, 버스, 트럭, 대형 차량, 컨테이너 등 소형객체 지역을 참조자료로 사용하였다. 분석 객체의 수량을 증량하기 위해 버스와 트럭과 크기가 비슷한 컨테이너와 같은 객체를 추출하였다. Google Earth 영상인 연구지역 상하이1, 상하이2, 톈진의 경우 비변화객체는 변화객체 지역을 제외한 지역으로 설정하였다. 연구 지역 마다 소형객체의 개수를 다르게 하여 다양한 환경에서 변화탐지기법의 성능을 관측하였다. 사용된 소형 객체는 Fig. 2와 같이 참조자료가 구성되어 있다.

Table 2. Small object ground truth informations

OGCSBN_2021_v37n2_177_t0002.png 이미지

3. 연구방법

본 연구에서는 Kompsat 3A 영상과 Google Earth 영상에 기존 화소기반 변화탐지 기법을 적용하여 소형객 체의 변화탐지 적용 가능성을 분석하였다. 정확한 변화지역 탐지를 위한 전처리과정으로 다중시기의 전후 영상에 대하여 기하/정사 보정을 수행하였다. 이후 화소 기반 변화탐지 기법인 차분, 주성분 분석, MAD, IRMAD를 적용하여 변화량을 계산하였다. 각 기법의 결과로 계산된 변화량 영상에 대하여 임계값을 적용해 변화/비변화 이진영상을 생성하였다. 참조자료를 이용해 소형객체에 대한 변화탐지 성능곡선 ROC과 성능지표 AUC를 계산하여 결과영상의 변화탐지 성능을 비교하였다. 이러한 연구의 흐름을 Fig. 3에 요약하였다.

OGCSBN_2021_v37n2_177_f0003.png 이미지

Fig. 3. WorkFlow.

1) 전처리 수행

정확한 변화탐지 결과를 추출하기 위해 영상 전처리 과정은 필수적이다. 동일한 위치의 변화를 탐지하기 위해 다수의 지상기준점(Ground Control Points)과 DEM (Digital Elevation Model)를 이용하여 KOMPSAT 3A Level 1R 영상에 기하/정사보정이 수행되었다. 소형객체의 정밀한 변화를 탐지하기 위해 영상 융합 기법을 이용하여 공간해상도를 향상시켰다. 영상 융합 기법은 주로 Multi-resolution Analysis(MRA) 기반과 ComponentSubstitution(CS) 기반으로 구분된다. 각 기법의 특성으로 MRA 기법은 분광왜곡이 적지만 공간해상도가 저하되는 단점이 있다. 그러나 CS 기반의 기법은 공간해상도 왜곡이 상대적으로 적어 MRA보다 높은 활용도를 보인다(Oh et al., 2015). 따라서 소형 객체의 크기가 공간 해상도 왜곡이 적은 Component-Substitution(CS) 기반의 영상 융합 기법을 적용하여 다중 밴드의 공간 해상도를 Pan 밴드의 공간 해상도와 동일하게 처리하였다. Google Earth 영상의 경우 기하/정사 보정이 미리 수행 되어 제공해주기 때문에 별도의 전처리를 수행하지 않았다.

2) 화소 기반 변화탐지 기법 적용

(1) 차분기법

차분 방식은 변화탐지 기법 중 가장 쉽게 적용할 수 있는 기법이다. 이전시기와 이후시기의 영상 화소를 차분하는 방식으로 직관적인 변화 결과를 제공한다. 차분 기법의 결과는 다양한 오차 요인으로 인해 정확한 변화 강도를 제공하지 않으며 변화지역의 정확도는 임계값에 따라 결정되어 정확도가 임계값에 민감하다. 이러한 차분 기법을 이용해 소형객체에 대한 밴드 별 결과에서 소형객체의 변화 강도를 관측하고, 소형객체에 대한 밴드 별 분광 특성을 파악하기 위해 사용하였다.

(2) 주성분 분석

주성분 분석인 PCA는 다중분광 밴드의 정보를 이용하여 다수의 주성분으로 변환하여 새로운 영상을 얻는 기법이다. 주성분 분석은 서로 연관성 있는 고차원의 데이터들을 연관성이 없는 저차원의 데이터인 주성분으로 변환하여 사용한다. 따라서 높은 연관성을 갖는 다중 시기 영상에서 변화 정보를 주성분으로 표현이 가능하며 밴드 간 중복된 정보를 감소할 수 있다. 이러한 주성분 분석의 장점을 이용하여 2가지 방법으로 절대값 처리한 차분 결과를 주성분 계산하여 변화지역을 탐지한 경우(D-PCA)와 원 영상의 정보를 주성분 계산한 후 차분 기법을 이용해 변화지역을 탐지한 경우(O-PCA) 의 두 가지로 나누어서 진행하였다. 주성분을 계산 과정은 다음과 같다. 식 (1)과 같이 원본 영상 X는 m개의 분광밴드와 각 밴드마다 N개의 화소로 구성되어 있으며 pixel jband i은 band i의 j번째의 화소값을 의미한다.

\(\mathrm{X}=\left(\begin{array}{ccc} \text { pixel } 1_{\text {band } 1} & \cdots & \text { pixel } & N_{\text {band } 1} \\ \vdots & \ddots & \vdots \\ \text { pixel } 1_{\text {band } m} & \vdots & \text { pixel } N_{\text {band } m} \end{array}\right)\)       (1)

영상 X의 각 밴드 별 공분산을 구하면 식 (2)와 같은 공분산 행렬(COV)을 구성된다.

\(\begin{gathered} C O V\left\{\mathrm{X}_{\text {band } 1}, \ldots, X_{\text {band } m}\right\}= \\ \left(\begin{array}{ccc} c o v_{\text {band } 1, \text { band } 1} & \cdots & \operatorname{cov}_{\text {band } 1, \text { band } m} \\ \vdots & \ddots & \vdots \\ c o v_{\text {band } m, \text { band } 1} & \vdots & c o v_{\text {band } m, \text { band } m} \end{array}\right) \end{gathered}\)       (2)

공분산 행렬에 해당되는 COVband i, band i은 식 (3)과 같이 밴드의 화소값과 화소값의 평균인 meanband로 계산 된다.

\(\operatorname{cov}_{\text {band } i, \text { band } i}=\frac{\sum_{j=1}^{N}\left(\text { pixel } j_{\text {band } i}-\text { mean }_{\text {band }}\right)^{2}}{N-1}\)       (3)

식 (4)와 같이 영상 X의 공분산 행렬 Cov(Xband 1, …, Xband m)에 대하여 특이값 분해를 하면 고유 벡터(eigen vector) vec와 고유값(eigen value) λ을 계산하였다.

\(\operatorname{COV}\left\{X_{\text {band } 1}, \ldots, X_{\text {band } m}\right\}=\text { vec } \lambda \text { vec }^{t}\)       (4)

식 (5)와 같이 영상 X의 데이터를 계산한 고유 벡터로 투영하여 각 고유 벡터에 대한 주성분 값인 PCA_Img을 계산하였다.

\(P C A_{-} I m g=\operatorname{vec}^{t} X\)       (5)

(3) MAD 및 IR-MAD 기법

MAD는 정준상관분석(CCA, Canonical Correlation Analysis)을 기반으로 두 개의 다변량 변수 집단에 대한 연관성을 변수들의 선형결합의 상관계수를 이용하여 두 집단의 가장 높은 상관관계를 갖는 벡터를 계산하는 방식이다. 두 개의 집단의 높은 상관관계를 갖는 벡터를 분광변환 계수로 이용해 다시기 영상간 편차를 최대화된 변화지역을 탐지할 수 있다. 개념적으로 정준상관 분석과 주성분 분석과 유사하지만 다중시기 영상간 편차를 최대화하는 새로운 분광 변환 영상을 생성하는 특징을 지닌다(Choi, 2015). n개의 분광 밴드를 갖는 원영상 X, Y에 분광변환 계수 a, b를 적용하여 변환영상 W, P를 식 (6)과 같이 생성한다.

\(\begin{aligned} &W=a^{t} X=a_{1} X_{1}+\ldots+a_{n} X_{n} \\ &P=b^{t} Y=b_{1} Y_{1}+\ldots+b_{n} Y_{n} \end{aligned}\)       (6)

변환영상 W, P의 분산은 식 (8)과 같이 변환계수 a, b 와 영상 X, Y의 공분산으로 표현된다. 영상 X, Y의 공분산은 식 (7)과 같이 covXY로 계산된다.

\(\operatorname{COV}\{X, Y\}=\left[\begin{array}{cc} \operatorname{cov}_{X X} & \operatorname{cov}_{X Y} \\ \operatorname{cov}_{Y X} & \operatorname{cov}_{Y Y} \end{array}\right]\)       (7)

\(\begin{aligned} &\operatorname{Var}\{W\}=a^{t} \operatorname{cov}_{X X} a \\ &\operatorname{Var}\{P\}=b^{t} \operatorname{cov}_{Y Y} b \end{aligned}\)       (8)

X, Y 영상간 상관도 ρ가 최대가 되는 a, b를 계산한다. 식 (10)과 같이 상관도 ρ는 Corr{W, P}로 표현할 수 있으며 변환영상 W, P의 공분산은 식 (9)와 같이 계산된다.

\(\operatorname{COV}\{W, P\}=a_{t} \operatorname{cov}_{X Y} b\)       (9)

\(\rho=\operatorname{Corr}\{\mathrm{W}, \mathrm{P}\}=\frac{C O V\{W, P\}}{\sqrt{\operatorname{Var}\{W\} \operatorname{Var}\{P\}}}\)       (10)

식 (10)를 전개하며 식 (11), 식 (12)로 표현 가능하며 Generalized eigenvalue problem을 이용하여 변환계수 a, b를 추정한다.

\(\operatorname{cov}_{X Y} \operatorname{cov}_{Y Y}^{-1} \operatorname{cov}_{Y X} a=\rho^{2} \operatorname{cov}_{X X} a\)       (11)

\(\operatorname{cov}_{Y X} \operatorname{cov}_{X X}^{-1} \operatorname{cov}_{X Y} b=\rho^{2} \operatorname{cov}_{Y Y} b\)       (12)

추출된 변환계수 a, b는 식 (13)과 같이 변환영상 W, P 를 생성하여 변환영상의 차이에 대한 영상을 MAD의 결과영상으로 사용한다.

\(M A D=W-P\)       (13)

\(K=\sum_{i=1}^{n}\left(\frac{M A D_{i}}{\sigma M A D_{i}}\right)^{2}\)       (14)

변화지역을 탐지하기 위해 영상 K를 사용할 수 있으며 영상 K는 식 (14)와 같이 생성한다. 이때 σMAD는 MAD 의 관측값에 대한 표준편차이다. MAD를 이용하여 산출된 영상 K는 카이제곱 분포를 이룬다고 가정한다. IR-MAD는 반복적으로 원영상 X, Y에 다른 가중치를 적용 후 MAD기법을 수행하여 변화지역을 탐지한다. 가중치는 영상 K의 화소값을 이용해 가중치를 계산하였으며 작은 변화지역에 큰 가중치를 입력하여 변화지역을 강조하였다.

3) 성능 지표 계산

각 기법에 대한 결과를 성능을 분석하기 위해 성능곡 선인 ROC커브와 AUC값을 사용하였다. 각 기법의 변화량을 표현하고 있는 결과 영상에 임의의 임계값을 적용해 False Alarm rate와 Recall 값을 계산한다. 임의의 임계값들로 계산된 False Alarm과 Recall 값을 이용해 ROC 커브를 생성한다. ROC는 X축으로 False Alarm rate와 Y 축으로 Recall rate 이루어져 False Alarm와 Recall의 관계를 나타낸다. 따라서 ROC 커브가 Y축에 근접할수록 좋은 성능임을 나타낸다. ROC를 이용하여 정성적으로 각 기법 별 성능을 비교할 수 있으며 정성적으로 비교가 어려운 경우 정량적인 지표인 AUC를 이용하여 비교할 수 있다. ROC의 넓이를 AUC라 정의하며 False Alarm 비율이 낮고 Recall 높을 수록 AUC 값이 1에 근접한다, 따라서 AUC 값이 1에 근접할수록 좋은 성능임을 나타낸다.

4. 화소기반 소행객체 변화탐지 결과

1) 차분기법 적용결과

차분 기법을 사용하여 소형객체의 분광특성을 파악하기 위해 각 밴드 별 차분 기법을 적용하여 밴드 별 성능을 관측하였다. KOMPSAT 3A 데이터 셋의 경우 각 밴드의 차분 결과는 Fig. 4와 같다.

OGCSBN_2021_v37n2_177_f0004.png 이미지

Fig. 4. Difference result fore each Kompsat 3A Image band (From the Left: Blue, Green, Red, NIR), (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk.

KOMPSAT 3A 데이터셋의 차분 결과를 통해 사용된 소형객체는 Fig. 5과 같이 육안적으로 적색, 근적외선 밴드에서 높은 변화량을 갖고 있다. 밴드 별 변화탐지 성능을 정량적으로 판단하기 위해 Table 3와 같이 각 밴드 별 AUC의 값으로 비교하였고 근적외선 밴드에 근접할 수록 좋은 성능 결과를 제공해주었다. KOMPSAT 3A의 데이터 셋의 차분 결과는 모든 연구지역에서 근적외선 밴드 차분결과가 가장 우수한 성능을 보여주었다.

OGCSBN_2021_v37n2_177_f0005.png 이미지

Fig. 5. Small object difference result fore each band, (a) Before image, (b) After image, (c) Blue, (d) Green, (e) Red, (f) NIR.

Table 3. AUC values for each difference bands

OGCSBN_2021_v37n2_177_t0003.png 이미지

Google Earth 데이터 셋의 경우 3개의 밴드에 대하여 차분 기법을 적용하였다. 각 밴드 차분 결과는 Fig. 6과 같다.

OGCSBN_2021_v37n2_177_f0006.png 이미지

Fig. 6. Difference result fore each Google Earth Image band (From the Left: Blue, Green, Red), (a) Shanghai1, (b) Shanghai2, (c) Tianjin.

상하이1의 경우 모든 밴드에서 비슷한 성능을 보여주었으며 청색 밴드, 상하이2, 톈진 경우 적색 밴드에서 좋은 성능을 제시하였다. 그러나 Google Earth 데이터 셋의 결과로 분광 특성을 반영하지 않아 밴드에 따른 일관성 있는 결과를 제공하지 않았다. 왜냐하면 Google Earth 영상은 반사율의 정보가 없어 소형객체의 색상에 따른 성능 결과를 제공하였다. 계산된 ROC와 각 연구 지역의 ROC와 AUC는 Fig. 7, Table 3과 같다.

OGCSBN_2021_v37n2_177_f0007.png 이미지

Fig. 7. Difference method ROC for each band, (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin.

2) 주성분 분석 적용결과

단일 밴드 차분결과의 성능보다 향상시키기 위해 다중 밴드의 정보를 융합하여 해석하기 위해 주성분 분석과 MAD, IR-MAD을 이용하였다. 주성분 분석에 사용된 밴드로 청색, 녹색, 적색, 근적외선 밴드의 정보를 이용하였다. 주성분 별 변화탐지 결과는 Fig. 8과 같다.

OGCSBN_2021_v37n2_177_f0017.png 이미지

Fig. 8. Small object change magnitude Result for each PCA (From the left: PC1, PC2, PC3, PC4), (a) D-PCA result, (b) O-PCA result.

D-PCA, O-PCA 모두 주성분1(PC1)에서 소형 객체의 변화 형태가 뚜렷하며 다른 지역의 노이즈가 적은 결과를 제공하였다. 또한 Table 4와 같이 일반적으로 주성분 1에서 가장 좋은 변화탐지 성능을 제공하였다. 그러므로 각 주성분 분석 기법 별 주성분 1을 사용하였으며 각 연구지역의 주성분1 결과는 Fig. 9와 같다. 주성분 분석의 경우 차분 결과의 변화 정보량을 주성분 분석한 DPCA가 원 영상을 주성분 처리 후 주성분(Principal component)간의 차분한 O-PCA 경우보다 미세하게 좋은 성능을 제공하였다. 단일 밴드의 차분 성능 보다 향상된 경우도 있지만 대부분 NIR 차분 성능 보다 하락된 성능을 제공하였다. Google Earth 데이터 셋은 K3A 데이터 셋과 동일하게 O-PCA, D-PCA 두 가지 방법으로 주성분 분석을 수행하였다. Kompsat 3A 데이터셋과 동일하게 O-PCA, D-PCA의 성능차이는 미세하게 D-PCA 가 우수하였으며 청색, 녹색, 적색밴드의 차분 성능보다 향상된 성능을 제공하였다. 각 연구지역의 ROC와 AUC 는 Fig. 10, Table 4와 같다.

Table 4. AUC of PC1 values for each PCA methods

OGCSBN_2021_v37n2_177_t0004.png 이미지

OGCSBN_2021_v37n2_177_f0009.png 이미지

Fig. 9. PCA methods result (From the left: O-PCA, D-PCA), (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin.

OGCSBN_2021_v37n2_177_f0010.png 이미지

Fig. 10. PC1 ROC for each PCA, (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin.

3) MAD 및 IRMAD 적용결과

MAD, IR-MAD의 경우 PCA와 동일하게 청색, 녹색, 적색, 근적외선 밴드의 정보를 이용하였다. 각 밴드 별 영향을 보기 위해 밴드를 조합하여 MAD, IR-MAD를 수행하였다. Fig. 11과 같이 육안적으로 보았을 경우 차분 결과에서 미흡한 성능을 보인 청색 밴드가 포함될 경우 변화탐지에 적합하지 않은 결과를 도출하였다.

OGCSBN_2021_v37n2_177_f0011.png 이미지

Fig. 11. MAD, IR-MAD result for each band composition, (a) BGR MAD, (b) BGR IR-MAD, (c) BGRN MAD, (d) BGRN IRMAD, (e) GRN MAD, (f) GRN IR-MAD.

이를 정량적으로 평가하기 위해 AUC값으로 분석할 결과 청색밴드가 포함되면 상대적으로 성능이 하락하였으며 근적외선 밴드가 포함된 경우 높은 성능을 제공해 주었다. 각 연구지역의 MAD, IR-MAD 결과는 Fig. 12와 같다.

OGCSBN_2021_v37n2_177_f0012.png 이미지

OGCSBN_2021_v37n2_177_f0013.png 이미지

OGCSBN_2021_v37n2_177_f0014.png 이미지

Fig. 12. MAD, IR-MAD result for each Kompsat 3A band composition (From the left: BGR, BGRN, GRN band composition), (a) IR-MAD of seoul area, (b) MAD of seoul area, (c) IR-MAD of Incheon1 area, (d) MAD of Incheon1 area, (e) IR-MAD of Incheon2 area, (f) MAD of Incheon2 area, (g) IR-MAD of Incheon3 area, (h) MAD of Incheon3 area, (i) IR-MAD of Gyeongbuk area, (j) MAD of Gyeongbuk area.

Google Earth의 경우 객체의 색상에 따라 밴드의 성능을 결정하였다. 따라서 모든 밴드를 사용하여 MAD 와 IR-MAD를 수행하였다. 각 연구지역의 결과는 Fig. 13과 같다. IR-MAD가 MAD보다 미세하게 우수한 결과 제공하였다. 각 연구지역의 ROC와 AUC은 Fig. 14, Table 5과 같다.

OGCSBN_2021_v37n2_177_f0015.png 이미지

Fig. 13. MAD, IR-MAD result for each Google Earth study area,(a)IR-MAD of shanghai1 area ,(b) MAD of shanghai1 area, (c) IR-MAD of shanghai2 area, (d) MAD of shanghai2 area, (e) IR-MAD of Tianjin area, (f) MAD of Tianjin area.

OGCSBN_2021_v37n2_177_f0016.png 이미지

Fig. 14. ROC of MAD, IR-MAD for each band composition, (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin.

Table 5. AUC value of MAD, IR-MAD for each band composition

OGCSBN_2021_v37n2_177_t0005.png 이미지

5. 결론

소형객체의 변화를 탐지하기 위해 기존의 화소 기반 변화탐지 기법을 적용 후 각 기법의 성능을 AUC 값을 이용하여 비교하였다. 단일 밴드의 차분 결과로 근적외 선밴드(NIR), 적색밴드, 녹색밴드, 청색밴드 순으로 좋은 성능을 보여주었다. 이러한 결과는 소형객체의 반사율과 색상의 특성이 다양하지만 NIR 밴드에서 대부분의 물체가 높은 반사율을 제공하기 때문에 우수한 변화 탐지 결과를 제공한다. 이후 차분 기법의 성능 향상을 위해 상대방사보정을 적용할 필요가 있다. 주성분 분석은 주성분 순서대로 많은 정보를 담고 있기 때문에 대부분 연구지역에서 주성분1이 좋은 성능을 보여주었으며 D-PCA 방법이 O-PCA보다 약소하게 우수한 성능을 제공하였다. 그러나 주성분 1이외의 주성분에서 좋은 성능을 제공한 경우도 있으며 차분 결과보다 감소된 성능 결과를 보여주었다. 이러한 성능 제공은 안정적으로 우수한 성능을 보장하지 못하므로 주성분을 이용한 소형객체 변화탐지는 적합하지 않다. MAD와 IR-MAD의 결과로 다중 밴드 정보 융합으로 성능이 향상됨을 확인할 수 있었으며 대부분의 연구지역에서 좋은 성능을 제공하였다. 밴드의 영향을 보기 위해 밴드 조합에 따른 결과를 추출하였고 NIR 밴드를 포함할 경우 성능이 향상되었음을 확인하였다. MAD, IR-MAD를 사용하여 다중 밴드 정보를 융합할 시 소형객체에 높은 반사율을 갖은 NIR 밴드를 사용하는 것이 변화탐지에 유리함을 알 수 있었다.

기존 변화탐지 논문에서 주요 관심 대상인 식생, 토지이용 등 일정한 반사율 특성을 갖는 객체와 다르게 소형객체는 색상과 반사율이 객체마다 서로 다르다. 그러나 기존 변화탐지 연구사례와 동일하게 단일 밴드의 결과보다 다중 분광밴드를 사용한 결과가 우수하였으며 높은 반사율을 갖는 밴드를 사용하는 것이 좋은 성능을 제공하였다. 기존의 식생, 습지, 재난 피해지역 및 토지 이용의 변화와 같은 면적이 큰 객체에 대한 변화탐지 연구와 동일하게 소형객체의 특성을 활용하면 변화탐지 가능할 것이다.

변화탐지의 성능을 향상시키기 위해 오탐지를 감소시켜야 한다. 본 연구도 전체 지역에서 소형 객체 외 다른 지역에서 변화가 발생하였다. 이는 오탐지이며 이를 제거하는 방안이 필요하다. 오탐지 감소 방안으로 Feature를 이용할 계획이다. Feature는 객체의 하위 개념으로 점, 선, 면과 같은 객체를 구성하는 요소이다. 이러한 feature는 컴퓨터 비전 분야에서 객체를 탐지하기 위해 사용되고 있다. 따라서 Feature는 객체를 나타내기 때문에 Feature 변화를 통해 객체 위치와 형태의 변화를 관측할 수 있다. Feature의 변화 정보와 반사율 변화 정보를 융합하여 통해 소형객체 위주의 변화탐지의 연구가 필요하다.

사사

본 연구는 쎄트렉아이의 연구비지원에 의해 수행되었습니다.

References

  1. Ballanti, L., K.B. Byrd, I. Woo, and C. Ellings, 2017. Remote sensing for wetland mapping and historical change detection at the Nisqually River Delta, Sustainability, 9(11): 1919-1950. https://doi.org/10.3390/su9111919
  2. Choi, J., 2015. Unsupervised Change Detection for Very High-spatial Resolution Satellite Imagery by Using Object-based IR-MAD Algorithm, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 33(4): 297-304 (in Korean with English abstract). https://doi.org/10.7848/ksgpc.2015.33.4.297
  3. Choi, J., H. Park, N. Park, S. Han, and J. Song, 2017. Deforestation Analysis Using Unsupervised Change Detection Based on ITPCA, Korean Journal of Remote Sensing, 33(6-3): 1233-1242 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2017.33.6.3.7
  4. Du, B., L. Ru, C. Wu, and L. Zhang, 2019. Unsupervised deep slow feature analysis for change detection in multi-temporal remote sensing images, IEEE Transactions on Geoscience and Remote Sensing, 57(12): 9976-9992. https://doi.org/10.1109/tgrs.2019.2930682
  5. Housman, I.W., R.A. Chastain, and M.V. Finco, 2018. An evaluation of forest health insect and disease survey data and satellite-based remote sensing forest change detection methods: Case studies in the United States, Remote Sensing, 10(8): 1184-1204. https://doi.org/10.3390/rs10081184
  6. Oh, K., H. Jung, and N. Jeong, 2015. Pansharpening Method for KOMPSAT-2/3 High-Spatial Resolution Satellite Image, Korean Journal of Remote Sensing, 31(2): 161-170 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2015.31.2.10
  7. Li, Z., W. Shi, H. Zhang, and M. Hao, 2017. Change detection based on Gabor wavelet features for very high resolution remote sensing images, IEEE Geoscience and Remote Sensing Letters, 14(5): 783-787. https://doi.org/10.1109/LGRS.2017.2681198
  8. Leichtle, T., C. Geiss, M. Wurm, T. Lakes, and H. Taubenbock, 2017. Unsupervised change detection in VHR remote sensing imagery-an object-based clustering approach in a dynamic urban environment, International Journal of Applied Earth Observation and Geoinformation, 54: 15-27. https://doi.org/10.1016/j.jag.2016.08.010
  9. Nielsen, A.A., K. Conradsen, and J.J. Simpson, 1998. Multivariate alteration detection (MAD) and MAF postprocessing in multispectral, bitemporal image data: New approaches to change detection studies, Remote Sensing of Environment, 64(1): 1-19. https://doi.org/10.1016/S0034-4257(97)00162-4
  10. Nielsen, A.A., 2007. The regularized iteratively reweighted MAD method for change detection in multi-and hyperspectral data, IEEE Transactions on Image Processing, 16(2): 463-478. https://doi.org/10.1109/TIP.2006.888195
  11. Peng, D., Y. Zhang, and H. Guan, 2019. End-to-end change detection for high resolution satellite images using improved unet++, Remote Sensing, 11(11): 1382-1404. https://doi.org/10.3390/rs11111382
  12. Seydi, S.T. and M. Hasanlou, 2018. Sensitivity analysis of pansharpening in hyperspectral change detection, Applied Geomatics, 10(1): 65-75. https://doi.org/10.1007/s12518-018-0206-6
  13. Saha, S., F. Bovolo, and L. Bruzzone, 2019. Unsupervised deep change vector analysis for multiple-change detection in VHR images, IEEE Transactions on Geoscience and Remote Sensing, 57(6): 3677-3693. https://doi.org/10.1109/tgrs.2018.2886643
  14. Wan, L., T. Zhang, and H.J. You, 2018. Multi-sensor remote sensing image change detection based on sorted histograms, International Journal of Remote Sensing, 39(11): 3753-3775. https://doi.org/10.1080/01431161.2018.1448481
  15. Wu, J., B. Li, W. Ni, and W. Yan, 2020. An adaptively weighted multi-feature method for object-based change detection in high spatial resolution remote sensing images, Remote Sensing Letters, 11(4): 333-342. https://doi.org/10.1080/2150704x.2020.1716407
  16. Zhang, P., M. Gong, L. Su, J. Liu, and Z. Li, 2016. Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images, ISPRS Journal of Photogrammetry and Remote Sensing, 116: 24-41. https://doi.org/10.1016/j.isprsjprs.2016.02.013

Cited by

  1. 고해상도 광학 위성영상을 이용한 시공간 자료 융합의 적용성 평가: KOMPSAT-3A 및 Sentinel-2 위성영상의 융합 연구 vol.37, pp.6, 2021, https://doi.org/10.7780/kjrs.2021.37.6.3.2