Fine-image Registration between Multi-sensor Satellite Images for Global Fusion Application of KOMPSAT-3·3A Imagery

KOMPSAT-3·3A 위성영상 글로벌 융합활용을 위한 다중센서 위성영상과의 정밀영상정합

Abstract

Arriving in the new space age, securing technology for fusion application of KOMPSAT-3·3A and global satellite images is becoming more important. In general, multi-sensor satellite images have relative geometric errors due to various external factors at the time of acquisition, degrading the quality of the satellite image outputs. Therefore, we propose a fine-image registration methodology to minimize the relative geometric error between KOMPSAT-3·3A and global satellite images. After selecting the overlapping area between the KOMPSAT-3·3A and foreign satellite images, the spatial resolution between the two images is unified. Subsequently, tie-points are extracted using a hybrid matching method in which feature- and area-based matching methods are combined. Then, fine-image registration is performed through iterative registration based on pyramid images. To evaluate the performance and accuracy of the proposed method, we used KOMPSAT-3·3A, Sentinel-2A, and PlanetScope satellite images acquired over Daejeon city, South Korea. As a result, the average RMSE of the accuracy of the proposed method was derived as 1.2 and 3.59 pixels in Sentinel-2A and PlanetScope images, respectively. Consequently, it is considered that fine-image registration between multi-sensor satellite images can be effectively performed using the proposed method.

뉴스페이스(new space) 시대가 도래함에 따라 국내 KOMPSAT-3·3A 위성영상과 해외 위성영상과의 글로벌 융합활용 기술확보가 대두되고 있다. 일반적으로 다중센서 위성영상은 취득 당시의 다양한 외부요소로 인해 영상 간 상대적인 기하오차(relative geometric error)가 발생하며, 이로 인해 위성영상 산출물의 품질이 저하된다. 따라서 본 연구에서는 KOMPSAT-3·3A 위성영상과 해외 위성영상 간 존재하는 상대기하오차를 최소화하기 위한 정밀영상정합(fine-image registration) 방법론을 제안한다. KOMPSAT-3·3A 위성영상과 해외 위성영상 간 중첩영역을 선정한 후 두 영상 간 공간해상도를 통일한다. 이어서, 특징 및 영역 기반 정합기법을 결합한 형태의 하이브리드(hybrid) 정합기법을 이용하여 정합점(tie-point)을 추출한다. 그리고 피라미드(pyramid) 영상 기반의 반복적 정합을 수행하여 정밀영상정합을 수행한다. KOMPSAT-3·3A 위성영상과 Sentinel-2A 및 PlanetScope 영상을 이용하여 제안기법의 정확도 및 성능을 평가하였다. 그 결과, Sentienl-2A 영상 기준 평균 Root Mean Square Error (RMSE) 1.2 pixels, PlanetScope 영상 기준 평균 RMSE 3.59 pixels의 정확도가 도출되었다. 이를 통해 제안기법을 이용하여 효과적으로 정밀영상정합을 수행할 수 있을 것으로 사료된다.

1. 서론

전 세계적으로 지구관측 위성영상의 수요가 증가함에 따라 국가주도적 위성활용 산업이 민간주도로 전환되면서 뉴스페이스(new space)의 시대가 도래하고 있다(An et al., 2019). 따라서, 다양한 종류의 위성이 현재 운용중이며, 최근에는 초소형군집위성 운용 기술 발달로 인해 고부가가치를 창출하는 고해상도(very-high-resolution) 위성영상이 보편화되고 있다. 우리나라는 KOMPSAT3·3A를 통해 지속적으로 고해상도 위성영상을 취득하고 있으며, 추후 우리나라는 다양한 종류의 중형 및 초소형군집위성 운용이 계획되어 있다. 이처럼, 국내 고해상도 위성영상과 해외 위성영상의 가용성이 확대됨에 따라 다중센서 위성영상 간 글로벌 융합활용 기술 확보는 필수적이다.

동일지역에 대해 촬영된 다중센서(Multi-sensor) 위성영상은 취득 당시의 플랫폼 고도 및 자세 변화, 지표면 특성, 대기 조건 등 다양한 외부요소의 영향을 받아 영상 간 상대적인 기하오차(relative geometric error)가 발생한다(Yun et al., 2021; Han et al., 2022). 이러한 기하 오차는 위성영상 산출물의 품질을 저해하는 주요 요인으로 작용하므로 다중센서 위성영상 간 융합활용을 위해서는 반드시 기하오차를 보정하는 영상정합(image registration) 작업이 수행되어야 한다(Kim et al., 2022a).

다중센서 영상은 서로 다른 공간 및 방사해상도를 가짐에 따라 데이터 간 복합적인 불일치가 발생한다(Park et al., 2021). 이러한 다중센서 영상 간 특성을 고려하기 위해 Sedaghat et al. (2015)는 Landsat ETM+, SPOT 4-6, QuickBird, GeoEye, WorldView 와 같은 센서의 영상을 기반으로 Uniform Robust Scale Invariant Feature Transform(UR-SIFT)알고리즘과 지역적 서술자인 DistinctiveOrder Based Self Similarity (DOBSS)를 개발하였다. Ling et al. (2016) 은 서로 다른 센서로부터 취득한 영상의 정합 시 반복적이고 유사한 텍스처로 인한 모호성을 해결하고자 Shuttle Radar Topography Mission (SRTM) 데이터와 영상분할 기법을 통합한 정합기법을 제안하였으며, Ye et al. (2017)은 다중센서 영상 간 강인하고 효과적인 영상 정합을 위해 이미지의 구조적 특성을 기반으로 하는 Histogram of Orientated Phase Congruency (HOPC) 특징 서술자를 제안하였다. 최근에는 딥러닝(deep learning) 기술을 다중센서 영상정합에 접목하여 정확도를 개선하려는 연구도 진행되었다. Ma et al. (2019)은 ImageNet으로 pre-trained된 VGG16 네트워크와 SyntheticAperture Radar (SAR) 및 광학 영상, 지도 등의 다중센서 영상 기반으로 구축한 훈련자료를 이용하여 다중센서 영상정합을 수행하였다. Merkle et al. (2021) 은 광학 및 SAR 영상 간 딥러닝 기반의 정합점 위치 결정을 위해 Siamese 구조의 Convolutional Neural Network (CNN)을 이용하였다. 기존의 영상정합 방법은 특정 조건에 국한되어 있거나 다중센서 영상 간 공간해상도 차이로 인한 왜곡을 고려하지 못하는 문제점이 존재한다. 또한, 최근 각광받고 있는 딥러닝 기반의 영상정합 방법은 대용량 학습데이터를 요구하거나 레이더 영상 특성에 초점이 맞춰져 있어 다중센서 광학영상에 적용하기에 한계가 있다.

따라서, 본 연구에서는 KOMPSAT-3·3A 위성영상과 해외 위성영상 간 존재하는 상대적인 기하오차를 보정하기 위한 정밀영상정합(fine image registration) 방법론을 제안한다. 제안방법은 서로 상이한 특성의 다중센서 영상 간 신뢰도 높은 다수의 정합점(tie-point)을 추출하고, 단계적으로 기하오차를 보정하여 정밀영상정합을 수행한다. 또한, Sentinel-2A 및 PlanetScope와 같은 해외 영상을 이용하여 제안방법의 정확도 및 성능을 검증한다.

2. 연구 방법

본 연구에서는 다중센서에서 취득된 고해상도 광학 영상 간 존재하는 상대적인 기하오차를 보정하기 위해 Fig. 1과 같은 정밀영상정합 방법론을 제안한다. 먼저 KOMPSAT-3·3A 위성영상의 초기 Rational Polynomial Coefficient (RPC)와 Sentinel-2A 및 PlanetScope 위성의 메타데이터(metadata) 정보를 이용하여 중첩영역을 탐색한다. 선정된 중첩지역을 중심으로 Sentinel-2A 및 PlanetScope 영상의 공간해상도를 KOMPSAT-3·3A 영상과 동일하게 조정한다. 이어서, 두 영상의 공간해상도를 조정한 피라미드(pyramid) 영상을 생성하고 하이브리드(hybrid) 정합기법 이용하여 추출된 정합점을 통해 반복적으로 영상 정합을 수행함으로써 정밀영상정합을 수행한다.

Fig. 1. Methodology of fine-image registration between multi-sensor satellite images.

1) 다중센서 영상 간 중첩지역 선정 및 전처리

특성이 상이한 다중센서 위성영상 간 초기 위치관계 추정을 위해 Fig. 2와 같이 KOMPSAT-3·3A의 초기 RPC 정보와 Sentinel-2A 및 PlanetScope의 메타데이터를 활용한다. 먼저, KOMPSAT-3·3A 위성영상의 초기 RPC 정보를 식(1)과 같이 이용하여 좌상단, 좌하단, 우하단, 우상단의 지상좌표를 추정한다(Han et al., 2022). 이 때, 지상좌표에 이용된 표고정보는 모든 코너점에서 동일하게 설정한다. 이어서, Sentinel-2A 혹은 PlanetScope 영상의 메타데이터를 기반으로 추정된 지상좌표를 타 위성 영상의 영상좌표로 변환한다. 최종적으로 변환된 4개의 영상좌표의 위치정보를 고려하여 이를 포함하는 영역을 중첩지역으로 선정하여 추출한다. 추출된 영상은 KOMPSAT-3·3A와 해상도 차이로 인해 정합점 추출 성능이 저하될 수 있다. 따라서, 본 연구에서는 추출된 영상의 공간해상도를 KOMPSAT-3·3A와 동일하게 맞추는 Bicubic interpolation 기반의 upsampling 작업을 수행하여 정합점 추출을 위한 전처리를 수행한다.

Fig. 2. Overlapping area selection process using RPC and metadata of satellite images.

\(\begin{aligned}\begin{array}{l}r_{n}=\frac{P_{1}\left(X_{n}, Y_{n}, Z_{n}\right)}{P_{2}\left(X_{n}, Y_{n}, Z_{n}\right)} \\ c_{n}=\frac{P_{3}\left(X_{n}, Y_{n}, Z_{n}\right)}{P_{4}\left(X_{n}, Y_{n}, Z_{n}\right)}\end{array}\\\end{aligned}\)        (1)

where, r_n and c_n represent normalized image coordinates, X_n, Y_n, and Z_n are normalized ground coordinates, and P₁, P₂, P₃, P₄ are polynomial coefficients comprising RFM.

2) 하이브리드 정합 기법을 이용한 정합점 추출

영상정합에는 대표적으로 특징기반 정합기법(featurebased matching method)과 영역기반 정합기법(area-based matching method)이 존재한다(Kim and Han, 2021; Zitova and Flusser, 2003). 특징기반 정합기법은 기하오차가 큰 경우에도 지역적 왜곡에 강인한 정합점을 추출할 수 있지만, 영상 간 특성이 상이하거나 해상도 차이가 클 경우에는 정합점 신뢰도가 저하된다. 영역기반 정합기법은 영상 간 특성이 상이해도 다수의 정합점을 추출할 수 있지만, 영상 간 중첩되는 template의 초기 위치관계에 정확도가 의존적인 문제점이 존재한다(Kim et al., 2022b). 따라서 본 연구에서는 각 정합기법의 장점을 결합한 Fig. 3과 같은 하이브리드 방식의 정합점 추출 방법을 제안한다.

Fig. 3. The hybrid matching method combining featureand area-based matching method.

먼저 기준영상 내 template 영역을 선정하고 특징기반 정합기법인 Speeded-Up Robust Feature (SURF)를 적용한다. SURF 기법은 식(2)와 같이 정의된 헤이시안 행렬(Hessian matrix)기반의 근사화 된 박스 검출기(approximated box filter)를 이용하여 영상 내 가우시안 2차 미분 결과값이 최대인 위치를 특징점으로 추출한다(Bay et al., 2008). 추출된 특징점 중 스케일 공간 상에서 가장 강인한 특성을 보이는 한 점을 추출하고, 그 점을 중심으로 template 위치를 세부적으로 조정한다. 이어서, 기준영상의 가장 강인한 점을 지상좌표로 변환하고, 이를 다시 입력영상의 영상좌표로 변환하여 두 영상 간 대응되는 template을 최종적으로 선정한다.

\(\begin{aligned}H(\rho, \sigma)=\left[\begin{array}{ll}L_{x x}(\rho, \sigma) & L_{x y}(\rho, \sigma) \\ L_{x y}(\rho, \sigma) & L_{y y}(\rho, \sigma)\end{array}\right]\\\end{aligned}\)       (2)

where H(ρ, σ) is Hessian matrix, L_xx(ρ, σ), L_xy(ρ, σ), and L_yy(ρ, σ) represent the results of the Gaussian second order derivative for xx, xy and yy directions and convolutions of the input images.

기준 및 입력영상 간 대응되는 template 내 피복 특성, 촬영시기 차이 등 다중센서 특성 차이에 강인한 정합점을 추출하기 위해 영역기반 정합기법인 Phase Correlation(PC)을 적용한다. PC 기법은 주파수 영역에서 정합점의 위치를 세부적으로 결정하므로, 다중센서 영상과 같이 특성이 상이한 경우에도 신뢰도 높은 정합점을 추출할 수 있다 (Foroosh et al., 2002). PC 기법은 식(3)과 같이 중첩된 template 영역에 2차원 고속 푸리에 변환을 수행한 후 정규화 된 신호를 역 변환하여 측정된 위상상관도가 가장 높은 지점을 정합점으로 추출한다(Yun et al., 2021). 이러한 하이브리드 정합기법을 이용하여 다중센서 영상 간 정밀영상정합을 위한 정합점을 추출한다

\(\begin{aligned}C=\left|F^{-1}\left(\frac{F\left(I_{2}(x, y)\right)}{F\left(I_{1}(x, y)\right)}\right)\right|\\\end{aligned}\)       (3)

where I₁ and I₂ are input images, F and F^–1 are 2D Fourier transformation and 2D inverse Fourier transformation and C is phase correlation that can obtain the normalized cross-correlation.

3) 피라미드 영상 기반의 반복적 영상정합을 통한 정밀영상정합

추출된 정합점을 이용하여 다중센서 영상 간 좌표를 통일시키기 위해서는 변환모델을 추정해야 한다. 다중센서 위성영상은 각 영상의 공간 및 분광해상도, 촬영 궤도, 플랫폼 각도 등 다양한 특성이 상이하여 지역적으로 기하왜곡이 다양하게 존재한다. 따라서, 본 연구에서는 피라미드 영상을 이용한 반복적 정합을 통해 영상 간 상대기하오차를 단계적으로 최소화하여 정밀영상 정합을 수행한다. 이를 위해 영상의 스케일이 1/2ⁿ (n=3, 2, 1)로 조정된 피라미드 영상을 생성하고 단계별로 하이브리드 정합기법을 적용하여 정합점을 추출한다. 추출된 정합점 중 affine 변환모델 추정에 적합하지 않은 정합점을 오정합점(outlier)로 간주하여 제거한 후 affine 변환모델 구성하여 단계별로 기하오차를 최소화한다. 마지막 단계에서는 정합점 간 delaunay triangulation을 생성하여 영상 간 국부적인 기하왜곡을 효과적으로 최소화할 수 있는 Piecewise linear 변환모델을 이용하여 정밀영상정합을 수행한다.

3. 연구 결과 및 분석

본 연구에서는 도심지, 수계, 농지, 산림 등 다양한 피복으로 구성된 대전광역시 일대를 연구 지역으로 선정하였으며, Fig. 4와 같이 연구 지역에 대해 취득된 KOMPSAT3·3A, Sentinel-2A 그리고 PlanetScope 영상을 연구데이터로 이용하였다. 정밀영상정합의 기준영상으로는 정사보정된 Sentinel-2A과 PlanetScope 영상의 Blue, Green, Red 그리고 Near Infrared (NIR) 영상을 이용해서 제작한 panchromatic 영상, 입력영상으로는 KOMPSAT-3·3A호 Level 1R panchromatic 위성영상을 활용하였으며, 각 영상에 대한 세부내용은 Table 1과 같다.

Fig. 4. Experimental satellite images: (a) KOMPSAT-3A, (b) KOMPSAT-3, (c) Sentinel-2A, and (d) PlanetScope.

Table 1. Specification of experimental satellite imagery

먼저, KOMPSAT-3·3A 위성영상의 RPC와 Sentinel2A 및 PlanetScope 영상의 메타데이터를 이용하여 두 영상 간 초기 기하차이를 최소화하는 전처리를 수행하였다. 이어서, 본 연구에서 제안하는 하이브리드 정합 기법을 적용하여 정합점을 추출하였다. Sentinel-2A 및 PlanetScope 영상과 KOMPSAT-3·3A 영상 간 추출된 정합점은 Fig. 5와 같다. 제안기법을 통해 추출된 정합점은 모든 영상 조합의 중첩영역 내 균등하게 분포하고 있으며, 각 영상의 정합점 위치도 유사하게 나타났다.

Fig. 5. Results of tie-points extraction between multi-sensor satellite images.Red and green markers represent the reference and sensed tie-points, respectively: (a) Sentinel-2A & KOMPSAT-3A, (b) Sentinel-2A & KOMPSAT-3, (c) PlanetScope & KOMPSAT-3A, and (d) PlanetScope & KOMPSAT-3.

하이브리드 정합기법과 피라미드 영상 기반의 반복적 정합을 통해 KOMPSAT-3·3A 영상과 Sentinel-2A 및 PlanetScope 영상과의 정밀영상정합을 수행하였다. 이에 대한 결과를 확인하기 위해 Fig. 6과 같이 모자이크 영상을 생성하였다. 다중센서 모자이크 영상 내 경계면에 위치한 피복의 기하가 일정하게 정렬되어 표현되었으며, 이를 통해 상대적인 기하오차가 효과적으로 보정된 것을 확인하였다.

Fig. 6. Mosaic images between reference and registered images:(a) Sentinel-2A&KOMPSAT-3A, (b) Sentinel-2A & KOMPSAT-3, (c) PlanetScope & KOMPSAT-3A, and (d) PlanetScope & KOMPSAT-3.

제안기법에 대한 정확도 및 성능 검증을 위해 Fig. 7과 같이 실험 위성영상 간 불변특성을 보이는 지역 중 지형이 평탄한 지역을 중심으로 총 15개의 검사점을 육안으로 판독하여 선정하였다. 추출된 검사점을 기반으로 정밀영상정합 전과 후의 모자이크 영상과 RMSE를 산출하였으며, 성능 평가를 위해 template 기반으로 정합점을 추출하는 Local SURF와의 비교분석을 수행하였다.

Fig. 7. Checkpoints for evaluating the accuracy of registration results: (a) distribution map of checkpoints and (b) examples of checkpoints.

Sentienl-2A 및 PlaentScope영상을 기준으로 KOMPSAT3·3A 영상에 대해 수행한 정밀영상정합 결과를 직관적으로 분석하기 위해 Fig. 8과 같이 모자이크 영상을 생성하였다. Sentinel-2A 및 PlanetScope 영상 기준의 Fig. 8(a)와 (d)에서 강이나 도로와 같은 연속된 지형이 불규칙적으로 표현된 반면, Fig. 8(b), (c), (e), 그리고 (f)에서는 영상 간 좌표가 통일되어 불연속 피복이 일정하게 정렬되었다. 하지만, Local SURF는 Fig. 8(c)의 우측 상단 지역에서 미세하게 기하오차가 잔존하였다. 반면, 제안기법은 Local SURF를 통해 보정하지 못한 지역에서도 효과적으로 영상정합을 수행하여 기하오차를 최소화하였다.

Fig. 8. Mosaic images according to the results of fine-image registration between multi-sensor satellite images. The first and second columns represent the results based on the Sentinel-2A and PlanetScope images, respectively: (a) raw image, (b) proposed method, (c) Local SURF, (d) raw image, (e) proposed method, and (f) Local SURF

정밀영상정합 수행 전, 후에 대한 정확도를 정량적으로 평가하기 위해 Table 2와 Table 3과 같이 RMSE와 Number of Tie-points (NT)를 산출하였다. Sentinel-2A 영상을 기준으로 정밀영상정합을 수행한 결과, 제안기법의 NT는 Local SURF에 비해 약 6배와 3배 정도 높았으며, RMSE는 Local SURF에 비해 각 영상에서 1.5 pixels 이상 낮게 산출되었다(Table 2). PlanetScope 영상이 기준일 경우 제안기법의 NT는 Local SURF에 비해 약 5배 이상 높고 RMSE는 1.28 pixels(KOMPSAT-3A), 2.6 pixels(KOMPSAT-3) 낮게 도출되었다(Table 3). 이를 통해 제안기법은 KOMPSAT-3·3A 위성영상과 Sentinel-2A 및 PlanetScope 영상 간 존재하는 상대기하오차를 효과적으로 최소화할 수 있다. 따라서, 본 연구의 제안기법은 KOMPSAT-3·3A 영상과 해외 위성영상 간 융합활용을 위한 근간이 되는 기술로 활용할 수 있을 것으로 사료된다.

Table 2. Accuracy of fine-image registration between KOMPSAT-3·3A and Sentinel-2A images (RMSE unit: pixel)

Table 3. Accuracy of fine-image registration between KOMPSAT-3·3A and PlanetScope images (RMSE unit: pixel)

4. 결론

KOMPSAT-3·3A 위성영상과 해외 위성영상 간 글로벌 융합활용을 위해 하이브리드 정합기법과 피라미드 영상 기반의 반복적 정합을 이용하는 정밀영상정합 방법론을 제안하였다. 먼저 다중센서 위성영상 간 초기 기하오차를 최소화하기 위해 KOMPSAT-3·3A 영상과 Sentinel-2A 및 PlanetScope 영상 간 전처리과정을 통해 초기 기하오차를 최소화하였다. 그리고 하이브리드 정합기법과 피라미드 영상 기반의 반복적 정합방법을 통해 두 영상 간 기하오차를 단계적으로 보정하는 방식으로 정밀영상정합을 수행하였다. 제안기법의 정확도는 Sentinel-2A 영상 기준 평균 1.2 pixels, PlanetScope 영상 기준 평균 3.59 pixels로 도출되었다. 따라서 제안기법을 통해 좌표가 통일된 KOMPSAT-3·3A 위성영상 및 다양한 해외위성영상을 함께 이용하여 국토모니터링, 정밀 농업, 관광, 문화산업, 그리고 국가안보 등 다양한 분야의 의사결정 자료로 활용할 수 있을 것으로 사료된다. 또한, 제안기법은 KOMPSAT-3·3A 위성 영상 뿐만 아니라 국내 중형위성 및 추후 예정된 초소형군집위성 영상의 글로벌 융합활용의 핵심 기술로 활용할 수 있을 것으로 판단된다. 하지만, 산림 및 고층건물이 밀집한 지역에서 정합점의 신뢰도가 감소하는 경향이 존재하였으며, 국내 도심지역에서만 제안기법 성능평가가 진행되어 다양한 지역환경 특성에 강인한지 검증하기에는 한계가 있다. 따라서, 추후 연구에서는 딥러닝 방법 적용을 통한 정합점 위치신뢰도를 개선하고, 국내외 지역 특성을 고려하기 위한 변환모델 일반화 성능을 개선하기 위한 연구를 진행할 예정이다.