특징점 매칭 개선 및 강인추정을 통한 이종해상도 위성영상 자동영상정합

Automated Image Matching for Satellite Images with Different GSDs through Improved Feature Matching and Robust Estimation

Abstract

최근 많은 수의 지구관측용 광학위성이 개발되어 위성영상에 대한 수요가 증가하고 있다. 따라서, 위성영상의 활발한 활용을 위해서 신속한 전처리 과정이 요구된다. 위성영상 정합은 두 영상을 하나의 특정한 좌표계로 변환하여 등록하는 기술로서 원격탐사 분야에서 영상정합 기술은 서로 다른 대역의 영상을 정렬하거나, 두 위성영상 간의 상대적인 위치 오차를 수정하는데 사용된다. 본 논문에서는 서로 다른 Ground Sample Distance (GSD)를 가지는 위성영상 간의 자동 영상정합 방법을 제안하였다. 제안방법은 개선된 특징점 매칭방법과 강인한 변환모델 추정기법을 기반으로 하며, 다음과 같이 5가지 처리과정으로 구성된다: 중첩 영역 계산, 개선된 특징점 탐지, 특징점 매칭, 강인한 변환모델 추정, 영상 리샘플링. 특징점 탐지를 위해서 중첩영역을 추출하여 두 영상의 GSD가 유사하도록 영상 리샘플링을 수행하였다. 특징점 매칭 단계에서는, Oriented FAST and Rotated BRIEF (ORB) 알고리즘을 사용하여 영상정합 성능을 향상시켰다. 영상정합 실험은 KOMPSAT-3A와 RapidEye영상을 실험대상으로 수행되었으며 제안방법의 성능검증은 정성적, 정량적 두 가지 방법으로 수행되었다. 영상정합의 재투영오차는 RapidEye GSD를 기준으로 1.277 (8.3 m)에서 1.608 (10.452 m)의 픽셀 정확도를 보였다. 즉, 결론적으로, 제안방법을 통해 이종해상도 위성영상의 영상정합 가능성을 확인하였다.

Recently, many Earth observation optical satellites have been developed, as their demands were increasing. Therefore, a rapid preprocessing of satellites became one of the most important problem for an active utilization of satellite images. Satellite image matching is a technique in which two images are transformed and represented in one specific coordinate system. This technique is used for aligning different bands or correcting of relative positions error between two satellite images. In this paper, we propose an automatic image matching method among satellite images with different ground sampling distances (GSDs). Our method is based on improved feature matching and robust estimation of transformation between satellite images. The proposed method consists of five processes: calculation of overlapping area, improved feature detection, feature matching, robust estimation of transformation, and image resampling. For feature detection, we extract overlapping areas and resample them to equalize their GSDs. For feature matching, we used Oriented FAST and rotated BRIEF (ORB) to improve matching performance. We performed image registration experiments with images KOMPSAT-3A and RapidEye. The performance verification of the proposed method was checked in qualitative and quantitative methods. The reprojection errors of image matching were in the range of 1.277 to 1.608 pixels accuracy with respect to the GSD of RapidEye images. Finally, we confirmed the possibility of satellite image matching with heterogeneous GSDs through the proposed method.

1. 서론

최근 지구관측 위성의 종류와 그 수가 증가함에 따라서 위성영상에 대한 수요가 동시에 증가하고 있다. 국내의 경우에도 다양한 고해상도 지구관측 위성이 운영되고 있으며 향후 국토위성 2호, 아리랑 7호 등을 포함한 다양한 위성이 발사될 예정에 있다. 그러나 위성영상에 존재하는 부정확한 위치 정확도는 모니터링, 변화탐지와 같은 후속 연구결과에 영향을 미친다. 따라서, 위성영상의 활용을 위해 영상의 기하학적인 왜곡을 보정하고 영상좌표를 기준이 되는 좌표계에 일치시켜주는 전처리 작업이 필수적으로 선행되어야 한다(Han, 2013; Jeong, 2015).

영상의 기하학적인 왜곡을 보정하는 방법은 대표적으로 두가지 방법이 존재한다. 하나는 영상에 존재하는 지상기준점을 이용하여 절대적인 위치를 보정해주는 절대기하보정이고 다른 하나는 영상에서 탐지된 특징점을 이용하여 영상 간의 위치를 상대적으로 일치시켜주는 상대기하보정으로 영상정합이라고도 한다(Shin et al., 2018; Lee and Yoon, 2019). 절대기하보정은 사용하고자 하는 기준점의 지상좌표를 정확히 알아야 하며 이를 위해 현장측량을 하거나, 정사영상 또는 수치지도를 이용해 Ground Control Point (GCP)를 수동으로 취득하는작업이 요구된다. 수동취득의 복잡함을 해결하기 위해서 Park et al. (2020)은 사용자 개입을 최소화하여 GCP 생성 및 정밀기하 수립 등의 처리과정을 자동화된 방식으로 수행하여 기하학적 왜곡을 보정한 정밀영상을 생성하는 국토관측위성용 정밀영상생성시스템을 개발하였다. 그러나 수만개에 달하는 GCP를 사전에 선행되어야 하며 지형변화에 따른 GCP의 지속적인 유지관리가필요하다는 단점이 여전히 존재한다.

상대기하보정, 즉 영상정합 방법은 두 영상에서 식별가능한 특징점들을 이용하여 영상 간의 대응관계를 찾는 방법이다(Zitová and Flusser, 2003). 특징점은 선의 교차점 또는 폐쇄된 경계에서의 중심점과 같이 밝기 변화율이 높은 점들이 주로 추출되며 추출된 특징점 별로 주변의 밝기, 색상 변화율 방향 등이 계산되어 특징점 매칭에 적용된다. 특징점 추출 방식은 대표적으로 Scale Invariant Feature Transform (SIFT), Speed Up Robust Feature (SURF), Oriented FAST and Rotated BRIEF(ORB) 알고리즘 등이 있으며 각각의 알고리즘 별로 처리시간, 성능, 강인성 등의 차이가 존재한다. 영상의 대응관계로는 affine, homography와 같은 변환모델을 선택하여 매칭된 특징점을 통해 모델의 요소들을 추정한다. 최종적으로 추정된 변환모델을 적용 후 영상재배열을수행하여 두 영상의 좌표계를 일치시켜준다.

위성영상을 대상으로 한 특징점 추출 및 매칭에 관한 연구는 국내외에서 활발히 진행되고 있다. Sohn et al.(2004)은 위성영상 정합을 위한 특징점 추출 연산자들의 정확도를 평가하였고, Digital ElevationModel (DEM) 생성에 적합한 연산자에 관한 연구를 수행하였다. Han et al. (2006)은 SIFT 알고리즘을 적용하여 다양한 공간해상도 조합에서의 위성영상 정합에 관한 연구를 수행하였다. Yeom et al. (2013)은 SIFT 알고리즘을 통해 도심지역의 그림자가 영상정합에 미치는 영향을 분석하였고, 그림자에 존재하는 특징점을 제거 함으로서 매칭 정확도가 상승함을 확인하였다. Chang et al. (2018)은 고해상도 위성영상을 대상으로 블록단위의 특징점 기반 영상 매칭을 수행하였고, 영상 재배열 단계에서 영상을Triangulated Irregular Network (TIN) 단위로 분할하여 영상정합의 성능을 향상시키는 연구가 수행되었다. 하지만 현재까지 진행된 위성영상 정합의 주된 연구는 동일해상도를 가진 동종 위성영상을 대상으로 하였고, 위성영상 정합을 위한 최적화된 특징점 매칭 알고리즘 선택 및 변환모델 추정에 중점을 둔 연구는 수행되지 않았다. 따라서, 이종 해상도를 가진 위성영상에 적용하기 위한 영상정합 방법론을 수립하고, 그에 대한 타당한 근거를 제시할 수 있는 연구가 수행되어야 한다.

본 연구에서는 서로 다른 공간해상도를 가지는 위성영상 간의 상대기하보정을 위한 자동화된 영상정합 방법을 제안하였다. 제안방법을 실제 KOMPSAT-3A 영상과 RapidEye 영상에 적용하여 영상정합의 성능을 검증하였다. 성능검증은 기준영상과 변환된 영상을 중첩하여 정합결과를 육안으로 판독하는 정성적평가와, 검사점을 선정하고 제안방법을 통해 산출된 모델을 검사점에 적용하여 위치 정확도를 산출하는 정량적 평가로 나누어서 수행하였다. 결과적으로, 제안방법을 통해 위성영상 간의 상대적인 위치오차를 효과적으로 보정할 수 있음을 확인하였다.

본 논문의 구성은 다음과 같다. 2장은 본 연구에서 사용된 이종 위성영상 데이터의 속성에 대해 기술하고 실험을 위해 구성된 영상 쌍을 보여준다. 3장에서는 제안방법의 절차와 제안방법에 적용된 알고리즘에 대해서 상세히 기술한다. 4장에서는 제안방법을 통해 이종 해상도 위성 영상간 영상정합 실험을 수행하고, 정량적 및 정성적인 방법으로 제안방법의 성능을 검증한다. 마지막으로 5장에서는 결론에 대해서 기술하고 본 연구의 의의와 향후 연구 방향을 제시한다.

2. 이종해상도 위성영상 정합방법

본 연구에서 제안하는 이종해상도 위성영상간 영상정합 방법의 처리순서는 Fig. 1과 같다. 그림과 같이 제안방법은 크게 다섯개의 처리 순서로 구성된다. 첫 번째 단계에서는 실제 영상정합이 수행되는 영역을 추출하기 위해서 위성영상의 초기 기하정보를 이용하여 두영상 간 중첩영역을 계산한다. 또한, 후속단계인 특징점 매칭의 정확도를 향상시키기 위해 두 영상 간의 공간 해상도를 유사하도록 영상의 크기 조정이 이루어진다. 특징점 매칭은 여러 알고리즘을 위성영상에 적용하고 그 결과에 비교 분석하였다. 최종적으로 본 제안방법에서는 ORB 알고리즘을 사용하였다. ORB 알고리즘은 기본적으로 FAST 알고리즘과 BRIEF 알고리즘을 결합한 형태에서 추가적으로 두 알고리즘의 취약점을 보완하여 기존의 두 알고리즘을 개선한 알고리즘이다(Rublee et al., 2006; Jeon et al., 2019). 영상의 변환모델은 다른 시점에서 촬영된 영상의 변환관계를 해석할 수 있는 Homography 기반의 변환모델을 선택하였고 RANSAC 알고리즘을 적용하여 보다 강인한 변환모델을 추정하였다. 최종적으로 추정된 변환모델을 적용하여 결과영상을 생성하였다. 제안방법에 대한 세부적인 내용은 다음에서 기술한다.

Fig. 1. Flow chart of heterogeneous image registration.

1) 영상 중첩영역 계산

영상의 특징점 추출은 모든 화소에 대해 반복적으로 수행되기 때문에 영상의 크기가 커짐에 따라 처리시간 또한 증가한다는 단점이 존재한다. 따라서 영상정합의 처리속도를 향상시키기 위해 영상 간의 중첩영역을 계산하여 특징점 추출에 수행되는 영역을 최소화하였다. 이 때 영상 중첩영역은 위성영상의 초기 기하정보를 사용하였다. 본 제안방법에서 사용된 초기 기하정보는 총 6개의 요소로 구성되며 영상좌표로부터 지상좌표 간의 변환을 위한 Affine변환 모델로 변환식은 아래의 식(1)과 같다. 식(1)을 이용해 Fig. 2와 같이 지상좌표계 상에서 중첩영역을 계산한 뒤 중첩영역에 해당하는 영상 좌표를 계산하고 계산된 영상좌표를 통해 중첩영역에 해당되는 부분만 잘라내어 사용한다.

Fig. 2. Coordinate transform using initial geometric information.

X_geo = GT₀ + column × GT₁ + row × GT₂

Y_geo = GT₃ + column × GT₄ + row × GT₅       (1)

2) 영상 특징점 추출

일반적으로 특징점 추출은 영상의 해상도 변화에 영향을 받는다. SIFT 알고리즘에서는 영상의 피라미드를 구성하여 크기 변화에 따른 특징점 검출 문제를 해결하였지만 피라미드 구성에 따른 계산 량이 증가하여 처리시간이 많이 소요된다는 단점이 존재한다(Lowe, 2004). 제안방법에서는 위성영상이 가지고 있는 초기 기하정보를 통해 두 영상 간의 Ground Sample Distance (GSD)를 유사하도록 사이즈를 조절하여 해상도 변화에 따라 발생하는 영향을 상쇄시키고자 하였다.

특징점은 일반적으로 주위 배경과 구분되어 식별이 용이한 코너(corner)점이 추출된다. 따라서 코너점은 주변 방향으로부터 밝기 값의 변화율이 높다는 특징을 가지고 있다. 그러나 입력되는 위성영상의 밝기 값은 정규화 되지 않아 특징점 추출 성능이 저하된다. 따라서, 제안방법에서는 효과적인 특징점 추출을 위해 영상을 8 bit 영상으로 변환 후 밝기 값의 히스토그램을 정규화한 뒤 특징점 추출을 진행하였다. 제안방법에서는 특징점 추출을 위해 ORB 알고리즘을 채택하였다. ORB 알고리즘에서의 특징점 추출은 기존 방향에 대한 특징점 탐지에 취약한 FAST알고리즘을 보완한 o-FAST 알고리즘을 사용한다. 제안 방법에서는 최대 특징점 추출 개수를 30,000개로 설정하였고, Fig. 3은 ORB 알고리즘을 사용하여 추출된 특징점의 예시이다.

Fig. 3. Example of feature detection.

3) 특징점 매칭

추출된 특징점 간의 매칭을 위해서는 특징점 간의 유사도를 판별하기 위한 설명자를 계산한다. 설명자는 특징점 주변 픽셀을 일정한 크기의 블록으로 나누어 각 블록영역에 속한 픽셀의 그래디언트 히스토그램을 계산한 것으로 이러한 설명자는 주로 특징점 주변의 밝기,색상, 방향, 크기 등의 정보가 포함되어 서로 다른 특징점이 어떤 연관성이 있는지 구분해준다. 본 연구에서 사용한 ORB 알고리즘에서의 설명자는 기본적으로 BRIEF 형태의 알고리즘을 사용한다. 매칭 알고리즘별로 설명자는 각각 다른 크기의 벡터를 가지고, 벡터를 구성하는 자료형에 따라서도 구분된다. BRIEF의 설명자 벡터의 요소는 이진 값을 가지기 때문에 계산 속도 측면에서 장점을 가진다. 하지만 BRIEF 설명자는 시점, 조명, 블러에 강인하지만, 영상이 회전하는 경우에 매칭 정확도가 현저히 감소한다는 단점이 존재한다. 때문에 ORB 알고리즘에서의 설명자는 각도를 12도로 고정한 상태로 모든 패턴의 BRIEF설명자를 계산하는 방식인 rotational BRIEF (rBRIEF)를 사용하여 영상의 회전에도 강건한 설명자를 계산한다.

특징점 매칭은 계산된 설명자를 비교하여 가장 유사하다고 판단되는 특징점을 선택하는 방식으로 진행되고, 기본적으로 Brute Force 알고리즘을 사용한다. Brute Force 알고리즘은 하나의 특징점에 대한 대응되는 특징점을 찾기 위해 다른 모든 특징점들 과의 비교연산이 수행되어야 하므로 매칭에 소요되는 시간은 추출된 특징점 개수에 영향을 받는다는 단점이 존재한다(Vijayan and Pushpalatha, 2019). 반면, Fast Library for Approximate Nearest Neighbors (FLANN) 기반 알고리즘은 비교 연산이 근접한 특징점들 사이에서 수행되어 비교적 큰 데이터셋에서 최적화된 알고리즘으로 알려져 있다. 앞서 초기 기하정보를 통해 영상 간의 중첩영역을 계산하였고, 두 영상의 GSD가 유사하도록 영상 크기를 조정해주었다. 제안방법에서의 특징점 매칭은 FLANN 알고리즘을 착안하여 영상을 3 × 3 총 9개의 구역으로 분할하여 동일한 구역에 존재하는 특징점들 간에만 비교연산을 수행하였다(Fig. 4).

Fig. 4. 9-Region feature matching.

4) 변환모델 추정

매칭된 특징점들은 영상 정합을 위한 변환모델을 추정하기 위해서 사용된다. 변환모델을 통해서 이미지픽셀의 좌표는 기준이 되는 좌표계로의 변환식을 통해 새로운 좌표로 매핑 된다. 모델을 적용한 영상변환은 기존의 영상의 특징을 보존하는 정도에 따라 similarity, affine, projective 변환으로 나눌 수 있다. 본 연구에서는 homography 변환이라고도 불리는 projective변환을 통해 변환모델을 추정하였으며, 변환행렬 H는 3 × 3의 크기의 행렬로 동차 좌표계에서 식(2)와 같이 표현할 수있다. Homography 변환 행렬은 평면에서의 4지점이 주어지고 다른 평면에서 4개의 대응하는 점을 통해 두 이미지 평면 간의 변환 관계를 정의할 수 있다(Dubrofsky, 2007). 즉, H행렬의 h₃₃ 요소는 임의의 크기에 관한 것이므로 이를 제외하면 H행렬의 자유도(degrees of freedom)는 8이 되어 H행렬 계산을 위해서 4개의 대응되는 점이 필요하다. 그러나 매칭된 특징점들은 대부분의 경우 4개 이상이므로, 매칭된 모든 특징점들을 사용하여 해를 추정한다면 변환행렬은 과잉추정 된다.

\(\begin{aligned}s\left[\begin{array}{c}x_{i}^{\prime} \\ y_{i}^{\prime} \\ 1\end{array}\right]=\left[\begin{array}{lll}h_{11} & h_{12} & h_{13} \\ h_{21} & h_{22} & h_{23} \\ h_{31} & h_{32} & h_{33}\end{array}\right]\left[\begin{array}{c}x_{i} \\ y_{i} \\ 1\end{array}\right]\\ \end{aligned}\)       (2)

따라서 제안방법에서는 매칭된 특징점들 중 이상점(outlier)을 제거하기 위해 Random Sample Consensus(RANSAC) 알고리즘을 적용하여 강인한 변환모델을 구하고자 하였다. RANSAC 알고리즘은 매칭된 특징점들을 정상치와 이상치로 구분하는데 사용되는 알고리즘이다. 제안방법에서 적용한 RANSAC 방법은 다음과 같다. 우선 매칭된 특징점들 중에서 모델을 계산하기 위한 최소개수의 특징점을 무작위 샘플로 선택하였다. 이후 선택된 샘플로부터 모델을 계산하고, 계산된 모델을 전체 매칭점들에 적용하여 식(3)과 같이 재투영오차를 계산하였다. 만약 재투영오차가 설정된 임계값보다 낮을 경우 정상점으로 판단하였다. 해당과정을 반복하여 최종적으로 정상점의 개수가 가장 많은 경우의 모델을 변환모델로 선택하였고, 만약 정상점의 개수가 동일한 경우는 재투영오차가 더 낮은 모델을 선택하였다. Fig. 5는 RANSAC을 적용하여 이상치를 제거해주는 예시를 보여준다.

Fig. 5. Example of inlier filtering using RANSAC.

Denom = (h₃₁ × x) + (h₃₂ × y) + 1       (3-a)

\(\begin{aligned}\operatorname{Error}_{c}=x^{\prime}-\frac{\left(\left(h_{11} \times x\right)+\left(h_{12} \times y\right)+h_{13}\right)}{\text { Denom }}\\ \end{aligned}\)       (3-b)

\(\begin{aligned}Error_{r}=y^{\prime}-\frac{\left(\left(h_{21} \times x\right)+\left(h_{22} \times y\right)+h_{23}\right)}{\text { Denom }}\\\end{aligned}\)       (3-c)

\(\begin{aligned}Error=\sum_{n=1}^{\text {num ofinliers }} \sqrt{\text { Error }_{c}^{2}+\text { Error }_{r}^{2}}\\\end{aligned}\)       (3-d)

상기 수식에서 x, y와 x′, y′는 각각 입력영상과 기준영상에서 추출된 대응점의 영상좌표(column, row)이다. h₁₁~h₃₃은 선택된 샘플에 의해서 추정된 Homography 변환모델의 요소이다. 식(3-a)에서 Denom은 변환모델이가지고 있는 투영비율(scale factor)을 의미하며, 이를 통해 scale값을 나눠주어 실제 영상좌표를 산출할 수 있다.식(3-a)와 식(3-b)에서의 Error_c와 Error_r는 입력영상의 좌표를 추정된 모델에 적용하였을 때 대응되는 좌표와 column, row 방향의 오차를 나타낸다. 최종적으로 식(3-d)의 Error는 추정된 모델의 재투영 오차를 나타내며, 추정된 모델이 정상점들에 얼마나 피팅 되어 있는지 수치적으로 나타낸다.

5) 영상 리샘플링

리샘플링은 디지털 영상을 늘리고 줄이거나 기하학적으로 변환하는 기술이다. 변환모델을 적용하여 기준영상의 좌표계에 일치시켜 주더라도 변환 과정에서 영상의 회전 및 서로 다른 해상도의 차이가 존재한다. 따라서 기준영상의 좌표계와 더불어 속성도 일치하도록 영상을 재배열해야 한다. 영상 재배열시에 변환이후 해당하는 픽셀의 정보를 어느 픽셀에서 가져올 것인지 정해주어야 한다. 제안방법에서는 Bilinear 보간법을 적용하여 영상의 재배열을 수행하였다. Fig. 6은 변환모델을 적용하여 영상 재배열 과정을 통해 결과 영상을 생성하는 예시를 보여준다. 우선 영상재배열이 이루어질 영역을 H행렬을 적용하여 계산한 뒤, 재배열할 픽셀(p′)의 좌표에 변환모델을 적용하여 원본영상의 좌표계에서의 픽셀(p) 좌표를 H의 역행렬을 적용하여 계산한다. 픽셀 좌표로부터 인접한 픽셀을 이용하여 p′의 값을 결정한다.

Fig. 6. Image resampling using Bilinear.

3. 실험결과 및 분석

1) 실험 데이터

본 연구에서는 KOMPSAT-3A 위성영상과 RapidEye 위성영상을 대상으로 영상정합 실험을 진행하였다. 사용된 위성영상은 대한민국의 고양, 서울, 안양 일대를 촬영한 영상으로, Fig. 7과 같다. 고양지역을 촬영한 영상 (a)의 경우 대부분이 산으로 이루어져 도로나 지형지물 같은 식별가능한 객체가 적다는 특징이 존재한다. 이는 특징점 추출과 매칭의 정확도를 저하시키는 요인이 되어 영상정합의 성능이 저하될 우려가 있다. 반면에 서울지역 (b)와 안양지역 (c) 영상의 경우에는 식별가능한 물체가 영상 내에 고르게 분포해 있다.

Fig. 7. Study area: (a) Goyang, (b) Seoul, and (c) Anyang.

Table 1과 Table 2는 각각 본 실험에서 사용된 KOMPSAT-3A 영상과 RapidEye 영상의 속성을 보여준다. 두 영상은 GSD 촬영범위, 촬영각도 등 영상의 속성이 서로 달라 영상 정합에 어려움을 갖는다. 총 12장의 영상으로부터 영상정합을 위해 위성영상 간 중첩영역을 갖도록 영상을 선정하였고, 최종적으로 6개의 이종위성영상 페어를 구성하여 실험을 진행하였다. 사용된 영상의 처리레벨은 KOMPSAT-3A의 경우 L1R영상, RapidEye의 경우 L1B영상으로 두 영상 모두 방사학적 보정과 센서의 왜곡만 보정된 영상이다.

Table 1. Properties of KOMPSAT-3A images used in experiments

Table 2. Properties of RapidEye-2 images used in experiments

Fig. 8은 구성된 영상 페어의 촬영범위와 두 영상 간의 중첩관계를 가시적으로 보여준다. 그림과 같이 RapidEye 영상의 촬영범위가 KOMPSAT-3A 영상보다 넓어 중첩영역이 KOMPSAT-3A 영상 전체가 되는 것을 볼 수 있다.

Fig. 8. Image coverage of datasets.

2) GSD Equalization

본 제안방법에서는 두 위성영상의 공간 해상도를 유사하도록 영상의 사이즈를 조정하였다. 사이즈 조정은 낮은 해상도를 가지는 위성영상의 GSD를 기준으로 비교적 고해상도의 영상을 축소하였다. 영상 사이즈 조정의 효과를 확인하기 위해 6개의 데이터셋에 대해 축소비율에 따른 모델 대응점 추정 개수를 분석하였다(Fig. 9). 특징점 추출과 매칭은 ORB알고리즘을 사용하였고 최대 특징점 추출 개수를 30,000개로 설정하여 실험을 진행하였다. 본 실험에서 Reduce Ratio는 비교적 고해상도 영상인 KOMPSAT-3A영상 사이즈 축소 시 적용되는 비율이다. Ratio 1인 경우에는 사이즈 축소를 하지 않고 원본 영상을 대상으로 실험함을 의미한다. 따라서 GSD가 유사하도록 해주는 Reduce Ratio는 저해상도 GSD를 고해상도 GSD만큼 나눠준 값으로, KOMPSAT-3A과 RapidEye (두 영상 모두 Blue band 영상 사용)의 경우에는 약 0.3385의 값을 갖는다. 실험결과 모든 데이터셋에 대해서, GSD가 유사해질수록 정상점 추정의 개수가 증가하는 것을 확인하였다.

Fig. 9. Number of inliers according to image reduce ratio.

3) 특징점 매칭 알고리즘 성능 비교

특징점 알고리즘은 처리시간, 성능 등의 차이가 존재하여 사용자의 목적에 부합하는 최적의 알고리즘을 선택하는 것이 중요하다. 위성영상 정합의 경우, 강인한 변환모델을 추정하기 위해서 신속하게 정확한 대응점을 추출하는 것이 핵심이다. 본 연구에서는 위성영상에 적합한 특징점 매칭 알고리즘을 선택하기 위해서 대표적으로 사용되는 SIFT, SURF, ORB 알고리즘을 적용하여 성능을 비교 분석하였다. Table 3은 알고리즘별 특징점 매칭 성능을 보여주고, Fig. 10은 그에 따른 특징점 매칭 결과를 보여준다. 최대 특징점 추출 개수를 30,000개로 설정하였고, SIFT의 경우 60,000개로 설정하여 한 번 더 실험을 진행하였다. Table 3의 SIFT (a)와 SURF의 경우 충분한 정상점의 개수가 추출되지 못하였고, SIFT(b)의 경우 ORB와 비교하였을 때 처리시간이 약 4.7배 이상 소요되었다. 결과적으로 ORB 알고리즘이 타 알고리즘과 비교하였을 때 우수한 성능을 보이는 것을 확인하였고 ORB 알고리즘을 제안방법의 특징점 매칭 알고리즘으로 선택하였다.

Table 3. Feature matching results by feature point algorithm

Fig. 10. Feature matching result according to the feature matcher.

4) 9 Regions Feature Matching

제안방법에서는 특징점 매칭에 소요되는 시간을 최소화하기 위해, 영역기반 매칭 방법을 적용하였다. 영역 기반 매칭 방법은 영상을 3 × 3 총 9개의 영역으로 분할하여 같은 영역에 위치한 특징점만 비교연산을 수행하는 방법이다. Fig. 11은 영역분할 매칭기법을 적용한 결과를 보여준다. 실험결과, 영역분할 매칭 기법이 Brute-force 매칭 기법 대비 다수의 오매칭점이 제거된 초기 결과를 보였고, 최종적으로 빠른 처리시간으로 더 많은 정상점을 확보하였다.

Fig. 11. Feature matching result according to the matching method.

5) 최종 영상정합 결과

이종 해상도 위성영상간 영상정합 실험은 총 6개의 데이터에서 수행되었다. 사용된 위성영상은 방사보정과 센서보정만 이루어진 KOMPSAT-3A와 RapidEye 위성영상이다. Table 4는 6개의 데이터에 대한 영상정합 결과를 보여주고, Fig. 12는 데이터별로 특징점 매칭 결과를 보여준다. 영상정합 전 위성영상의 초기 위치오차는 큰 값을 보였다. 제안방법에서는 모델을 추정하기 위한 정상치 판단기준을 3 pixel로 설정하였고, 최대 특징점 추출 개수를 30.000개로 설정하였다. 실험결과 모든 데이터에 대하여 변환모델을 추정하기 위한 충분한 정상점이 추출되었다. 최종적으로 영상정합을 통해 만들어진 영상의 상대적인 위치 정확도는 RapidEye 해상도를 기준으로 평균 1.506, 최소 1.277, 최대 1.608 픽셀의 위치 오차를 보였다.

Table 4. Result of heterogeneous image registration

Fig. 12. Result of feature matching.

제안방법의 정성적 검증을 위해 Fig. 13과 같이 기준이 되는 영상과 변환영상을 일정간격으로 교차하여 바둑판 형식으로 나열하였다. 이후 도로나 건물같이 경계를 식별할 수 있는 부분을 확대하여 정합성능을 가시적으로 확인하였다. 영상정합이 되지 않은 원본영상은 위치오차로 인해 동일 객체의 부정합이 발생하는 현상이 존재하였고, 제안한 영상정합 방법을 적용한 결과 이러한 현상을 해결할 수 있음을 확인하였다.

Fig. 13. Result of image registration.

4. 결론

본 논문에서는 서로 다른 공간해상도를 가지는 위성영상 간의 자동 영상정합 방법을 제안하고 정합된 영상의 정확도를 분석하였다. 이종 해상도 위성영상의 상대기하보정을 위해서 특징점 매칭 알고리즘을 기반으로 하는 영상정합 방법을 적용하였다. 이때, 두 위성영상간의 공간해상도가 유사하도록 영상의 사이즈 조정을 통해 원본 해상도 대비 다수의 정상점을 확보할 수 있었다. 또한, 영역 분할 매칭 기법을 적용하였고, 이를 통해 brute-force 매칭 대비 처리시간을 약 3배 감소시켰고, 정상점을 추가로 확보할 수 있었다. 정합된 영상의 재투영오차는 2픽셀 이내 값을 보였고, 결과적으로 제안방법을 통해 이종해상도를 가지는 위성영상 간의 상대적인 위치오차를 자동화된 방법으로 보정할 수 있음을 확인하였다.

본 논문에서 영상정합 결과는 매칭된 대응점을 통해 homography 변환 모델을 추정하였고 최종적으로 정합영상을 생성하였다. 정합모델의 정확도를 위해서는 정상점으로 판단되는 대응점의 정확도와 개수가 중요하다고 판단된다. 이를 위해 제안방법에서는 영상 사이즈 조정, 영역분할 매칭, RANSAC 등의 알고리즘을 사용하였다. 하지만, 해당 방법은 평면 간의 변환, 즉 2차원의 변환을 해석하는 것으로 실제 기복이 있는 지형을 해석하기에는 한계가 존재한다. 때문에 후속 연구에서는 위성영상의 다양한 촬영 자세에 따라 생기는 오차를 고려한 영상정합 절차가 필요하다.