딥러닝 기반 윤곽정보 추출자를 활용한 RPC 보정 기술 적용성 분석

Analysis of Applicability of RPC Correction Using Deep Learning-Based Edge Information Algorithm

Abstract

대부분의 고해상도 위성영상은 rational polynomial coefficients (RPC) 정보를 제공하여 지상좌표와 영상좌표 간 변환을 수행한다. 그러나 초기 RPC에는 기하학적 오차가 존재하여 ground control points (GCPs)와의 정합을 통해 보정을 수행하여야 한다. GCP chip은 항공정사영상에서 추출한 높이 정보가 포함된 작은 영상 패치(patch)이다. 많은 선행연구에서는 영역 기반 정합 기법을 사용하여 고해상도 위성영상과 GCP chip 간 정합을 수행하였다. 계절적 차이나 변화된 지역이 존재하는 영상에서는 화소값에 의존하는 정합이 어렵기 때문에 윤곽 정보를 추출하여 정합을 수행하기도 한다. 그러나 일반적으로 사용하는 canny 기법으로 정합에 용이한 윤곽을 추출하기 위해서는 위성영상의 분광 특성에 적절한 임계치를 설정해주어야 하는 문제가 존재한다. 따라서 본 연구에서는 위성영상의 지역별 특성에 둔감한 윤곽 정보를 활용하여 RPC 보정을 위한 정합을 수행하고자 한다. 이를 위해 딥러닝 기반 윤곽 정보 추출 네트워크인 pixel difference network (PiDiNet)를 활용하여 위성영상과 GCP chip의 윤곽맵(edge map)을 각각 생성하였다. 그 후 생성된 윤곽맵을 normalized cross-correlation과 relative edge cross-correlation의 입력데이터로 대체하여 영역 기반의 정합을 수행하였다. 마지막으로 RPC 보정에 필요한 변환모델 계수를 도출하기 위하여 data snooping 기법을 반복적으로 적용하여 참정합쌍을 추출하였다. 오정합쌍을 제거한 참정합쌍에 대해 root mean square error (RMSE)를 도출하고 기존에 사용하던 상관관계 기법과 결과를 정성적으로 비교하였다. 실험 결과, PiDiNet은 약 0.3~0.9 화소의 RMSE 값 분포를 보였으나 canny 기법에 비해 두꺼운 윤곽을 나타내어 일부 영상에서 미세하게 정확도가 저하되는 것을 확인하였다. 그러나 위성영상 내 특징적인 윤곽을 일관적으로 나타냄으로써 정합이 어려운 지역에서도 정합이 잘 수행되는 것을 확인하였다. 본 연구를 통해 윤곽 기반 정합 기법의 강인성을 개선하여 다양한 지역에서의 정합을 수행할 수 있을 것으로 예상된다.

Most very high-resolution (VHR) satellite images provide rational polynomial coefficients (RPC) data to facilitate the transformation between ground coordinates and image coordinates. However, initial RPC often contains geometric errors, necessitating correction through matching with ground control points (GCPs). A GCP chip is a small image patch extracted from an orthorectified image together with height information of the center point, which can be directly used for geometric correction. Many studies have focused on area-based matching methods to accurately align GCP chips with VHR satellite images. In cases with seasonal differences or changed areas, edge-based algorithms are often used for matching due to the difficulty of relying solely on pixel values. However, traditional edge extraction algorithms,such as canny edge detectors, require appropriate threshold settings tailored to the spectral characteristics of satellite images. Therefore, this study utilizes deep learning-based edge information that is insensitive to the regional characteristics of satellite images for matching. Specifically,we use a pretrained pixel difference network (PiDiNet) to generate the edge maps for both satellite images and GCP chips. These edge maps are then used as input for normalized cross-correlation (NCC) and relative edge cross-correlation (RECC) to identify the peak points with the highest correlation between the two edge maps. To remove mismatched pairs and thus obtain the bias-compensated RPC, we iteratively apply the data snooping. Finally, we compare the results qualitatively and quantitatively with those obtained from traditional NCC and RECC methods. The PiDiNet network approach achieved high matching accuracy with root mean square error (RMSE) values ranging from 0.3 to 0.9 pixels. However, the PiDiNet-generated edges were thicker compared to those from the canny method, leading to slightly lower registration accuracy in some images. Nevertheless, PiDiNet consistently produced characteristic edge information, allowing for successful matching even in challenging regions. This study demonstrates that improving the robustness of edge-based registration methods can facilitate effective registration across diverse regions.

1. 서론

위성영상의 활용 시장이 성장함에 따라 전처리 기술의 중요성이 부각되고 있다. 특히 다양한 원격탐사 응용분야에서는 화소 단위의 위치 정확도가 중요하게 고려된다(Lee and Yoon, 2019). 그러나 영상 취득 당시 지표면과 촬영 센서 간의 기하학적 특성이 영상마다 상이하여 이를 통일하는 정밀한 센서모델링이 필요하다. 대부분의 고해상도 위성영상은 영상좌표를 3차원 지리 좌표로 쉽게 변환하기 위해서 rational function model (RFM)을 구성하는 rational polynomial coefficients(RPC)를 제공한다. 그러나 초기 RPC에는 촬영 당시 센서의 자세 오차, 지형 효과, 지구의 자전 등 다양한 내외부 요인으로 인하여 오차가 존재한다(Park et al., 2021). 이로 인해 초기 RPC 정보를 활용하여 좌표변환을 수행하면 실제 위치로부터 약 5~50 화소의 차이가 발생한다. 이는 영상을 활용하기에 적합하지 않은 정확도이므로 좌표변환을 수행하기에 앞서 RPC의 보정이 필수적으로 선행되어야 한다.

일반적으로 RPC 보정은 지상좌표 정보가 포함된 데이터와 위성영상 간 정합을 통하여 수행한다. 위성영상과 ground control points(GCPs) 간 정합을 수행하기 위하여 scale-invariant feature transform(SIFT), normalized cross-correlation (NCC) 등 전통적인 특징 및 영역 기반 기법들이 RPC 보정 연구에 활용되었다(Kartal et al., 2018; Oh et al., 2022). 최근에는 딥러닝 기술의 발전으로 대량의 데이터 학습을 통하여 정확도가 향상된 딥러닝 기반 정합 방법론이 제안되었다. Wang et al. (2018)의 연구에서는 특징점을 중심으로 추출한 영상 패치를 학습하고 유사한 패치를 정합함으로써 딥러닝을 활용한 영역 기반 정합의 틀을 제안하였다. 이를 바탕으로 Hughes et al. (2020)은 이종 센서 간 영상 정합을 수행하는 3단계 네트워크를 제안하여 영상 상호등록 분야의 딥러닝 기술의 활용성을 향상시켰다. Li et al.(2021)은 사각형의 영상 패치를 주로 사용하던 관념에서 벗어나 영상의 무게중심을 이용한 템플릿 정합 방법을 제안하였다. 그러나 위와 같이 특정 영역 간 정합을 수행하는 연구들은 연구 목적에 맞는 학습 패치를 제작하기 어려운 문제가 존재하여 RPC 보정 연구에 직접 활용하는데 한계가 존재한다(Kim et al., 2023).

윤곽을 이용한 정합 기법은 영역 기반 정합기법의 일종으로 영상 내 존재하는 공통된 윤곽정보를 서로 정합하는 기술이다. 위성영상 내 3차원 지상좌표를 찾기 어려운 지역에서는 일반적인 포인트 정합의 성능이 낮기 때문에 relative edge cross-correlation (RECC)과 같이 윤곽 정보를 활용하여 정합을 수행하기도 한다(Oh et al., 2012). 그러나 전통적인 윤곽 기반 정합 기법은 윤곽 추출자의 임계치 설정에 따라 성능의 편차가 크게 나타나는 문제가 존재한다. Fig. 1과 같이 복잡한 곡선형 윤곽 정보가 다수 존재하는 산림 지역에서는 전통적인 기법의 임계치를 적합하게 설정하지 않았을 때 정합에 불필요한 정보가 함께 추출되므로 정합에 용이한 정보를 추출하기 위해서 Fig. 1(c)와 같이 특징적인 정보만을 추출하는 것이 유리하다.

Fig. 1. Comparison of edge detectors’ performance in mountainous areas: (a) original image, (b) result of canny edge detector, and (c) result of deep learning edge detector.

최근에는 Berkeley Segmentation Dataset 500 (BSDS500), visual object classes (VOC), common objects in context dataset (COCO) 등 윤곽 정보가 라벨링(labeling)된 오픈소스 데이터셋(open source dataset)이 제공되고 있으며, 이를 바탕으로 다양한 윤곽 추출 모델이 공개되었다. 이러한 딥러닝 모델은 영상 내 특징적인 윤곽 추출을 목적으로 하기 때문에 정합을 수행할 데이터 특성에 비교적 둔감하다. 따라서 본 연구에서는 RPC 보정을 수행하기 위한 딥러닝 기반 윤곽 추출 모델의 활용성을 분석하였다. 이를 위해 국내 지역을 촬영한 KOMPSAT-3A 영상에 항공정사영상을 기반으로 제작한 GCP chip을 투영하여 좌표를 일치시키고 윤곽 정보를 각각 추출하였다. 윤곽 추출을 위한 딥러닝 네트워크는 시인성이 높은 Su et al.(2021)의pixel difference network(PiDiNet)를 이용하여 연구를 수행하였다. 일반적인 이미지로 학습된 모델의 적용성을 평가하기 위하여 위성영상 및 GCP chip을 산림, 도심 지역으로 나누어 실험을 수행하였다. 윤곽 정보를 나타내는 확률맵과 이진맵을 각각 제작한 후, 상관관계 기법을 통하여 유사도를 비교하고 적절한 정합 위치를 도출하였다. 제안한 기법의 정합 위치를 기존에 사용하던 상관관계 정합 기법과 정성적으로 비교평가한 후, 오정합을 제거한 남은 참정합점으로 RPC 보정계수를 도출하여 정확도를 비교하였다.

2. 연구 자료 및 방법

본 연구에서는 윤곽 정보를 이용한 영상 정합 성능을 평가하기 위하여 Fig. 2와 같은 순서로 실험을 진행하였다. 먼저 위성영상의 초기 RPC 정보와 digital surface model (DSM)을 이용하여 GCP chip을 각 위성영상의 영상좌표로 투영한 후, 투영된 중심점 좌표를 기준으로 두 영상을 일정 크기로 자른다. 그 후 Su et al. (2021)에서 제안한 PiDiNet으로 두 영상의 윤곽 정보를 나타내는 확률맵(probability map)과 Otsu를 적용한 이진맵(binary map)의 형태로 나타낸다. 확률맵 및 이진맵에 대하여 영상 간 상관관계를 각각 분석하여 최적의 정합 위치를 도출하고 일반적인 상관관계 정합 기법과 성능을 비교하였다.

Fig. 2. Flowchart of the proposed method.

2.1. GCP Chip 생성 및 투영

GCP chip은 3차원 지상좌표가 포함된 정사영상 패치이다. 국토지리정보원 등 여러 기관에서 국가기준점 위치를 기반으로 GCP chip을 제작하여 제공하나 측량을 통해 제작되는 과정이 시간이 소요되고 해외 지역에서 제한되는 단점이 존재하기 때문에 항공영상 패치 등을 활용하여 GCP chip을 생성하는 방법론이 다양하게 소개되었다(Lee and Yoon, 2019; Oh et al., 2022, Oh et al., 2024).

Oh et al. (2024)에서 소개된 내용을 바탕으로 본 연구에서는 실험에 사용할 GCP chip을 제작하기 위하여 항공 정사영상에 Harris 알고리즘으로 특징점을 추출한 후 특성이 강인한 점을 영상 내에서 균등하게 선정하였다. Fig. 3(a)와 같이 선정된 특징점을 중심으로 1,027 × 1,027 크기의 영상을 자른 후 국토지리정보원에서 제공하는 5 m DSM의 높이 정보를 보간하여 지상좌표가 포함된 영상 패치를 제작하였다. 제작된 GCP chip의 지상좌표를 각 위성영상의 RPC 정보를 이용하여 영상좌표로 투영하면 Fig. 3(b)와 같이 대략적인 위치로 보정이 적용되지 않은 채 정합을 수행할 수 있다. 이 과정을 통하여 위성영상의 회전, 스케일링, 왜곡 등의 기하학적 특성을 반영하게 되고 정합을 위한 윤곽 정보의 위치 오차를 최소화할 수 있다.

Fig. 3. Example of GCP chip projection on satellite image. (a) GCP chip based on aerial ortho image. (b) GCP chip projected on satellite image.

본 연구에서는 KOMPSAT-3A로 촬영한 태백 지역 4장, 대전 지역 4장을 실험 영상으로 사용하였다. 모든 위성영상은 기하 오차가 포함된 panchromatic 1R 영상이다. 실험에 사용할 GCP chip을 생성하기 위해 태백, 대전 지역에 해당하는 203장의 항공정사영상과 DSM을 활용하였으며, Fig. 4와 같이 각 위성영상 내로 투영된 GCP chip은 모두 사용하였다. Table 1은 실험에 사용된 지역별 항공정사영상 및 생성된 GCP chip 개수, 위성영상의 제원과 투영된 GCP chip의 개수를 나타내었다.

Fig. 4. Distribution of GCP chip center points on the satellite image represented by red dots. Example of (a) Taebaek and (b) Daejeon region.

Table 1. Number of aerial images and GCP chips and satellite specifications

2.2. 딥러닝 기반 윤곽 정보 생성

윤곽 정보는 경계선을 따라 명암의 변화가 큰 지점을 의미한다. 영상에서 윤곽선은 인접 화소 간 2차원 미분을 통하여 밝기 변화율을 비교하고 기울기를 통한 공간적 변화량을 측정함으로써 추출할 수 있다. Robert, canny 기법 등 전통적인 윤곽 정보 추출자는 x, y 방향의 마스크를 적용하여 차분 연산을 통해 변화량을 검출하는 작업을 거친다. 그러나 명암 변화에 의존하는 추출자는 위성영상 내 존재하는 그림자, 구름 및 잡음 등 분광 정보가 변형된 지역에 취약하다. 특히 산림 지역의 경우, 불규칙적인 식생 분포로 인하여 명암 변화가 곡선형으로 빈번하게 발생하기 때문에 정합을 수행하기 위한 윤곽 정보 추출에 한계가 존재한다(Fig. 1).

최근에 다양한 분야에서 활용되는 딥러닝 기반의 윤곽 정보 추출자는 사람이 인식하는 윤곽선 정보가 라벨링 된 데이터를 바탕으로 학습을 수행한다. Su et al. (2021)의 연구에서 소개된 PiDiNet은 윤곽 정보가 라벨링 된 대량의 데이터셋으로 학습된 딥러닝 기반의 모델이다. 계산을 수행하는 로컬 패치(local patch)의 화소 값을 인접 화소 간 차이로 대체하여 화소 간 기울기 변화에 강인하게 계산을 수행한다(식 2). 일반적인 convolutional neural network (CNN)의 계산에서는 식(1)과 같이 랜덤한 가중치의 연산이 화소당 개별적으로 이루어지기 때문에 화소 간 연관성이 낮은 특징맵이 추출되지만, PiDiNet에서는 Fig. 5와 같이 pixel difference convolution (PDC)을 통해 연산을 수행하여 화소 간 관계를 보존하며 연산을 수행하기 때문에 간결하게 윤곽 정보를 추출할 수 있다.

y = f(x, 𝜃) = ∑^k×k_i=1ω_i × x_i       (1)

y = f(∇x, 𝜃) = ∑_{(xi, xi′)∈P} ω_i × (x_i – x′_i)       (2)

여기서, x_i, x′_i는 화소값, ω_i는 k×k 커널의 가중치이며 P={(x₁, x′₁), (x₂, x′₂), …, (x_m, x′_m)}는 로컬 패치에서 선택된 화소 쌍을 나타낸다(m≤k×k).

Fig. 5. Three instances of pixel difference convolution (Su et al., 2021).

PiDiNet으로 추출되는 특징맵은 입력 영상과 동일 크기로 0~255 사이의 확률맵으로 나타난다. 본 연구에서는 상관관계 분석에 적합한 특징맵을 비교평가하기 위하여 PiDiNet으로 출력한 확률맵에 Otsu 알고리즘을 적용하여 이진맵을 추가로 생성하였다. Otsu 알고리즘은 확률맵의 히스토그램(histogram) 을 계산하여 화소 값 분포의 분산이 최소가 되는 임계치를 설정함으로써 이진화를 수행한다. 따라서 제작된 이진맵은 Fig. 6와 같이 확률맵으로 나타난 윤곽 정보 중 특징적인 윤곽선만을 강조한다.

Fig. 6. Examples of converting probability maps into binary maps.

2.3. 입력영상에 따른 상관관계 분석

위에서 생성한 위성영상 및 GCP chip의 윤곽맵 간 유사도를 판별하기 위하여 cross-correlation 기반의 기법을 사용하였다. Cross-correlation은 영상 패치쌍이 생성한 신호 간 유사성을 분석하여 서로의 상관도를 계산하는 방법이다. Cross-correlation을 수행할 영상 패치의 크기가 서로 다를 시 일반적으로 템플릿 정합 방법과 Fourier 변환을 통한 주파수 영역에서의 정합 방법을 사용한다. 템플릿 정합은 패치의 공간 영역에서 바로 계산을 수행하는 방법으로 작은 패치를 큰 패치에서 이동시키며 유사도를 계산한다. 템플릿 정합은 직관적이고 작은 영역에서는 효과적으로 정합을 수행할 수 있으나 계산 비용이 높은 단점이 존재한다. 따라서 다수의 GCP chip을 생성한 본 연구에서는 적합하지 않다고 판단하였다. 유사도 분석을 수행하기 전, 영상 패치에 각각 Fourier 변환을 수행하면 영상 패치 내 화소 간 관계가 주기 함수의 합인 주파수 신호로 변환된다. 이를 통해 영상 패치 간 크기가 달라도 주파수 도메인에서 한 번의 계산만을 수행하여 영상 간의 유사성을 분석할 수 있다. 따라서 본 연구에서는 Fourier 변환을 통한 주파수 영역에서의 정합을 수행하였다.

본 연구에서는 2.2에서 생성한 윤곽맵을 NCC와 RECC의 입력영상으로 사용하였다. 각 기법마다 적합한 GCP chip의 정합 영역, 위성영상 내 탐색 영역, 유사도 임계치를 설정하여 Table 2에 정리하였다. 기존 NCC와 같이 일반 영상을 정합하는 기법에서는 영상 내 화소값이 중요하게 고려되기 때문에 정합을 수행하는 영역이 커지면 오정합이 될 확률이 높아진다. 그러나 윤곽맵을 기반으로 정합을 수행하는 기법에서는 윤곽 정보를 많이 포함하기 위해 정합 영역을 확장하여 정합을 수행하는 것이 유리하다. 특히 PiDiNet의 윤곽 정보는 특징적인 윤곽 정보를 국소적으로 나타내기 때문에 비교적 적은 정보로 정합을 수행한다. 따라서 윤곽 기반 정합 기법은 정합 및 탐색 영역을 크게 설정해주었다.

Table 2. Image size and similarity threshold for matching algorithms

각 알고리즘에 사용된 데이터 특성에 따라 유사도 임계치의 기준을 적용하였다. NCC는 식(3)과 같이 8-bit 형태의 입력 영상 간 유사도(p)를 –1~+1의 범위로 나타내어 유사도 임계치로 사용한다. 일반적으로 NCC의 임계치는 약 0.7 정도로 설정하나 본 연구에서는 위성영상과 항공 정사영상의 특성 차이를 고려하여 p를 0.5로 설정하여 p보다 낮은 영상 쌍을 제거하였다. Oh et al. (2012)에서 제안한 RECC는 두 영상 간 상관도맵의 극대값 밀집도를 판단하는 CV₄를 유사도 임계치로 사용한다. CV₄는 임계치가 가장 높은 위치와 다음으로 높은 상위 3개의 위치 간의 거리합을 4로 나눈 값이다(식 4). 정합이 잘 수행된 영상에서는 비슷한 위치에서 높은 유사도를 보이기 때문에 CV₄의 값이 낮을수록 정합 성공률이 높다. 그러나 Fig. 7처럼 PiDiNet의 상관도 맵은 canny 연산자의 상관도 맵보다 극대점(local maximum)이 뚜렷하게 나타나는 경향이 있기 때문에 Table 2와 같이 CV₄의 임계치를 작게 설정해주었다.

\(\begin{align}n c c=\frac{\sum_{i=1}^{w} \sum_{i=1}^{w}\left(L_{i j}-\bar{L}\right)\left(R_{i j}-\bar{R}\right)}{\sqrt{\left[\sum_{i=1}^{w} \sum_{i=1}^{w}\left(L_{i j}-\bar{L}\right)^{2}\right]\left[\sum_{i=1}^{w} \sum_{i=1}^{w}\left(R_{i j}-\bar{R}\right)^{2}\right]}}\end{align}\)       (3)

여기서, L, R은 각각 w×w 크기인 GCP chip의 정합 영역, 위성영상의 탐색 영역을 의미하며, \(\begin{align}\bar{L}\end{align}\), \(\begin{align}\bar {R}\end{align}\)은 L, R의 평균값을 나타낸다.

Fig. 7. Examples of correlation map extracted by each algorithm. (a) General image-based NCC. (b) PiDiNet edge-based NCC. (c) Canny edge-based RECC. (d) PiDiNet edge-based RECC.

\(\begin{align}C V_{4}=\frac{\sum_{i=1}^{4} \sqrt{\left(r_{\max }-r_{i}\right)^{2}+\left(c_{\max }-c_{i}\right)^{2}}}{4}\end{align}\)       (4)

여기서, (r_max, c_max), (r_i, c_i)는 RECC의 최대값과 i번째 값의 영상좌표를 나타낸다.

3. 연구 결과 및 토의

본 연구에서는 딥러닝 기반 윤곽 정보를 활용한 기하보정 기술의 적용 가능성을 분석하기 위하여 추출한 윤곽맵을 정성적으로 분석하고 기법별 정합 위치를 비교하였다. 그 후 높은 정확도를 가지는 영상 쌍에 대하여 모델링 정확도를 root mean square error(RMSE)를 이용하여 정량적으로 평가하였다.

3.1. GCP Chip 및 위성영상에서 PiDiNet의 강인성 분석

본 연구에서는 일반 영상으로 구성된 BSDS500과 VOC 데이터셋을 이용하여 학습된 PiDiNet을 사용하였다. Figs. 8, 9는 각각 GCP chip 및 위성영상에 윤곽 알고리즘을 적용한 결과이다. 비교적 시인성이 높은 GCP chip 패치에서는 실험에서 사용한 세 알고리즘 모두 특징적인 윤곽정보를 잘 추출하는 것을 확인하였다. Canny 기법은 non-maximum suppression (NMS)을 수행하여 도로, 식생 및 농경지 등의 윤곽 정보를 얇게 표현하였다. 이는 위성영상 내 비슷한 형태의 윤곽을 추출할 수 있다면 높은 정확도의 정합 위치를 도출할 수 있을 것으로 판단하였다. PiDiNet으로 출력한 윤곽맵은 canny 기법과 마찬가지로 비슷한 위치에서 정합에 용이한 윤곽 정보를 잘 나타내었다. 그러나 윤곽 정보를 확률맵으로 나타내는 PiDiNet의 특성으로 인해 canny 기법보다 두꺼운 형태의 윤곽을 나타내었다. Otsu를 적용한 이진 형태의 윤곽맵도 윤곽이 두꺼워지는 것을 확인하였다. 이는 정합 시 정확도를 낮추는 요인으로 작용할 것으로 사료된다.

Fig. 8. Examples of GCP chip edge information. (a) General image. (b) Canny edge map. (c) PiDiNet probability edge map. (d) PiDiNet binary edge map.

Fig. 9. Examples of satellite image edge information. (a) General image. (b) Canny edge map.(c) PiDiNet probability edge map. (d) PiDiNet binary edge map.

위성영상 패치는 GCP chip 패치에 비해 시인성이 낮으며 더 많은 정보를 포함한다. 산림, 도심, 농경지 등 지역에 따라 영상 특성이 상이하게 나타나며, canny 기법을 적용하면 임계치 설정에 따라 추출되는 윤곽 정보의 편차가 크게 나타난다(Fig. 9b). 그러나 PiDiNet으로 출력한 윤곽맵은 대부분의 영상에서 균등하게 윤곽 정보를 추출하였다(Figs. 9c, d). PiDiNet은 특징적인 윤곽 정보만을 대략적으로 나타내기 때문에 위성영상 패치에서 canny 기법보다 정합에 용이한 윤곽을 추출하는데 강점을 보이는 것으로 판단하였다.

3.2. 촬영 지역에 따른 정합 알고리즘 별 적용성 분석

생성한 GCP chip 및 위성영상 패치를 각 기법에 적용하여 최적의 정합 위치를 도출하였다. Fig. 10은 산림 지역에서 Table 2의 유사도 임계치를 만족한 패치쌍의 정합 위치와 상관도맵을 나타낸다. 2.1장에서 소개한 과정을 통해 GCP chip이 위성영상의 대략적인 위치로 투영되었기 때문에 위성영상의 중앙 지점을 크게 벗어난 패치는 오정합쌍으로 간주하였다.

Fig. 10. Matching results according to algorithms in the mountainous area. (a) General image-based NCC. (b) Canny edge-based RECC. (c) PiDiNet edge based-NCC. (d) PiDiNet edge based-RECC.

Fig. 10(a)는 영상 패치를 입력영상으로 사용하여 NCC 기법으로 정합을 수행한 결과이다. 영상 패치 내 중앙 화소값이 그림자로 인하여 일부가 훼손되어 정합에 실패하였다. 기존 NCC의 상관도맵을 분석한 결과, 최댓값과 유사한 local maximum이 여러 지점에서 발생하는 것을 확인하였다. Canny 기법을 활용하는 기존 RECC 기법에서는 GCP chip 내 불필요한 윤곽 정보가 많이 추출되고 위성영상에서는 너무 적은 윤곽 정보가 추출되었다(Fig. 10b). 특히 산림 지역에서는 식생에 따른 곡선형의 빈번한 분광 차이가 많이 발생하여 canny 기법으로는 정확한 윤곽 정보를 추출하지 못하는 영상 쌍이 많은 것을 확인하였다. 그러나 PiDiNet으로 추출한 윤곽맵에서는 GCP chip 및 위성영상에서 양질의 윤곽 정보를 활용하여 정합을 수행하였다(Fig. 10c). 그림자 뒤에 숨은 특징정보도 낮은 확률로 표현하는 PiDiNet의 특성이 정합의 성공 요인으로 작용한 것으로 판단한다. Fig. 10(d)와 같이 Otsu 알고리즘을 이용하여 이진맵으로 변환한 영상 쌍에서도 도로 및 식생 변화에 따른 중요한 윤곽 정보 외에 잡음을 제거하여 효과적으로 정합을 수행하였다.

Fig. 11은 도심 지역에서 취득된 영상 패치쌍에 알고리즘들을 적용한 결과이다. 위성영상과 GCP chip 간 분광 특성이 크게 상이하기 때문에 영상 패치를 입력영상으로 사용하여 정합을 수행하는 NCC 기법에서는 정합점을 찾지 못하였다(Fig. 11a). Fig. 11(b)에서는 canny 기법 기반의 윤곽맵 내에 많은 잡음으로 인하여 적절한 정합 위치를 찾지 못하였다. GCP chip에서도 도로 및 농경지의 직선 형태의 윤곽 정보 등 정합에 용이한 윤곽 정보를 추출하는 데 실패하였다. 영상 패치의 품질이 좋지 않기 때문에 PiDiNet 기반의 기법에서도 위성영상 내 윤곽 정보가 크게 훼손되었으나, 일부만의 윤곽 정보로 GCP chip의 매칭 위치를 찾는 데 성공하였다(Figs. 11c, d). Fig. 11과 같이 기존 기법으로 정합을 수행하기 어려운 지역에서는 PiDiNet의 특징적인 윤곽정보를 활용하여 높은 정합 성공률을 달성하였다.

Fig. 11. Matching results according to algorithms in the urban area. (a) General image-based NCC. (b) Canny edge-based RECC. (c) PiDiNet edge-based NCC. (d) PiDiNet edge-based RECC.

대부분의 영상 패치에서 PiDiNet을 활용한 기법 간 성능이 크게 차이 나지 않았다. 그러나 윤곽 정보가 복잡하거나 너무 적은 영상 패치 쌍에서는 서로 다른 위치로 정합된 사례가 존재하였다. Fig. 12는 그림자로 인하여 정보가 훼손된 영상에서 PiDiNet 기반의 정합 예시이다. PiDiNet의 확률맵 기반의 정합에서는 GCP chip 내 불필요한 윤곽 정보가 많이 추출됨에 따라 잘못된 위치로 정합이 수행되었다. 그러나 Otsu 기법을 통해 이진맵으로 변환한 영상에서는 GCP chip에 존재하는 불필요한 정보를 제거하여 정확한 위치로 정합이 수행되었다. 복잡한 윤곽 정보가 추출되는 영상에서는 PiDiNet 기반의 이진맵이 중요한 정보를 강조하고 노이즈를 제거함으로써 정합 성능을 개선하는 것을 확인하였다.

Fig. 12. Comparison of PiDiNet edge-based matching results. (a) GCP chip. (b) Search space on satellite images. (c) Result of edge probability map. (d) Result of edge binary map.

각 알고리즘별 참정합점의 강인성을 평가하기 위해서 정확도가 높은 영상 패치쌍을 정제하고 변환모델을 구성하여 정합된 위치의 RMSE를 도출하였다. 먼저 참정합쌍이 30개 이하가 남을 때까지 data snooping을 반복하여 오정합쌍을 제거하였다. Data snooping의 통계 임계치는 0.9로 설정하였고, 30개가 남기 전에 제거할 오정합쌍이 없을 경우에는 반복을 멈추도록 설계하였다. 그 후 오정합쌍을 제거한 참정합점을 8:2의 비율로 나누었다. 약 24개의 점으로 변환모델식을 구성한 후, 약 6개에 해당하는 점을 활용하여 변환모델식의 오차를 계산하였다. Table 3은 각 알고리즘별 검사점으로 도출한 RMSE와 모델링에 사용한 점의 개수이다. 기존에 사용하던 상관관계 기법에서는 8개의 영상에서 RMSE의 편차가 0.3~2.5 화소로 크게 나타났다. 특히 canny 기법을 사용하는 기존의 RECC 기법에서는 태백 지역에서의 정확도가 크게 떨어지는 것을 확인하였다. 이는 산림 지역의 식생 분포로 인하여 영상 패치 특성에 따라 추출되는 윤곽 정보의 차이가 크게 나타나는 canny 기법의 한계로 판단된다.

Table 3. The number of GCP chips used in modeling and RMSE results according to matching algorithms for each image

그러나 대전 지역에서는 canny 기법을 활용한 RECC 기법이 정확도가 가장 우수한 것으로 나타났다. 건물, 도로, 농경지 등 세부적인 직선 형태의 윤곽 정보가 많은 영상 패치쌍에서는 윤곽이 얇게 나타나는 canny 기법이 장점을 나타내는 것으로 판단된다. PiDiNet을 활용한 기법에서는 전체적으로 약 0.3~0.9 화소로 기존 기법보다 안정적인 결과를 추출하였다. PiDiNet의 윤곽 정보는 위성영상 내 그림자, 구름, 노이즈 등에 둔감하여 일관적으로 강인한 특징정보만을 추출하기 때문에 영상별 편차가 작게 나타난 것으로 판단한다. 정량적 비교 결과, 도심 지역의 RECC 기법을 제외한 대부분의 영상에서 PiDiNet은 기존 기법에 비해 높은 정확도를 보였으나 정확도가 저하된 일부 영상이 존재한다. 이는 윤곽 정보가 두꺼운 형태로 추출되기 때문에 정밀도가 떨어지는 것으로 판단된다.

4. 결론

본 연구에서는 딥러닝 기반의 윤곽 정보 추출 네트워크를 RPC 보정에 활용하기 위하여 위성영상과 GCP chip 간 윤곽을 추출하여 상호 등록을 수행하였다. PiDiNet의 윤곽맵은 NCC 기법과 RECC 기법의 입력데이터로 활용되었고, 특성에 맞는 영상 크기 및 임계치를 설정하여 정합을 수행하였다. 또한 data snooping을 반복 적용하여 오정합쌍을 제거한 양질의 정합쌍으로 RMSE를 계산하여 기존 기법과 비교평가를 수행하였다. 실험 결과, PiDiNet 윤곽 정보는 도로, 건물, 농경지, 식생 등 특징이 강한 윤곽 정보를 추출하고 비교적 적은 노이즈를 포함하기 때문에 기존 기법으로 정합이 어려운 산림 지역에서 강점을 보이는 것을 확인하였다.

특히 그림자로 인하여 화소값이 일부 손실된 지역에서도 기존 기법으로는 정합에 실패하였으나 PiDiNet으로 높은 정합률을 나타내었다. 그러나 본 연구에서 사용한 PiDiNet은 해상도가 높은 일반적인 영상으로 학습하였기 때문에 항공영상이나 위성영상에 적용하였을 때 두꺼운 형태의 윤곽이 출력되었다. 이로 인해 세부적인 윤곽 정보가 많은 도심 지역에서 정합을 수행할 시 윤곽이 얇게 나오는 canny 기법보다 성능이 낮은 한계가 존재하였다.

본 연구에서 목표로 수행하는 RPC 보정은 서브픽셀(subpixel) 단위의 높은 정확도를 요구하지만 두꺼운 형태로 출력되는 PiDiNet 기법의 윤곽 정보를 개선하지 못한 한계가 존재한다. 이를 해결하기 위해서는 윤곽 정보가 라벨링된 위성영상 패치를 이용하여 모델을 전이 학습하는 연구가 필요할 것으로 판단된다. 또한 본 연구에서 독립적인 검사점이 아닌 data snooping을 통과한 일부의 점을 이용하여 제안 모델의 강인성을 평가하였다. 따라서 절대적인 정확도를 분석하기 위해서는 측량이나 지상좌표 정보가 포함된 타 데이터로 검사점을 제작하여 검증을 추가로 수행해야 할 것으로 사료된다.