Analysis of Applicability of RPC Correction Using Deep Learning-Based Edge Information Algorithm

딥러닝 기반 윤곽정보 추출자를 활용한 RPC 보정 기술 적용성 분석

Most very high-resolution (VHR) satellite images provide rational polynomial coefficients (RPC) data to facilitate the transformation between ground coordinates and image coordinates. However, initial RPC often contains geometric errors, necessitating correction through matching with ground control points (GCPs). A GCP chip is a small image patch extracted from an orthorectified image together with height information of the center point, which can be directly used for geometric correction. Many studies have focused on area-based matching methods to accurately align GCP chips with VHR satellite images. In cases with seasonal differences or changed areas, edge-based algorithms are often used for matching due to the difficulty of relying solely on pixel values. However, traditional edge extraction algorithms,such as canny edge detectors, require appropriate threshold settings tailored to the spectral characteristics of satellite images. Therefore, this study utilizes deep learning-based edge information that is insensitive to the regional characteristics of satellite images for matching. Specifically,we use a pretrained pixel difference network (PiDiNet) to generate the edge maps for both satellite images and GCP chips. These edge maps are then used as input for normalized cross-correlation (NCC) and relative edge cross-correlation (RECC) to identify the peak points with the highest correlation between the two edge maps. To remove mismatched pairs and thus obtain the bias-compensated RPC, we iteratively apply the data snooping. Finally, we compare the results qualitatively and quantitatively with those obtained from traditional NCC and RECC methods. The PiDiNet network approach achieved high matching accuracy with root mean square error (RMSE) values ranging from 0.3 to 0.9 pixels. However, the PiDiNet-generated edges were thicker compared to those from the canny method, leading to slightly lower registration accuracy in some images. Nevertheless, PiDiNet consistently produced characteristic edge information, allowing for successful matching even in challenging regions. This study demonstrates that improving the robustness of edge-based registration methods can facilitate effective registration across diverse regions.

대부분의 고해상도 위성영상은 rational polynomial coefficients (RPC) 정보를 제공하여 지상좌표와 영상좌표 간 변환을 수행한다. 그러나 초기 RPC에는 기하학적 오차가 존재하여 ground control points (GCPs)와의 정합을 통해 보정을 수행하여야 한다. GCP chip은 항공정사영상에서 추출한 높이 정보가 포함된 작은 영상 패치(patch)이다. 많은 선행연구에서는 영역 기반 정합 기법을 사용하여 고해상도 위성영상과 GCP chip 간 정합을 수행하였다. 계절적 차이나 변화된 지역이 존재하는 영상에서는 화소값에 의존하는 정합이 어렵기 때문에 윤곽 정보를 추출하여 정합을 수행하기도 한다. 그러나 일반적으로 사용하는 canny 기법으로 정합에 용이한 윤곽을 추출하기 위해서는 위성영상의 분광 특성에 적절한 임계치를 설정해주어야 하는 문제가 존재한다. 따라서 본 연구에서는 위성영상의 지역별 특성에 둔감한 윤곽 정보를 활용하여 RPC 보정을 위한 정합을 수행하고자 한다. 이를 위해 딥러닝 기반 윤곽 정보 추출 네트워크인 pixel difference network (PiDiNet)를 활용하여 위성영상과 GCP chip의 윤곽맵(edge map)을 각각 생성하였다. 그 후 생성된 윤곽맵을 normalized cross-correlation과 relative edge cross-correlation의 입력데이터로 대체하여 영역 기반의 정합을 수행하였다. 마지막으로 RPC 보정에 필요한 변환모델 계수를 도출하기 위하여 data snooping 기법을 반복적으로 적용하여 참정합쌍을 추출하였다. 오정합쌍을 제거한 참정합쌍에 대해 root mean square error (RMSE)를 도출하고 기존에 사용하던 상관관계 기법과 결과를 정성적으로 비교하였다. 실험 결과, PiDiNet은 약 0.3~0.9 화소의 RMSE 값 분포를 보였으나 canny 기법에 비해 두꺼운 윤곽을 나타내어 일부 영상에서 미세하게 정확도가 저하되는 것을 확인하였다. 그러나 위성영상 내 특징적인 윤곽을 일관적으로 나타냄으로써 정합이 어려운 지역에서도 정합이 잘 수행되는 것을 확인하였다. 본 연구를 통해 윤곽 기반 정합 기법의 강인성을 개선하여 다양한 지역에서의 정합을 수행할 수 있을 것으로 예상된다.