Development of the Precision Image Processing System for CAS-500

국토관측위성용 정밀영상생성시스템 개발

Abstract

Recently, the Ministry of Land, Infrastructure and Transport and the Ministry of Science and ICT are developing the Land Observation Satellite (CAS-500) to meet increased demand for high-resolution satellite images. Expected image products of CAS-500 includes precision orthoimage, Digital Surface Model (DSM), change detection map, etc. The quality of these products is determined based on the geometric accuracy of satellite images. Therefore, it is important to make precision geometric corrections of CAS-500 images to produce high-quality products. Geometric correction requires the Ground Control Point (GCP), which is usually extracted manually using orthoimages and digital map. This requires a lot of time to acquire GCPs. Therefore, it is necessary to automatically extract GCPs and reduce the time required for GCP extraction and orthoimage generation. To this end, the Precision Image Processing (PIP) System was developed for CAS-500 images to minimize user intervention in GCP extraction. This paper explains the products, processing steps and the function modules and Database of the PIP System. The performance of the System in terms of processing speed, is also presented. It is expected that through the developed System, precise orthoimages can be generated from all CAS-500 images over the Korean peninsula promptly. As future studies, we need to extend the System to handle automated orthoimage generation for overseas regions.

고해상도 위성영상의 수요 증가로 국토교통부와 과학기술정보통신부에서 국토관측위성을 개발하고 있다. 국토관측위성의 주요 위성영상 산출물로 정밀보정영상, 정밀정사영상, DSM/DTM, 변화탐지 주제도 등이 계획되어 있다. 이러한 위성영상 산출물의 품질은 위성영상의 기하정확도에 기반하여 결정된다. 따라서, 고품질의 위성영상 산출물을 생성하기 위해 위성영상의 기하학적인 왜곡을 보정하는 것이 중요하다. 또한, 정밀기하수립을 위한 GCP를 취득하는 방법은 대체로 정사영상, 수치지도 등을 이용하여 수동으로 취득한다. 이 방식은 GCP를 취득하는데 많은 시간이 요구된다. 따라서, 자동으로 GCP를 추출하여 GCP 취득 시간과 정밀정사영상 생성 시간을 줄이는 것이 필요하다. 이를 위해, 국토관측위성으로 촬영한 위성영상의 정밀한 기하보정과 GCP 추출 시 사용자의 개입을 최소화할 수 있는 정밀영상생성시스템을 개발하였다. 본 논문은 국토관측위성용으로 개발된 정밀영상생성시스템의 산출물, 처리 과정 및 시스템 구성에 대해서 설명하고 개발된 시스템의 처리시간 성능에 대해서 기술한다. 본 시스템을 통해 개발된 기술과 데이터베이스를 활용하여 한반도를 촬영한 모든 국토관측위성영상으로부터 신속하게 정밀정사영상을 생성할 수 있을 것으로 기대된다. 향후, GCP DB와 DEM DB의 데이터를 해외지역으로 확장하여 해외지역의 정밀영상을 생성할 수 있는 후속 연구가 필요하다.

1. 서론

국내 고해상도 위성영상의 수요증가로 국토부에서는 국토관측위성을 개발하고 있다. 국토관측위성 1호와 2호는 차세대 중형위성(Compact Advanced Satellite 500, CAS-500) 시리즈 중의 하나로 5개의 밴드(Panchromatic, Red, Green, Blue, NIR)와 전정색: 0.5 m, 다중분광영상:2.0 m의 Ground Sampling Distance(GSD)를 갖는 위성이다. 국토관측위성은 두 위성이 180도의 위상차로 위성궤도를 이동하며 지상을 촬영하는 특징을 갖고 있으며 2021년에 발사하는 것을 목표로 하고 있다. 국토관측위성의 위성영상 산출물로 정밀보정영상, 정밀정사영상, Digital Surface Model(DSM)/Digital Terrain Model(DTM), 변화탐지 주제도, 객체 추출 주제도 등을 생성한다. 이러한 산출물을 활용하여 국토 모니터링, 3차원 공간정보 구축 등 여러 분야에 활용될 것으로 기대하고 있다.

위성영상 산출물의 품질은 위성영상의 기하정확도에 기반하여 결정된다. 따라서, 고품질의 위성영상 산출물을 생성하기 위해 정밀기하수립 및 정사보정으로 위성영상이 초기에 갖고 있는 위치오차와 위성영상 촬영 과정에서 발생하는 기복변위를 제거하여 위성영상의 기하정확도를 높이는 것이 중요하다. 대표적인 정밀기하수립 방법으로 유리함수모델(Rational Function Model, RFM)과 지상기준점(Ground Control Point, GCP)를 이용한 번들조정(BundleAdjustment) 방법이 있다(Grodecki and Dial, 2003). 이 방법은 RFM 보정 모델을 설정한 후 GCP를 이용하여 RFM 보정 계수를 산출하여 센서모델을 보정하게 된다. 정밀기하수립에 사용하는 GCP는 대체로 기 제작된 정사영상이나 수치지도를 사용하여 육안으로 추출한다. 그러나, 이러한 방식으로 GCP를 추출하는 것은 많은 시간을 요구하여 다량의 위성영상을 기하보정 하는 것에 적절하지 않다. 이를 개선하기 위한 방법으로 GCP 칩을 이용한 자동 GCP 추출 방법에 대한 연구가 수행되었다(Yoon, 2019; Kim and Im, 2003; Wong and Clausi, 2007; Shin et al., 2019). 또한, 위성영상의 기하보정이 탑재된 일부 국내외 SW 들에도 영상정합을 통한 자동 GCP추출 기능을 보유하고 있다. 그러나 기존 기술 및 SW들은 자동 GCP 추출에 필수적으로 요구되는 고밀도 GCP DB 구축과 처리대상 위성영상에 특화된 영상정합 기술의 부재로 많은 양의 위성영상의 정밀정사보정에 적용하는 데에 한계가 있다. 이러한 이유로 이제까지 국내에서 발사된 저궤도 지구관측위성의 정밀정사영상 제작이 원활히 이루어지지 못하는 한계점이 있다.

따라서, 본 연구는 기존 정밀영상 제작방식의 단점을 보완하여, 국토위성센터로 입력된 위성영상으로부터 정밀영상을 생성하는 단계까지 사용자의 개입을 최소화하여 동작하는 국토관측위성용 정밀영상생성시스템을 개발하였다. 개발된 시스템은 GCP 생성, 정밀기하수립 및 정밀정사보정 기능을 자동화된 방식으로 수행할 수 있다. 이를 위해서 Pan-Sharpening 알고리즘을 적용한 영상융합 모듈과 한반도 전역에 고르게 분포된 정밀 기준점 DB 및 DEM DB를 구축하여 시스템에 탑재하였다.

본 논문은 2장에서 정밀영상생성시스템의 산출물을 설명하며, 3장에서는 시스템 처리 절차에 대해서 설명한다. 4장에서는 시스템을 구성하는 모듈과 데이터베이스에 대해 설명하고 시스템의 처리 속도에 대해서 기술한다.

2. 정밀영상생시스템 산출물

국토관측위성용 정밀영상생성시스템은 기하보정이 완료된 영상을 생성하기 위해, 표준영상(L1R)을 입력 받아 정밀보정영상(L2R) 및 정밀정사영상(L2G)을 생성한다(Shin and Kim, 2019). Table 1에 정밀영상생성시스템의 입력 및 출력영상의 명칭 및 처리단계를 정리하였다. 표준영상은 위성의 물리적 센서모델로부터 추정한 Rational Polynomial Coefficient(RPC)를 제공하는 복사보정이 완료된 영상이다(Lee et al., 2013). 정밀보정영상은 표준영상에서 제공하는 초기 RPC의 위치오차를 정밀기하수립을 통해 제거한 영상으로 표준영상과 동일한 격자구조를 갖는 위성영상과 보정된 RPC를 제공한다. 본 시스템으로 제작한 정밀보정영상의 산출물은 Table 2와 같다.

Table 1. Type of CAS-500 imagery

Table 2. List of L2R outputs

정밀정사영상은 위성영상 촬영 시 발생한 기복변위를 제거하기 위해 DEM을 이용하여 정사보정을 수행한 영상이다. 정밀정사영상 산출물은 Table 3과 같으며, 저해상도 다중분광영상(Red, Green, Blue, NIR), 전정색영상과 함께 영상융합된 고해상도 다중분광영상(PS-Red, PS-Green, PS-Blue, PS-NIR)을 제공한다.

Table 3. List of L2G outputs

3. 정밀영상생성시스템 처리 과정

국토관측위성용 정밀영상생성시스템의 처리 과정은 Fig. 1과 같다. 먼저, 정밀영상 생성을 위한 작업지시서가 입력된다. 작업지시서는 Table 4와 같이 작업지시서 ID, 표준영상이 저장된 입력영상 경로, 최종 산출물 출력 경로, 처리 단계로 구성되어 있으며, 작업지시서의 내용을 읽어 입력영상과 처리 단계를 설정한다.

Table 4. Components of workorder

Fig. 1. Process of Precision Image Processing System.

작업지시서 입력 후, 영상융합 모듈에서 영상융합을 수행하게 된다(Park et al., 2019). 영상융합 후, GCP DB 와 자동 GCP 칩 추출 모듈을 이용하여 입력영상 영역에 포함되는 GCP 칩을 검색하고 입력영상과 영상정합을 통해 GCP 후보점을 추출한다. GCP 후보 추출이 완료 되면, RFM 기반의 Random Sample Consensus(RANSAC) 을 통해 오정합점을 제거하고 최종 GCP를 추출하여 정밀기하수립 모듈로 GCP를 전달한다. 이후, GCP가 제공하는 영상좌표(col, row)와 지상좌표(X, Y, Z)를 이용하여 정밀기하수립을 수행하고 입력영상의 초기 위치오차를 제거한 정밀보정영상을 생성한다. 정밀기하수립 후, DEM DB와 정사보정 모듈을 이용하여 정사보정을 통해 정밀보정영상에 포함된 기복변위를 제거하고 정밀정사영상을 생성한다.

본 시스템을 구성하는 각 모듈과 데이터베이스에 대한 설명은 다음 장에 기술하였다.

4. 정밀영상생성시스템 구성

1) 영상융합 모듈

영상융합은 Pan-Sharpening 알고리즘을 통해 저해상도 다중분광 영상과 고해상도 전정색 영상의 상관관계를 분석하여 고해상도 다중분광 영상을 제작하는 것이다(Park et al., 2019). 선행 연구 결과로 영상융합을 통해 자동 GCP 추출 과정에서 GCP 칩과 위성영상 간의 영상정합 성능을 높일 수 있는 결과를 얻었다(Shin et al., 2018). 따라서, 본 시스템에서 자동 GCP 추출 성능을 개선하기 위해 영상융합 모듈을 구축하여 자동 GCP 추출의 전처리 단계로 영상융합을 수행하였다.

본 모듈에서 구축한 영상융합 모듈의 Pan-Sharpening 알고리즘은 다중분광 영상으로부터 각 밴드의 차분을 통해 밴드별 고주파 성분을 추출한다는 점에서 Component substitution(CS) 융합 기법들과 유사하다(Oh, 2017; Shin et al., 2018). 본 모듈의 실행 절차는 Fig. 2와 같다.

Fig. 2. Process of Pan-Sharpening algorithm.

먼저, 고해상도 전정색 영상을 이용하여 저해상도 다중분광 영상의 밴드별 가중치를 계산한다. 두번째, 저해상도 다중분광 영상에 내삽기법을 적용하고, 앞서 계산된 밴드별 가중치를 고려하여 저주파 전정색 영상을 제작한다. 세번째, 고해상도 전정색 영상으로부터 저주파 전정색 영상을 차분하여 고주파 전정색영상을 제작한다. 네번째, 고해상도 다중분광 영상 제작을 위해, 전단계에서 제작한 고주파 전정색 영상의 화소값을 변환하여 내삽된 다중분광영상의 각 밴드별 평균 및 분산과 동일한 밴드별 융합계수를 계산한다. 마지막으로, 계산된 밴드별 융합계수를 이용하여 고해상도 다중분광 영상을 제작한다.

2) GCP DB

본 시스템에서 구축한 GCP DB는 국토관측위성용 GCP 칩을 데이터베이스화하여 관리한다. GCP 칩은 이미 알고 있는 지상좌표와 위성영상, 항공영상 등의 영상을 결합한 것으로, 지상좌표를 영상의 중심점으로 설정하여 일정한 크기로 자른 영상조각을 의미한다(Lee and Yoon, 2019). 본 시스템에서 사용하는 GCP 칩은 국토관측위성을 위해 제작한 GCP 칩으로, 남한 23,142점, 북한 25,205점과 접경지역 1,539점의 GCP칩을 제작하였다. 이 GCP 칩의 사양은 Table 5와 같으며, 지상좌표로 남한은 국가기준점인 통합기준점, 삼각점과 NGII (National Geographic Information Institute, 국토지리정보원)의 기본도 제작에 사용한 사진기준점을 사용하였다. 북한과 접경지역은 기 구축된 KOMPSAT-2 정사영상에서 독취한 수평 좌표와 NGII의 DEM과 지오이드 (Geoid)를 이용한 높이를 지상좌표로 사용하였다. GCP 칩 영상으로 남한은 NGII의 항공정사영상을 사용하였으며, 북한과 접경지역은 국방지형정보단의 Controlled Image Base(CIB) 영상을 사용하였다.

Table 5. Specification of GCP Chip in the Korea Peninsula

제작된 GCP 칩의 관리를 위해 Fig. 3과 같이 기준점 정보를 갖는 기준점 테이블과 칩 영상의 정보를 갖는 칩 영상 테이블로 GCP 칩을 분리하였다. 기준점과 칩 영상의 정보를 서로 연결하기 위해 관리 테이블을 생성하여 두 정보의 관계를 관리한다. 향후, 이 관리 테이블을 이용하여 기준점과 GCP 칩 영상의 갱신 시 기준점과칩 영상의 결합 관계를 새로 정의할 수 있다.

Fig. 3. Structure of GCP database.

3) 자동 GCP 추출 모듈

자동 GCP 추출 모듈은 입력된 위성영상의 정밀기하 수립에 사용할 GCP를 추출하는 모듈로, 위성영상과 GCP 칩 간의 영상정합을 통해 GCP를 추출한다. 자동 GCP 추출을 위한 절차는 Fig. 4와 같다.

Fig. 4. Process of automatic GCP extraction.

먼저, 영상융합 모듈에서 영상융합이 완료된 위성영상을 입력 받아 초기 RPC와 RFM을 이용하여 초기 센서 모델을 수립한다. 두번째, 초기 센서모델을 이용하여 위성영상 외곽점의 지상좌표(X, Y)를 계산하고 GCP DB 에서 위성영상 영역 내에 포함된 GCP 칩을 추출한다. 세번째, GCP 칩 외곽점(Top-Left, Top-Right, Bottom-Left, Bottom-Right)의 지상좌표를 계산한다. 이후, 외곽점의 지상좌표를 초기 센서모델을 이용하여 위성영상의 영상좌표로 역투영하고 보간법을 이용하여 GCP칩과 위성영상의 기하를 일치시킨다. 네번째, 기하변환된 GCP 칩의 크기와 설정한 검색 영역의 크기에 따라 입력 위성영상에서 영상정합을 수행할 영역을 추출한다. 다섯번째, 영상을 단계적으로 축소시킨 피라미드 영상을 생성하고 최상위 레벨에서부터 GCP 칩과 위성영상 간 정합점을 추출한 다음 추출된 정합점을 활용하여 두 영상을 정합한다. 마지막으로, 영상정합 시 활용된 정합점을 GCP로 활용하기 위해 RFM 기반의 RANSAC을 활용하여 정합점에 포함된 오정합점을 제거함으로써 최종 GCP를 추출한다.

4) 정밀기하수립 모듈

정밀기하수립 모듈은 국토관측위성의 정밀기하수립을 위해 RFM과 GCP를 이용하여 정밀 센서모델을 수립하는 기능을 수행한다. 본 모듈에서 사용한 RFM 보정방법은 RPC를 직접 갱신하는 것이 아닌, 초기 RFM 에 보정 계수를 추가하는 방법으로 RFM을 보정하였다 (Grodecki and Dial, 2003; Yoon and Kim, 2018). 이 방식은, RPC를 직접 갱신하는 방법에 비해 정밀 센서모델링에 필요한 GCP의 수량이 적어, GCP를 취득하는데 필요한 시간과 노력을 줄일 수 있다. RFM 보정 모델은 1차 다항식, 2차 다항식 등 여러 방식이 있으나, 선행 연구를 바탕으로 Affine Model이 적용된 1차 다항식을 사용하였다(Jeong et al., 2014; Yoon et al., 2018). 본 시스템의 정밀기하수립 모듈을 Fig. 5와 같은 절차로 제작하였다.

Fig. 5. Process of bias compensation.

먼저, 표준영상에서 제공하는 RPC를 이용하여 초기 센서모델을 수립하였다. 다음으로, 초기 센서모델을 보정하기 위해 수식 (1)과 같은 RFM 모델을 설정하였다. 수식에서 a₀, a_r, a_c, b₀, b_r, b_c은 미지변수인 RFM 보정 모델의 보정 계수를 의미하며, Δr과 Δc는 보정 모델로 계산한 row 방향과 column 방향의 조정량을 의미한다. 조정량을 산출하기 위해, 자동 GCP 추출 모듈을 통해 획득한 GCP로 관측방정식을 수립한 후, 최소제곱법을 통해 RFM 보정모델의 보정계수를 계산하고 row 방향과 column 방향의 조정량을 산출하였다.

\(\begin{array}\Delta r = a_0 + a_r \cdot r_k +a_c \cdot c_k \\ \Delta c =b_0 +b_r \cdot r_k +b_c \cdot c_k\end{array}\)     (1)

이후, 초기 RFM에 조정량을 더해 초기 센서모델을 보정한 후 갱신된 RPC를 생성하였다.

5) DEM DB

위성영상의 정사보정을 위해서는 지표면의 고도를 알 수 있는 DEM이 미리 구축되어 있어야 한다. DEM DB에 저장된 자료는 지오이드와 DEM으로 구성되며, 위성영상 촬영 지역에 따라 서로 다른 DEM과 지오이드를 사용하여 높이값을 계산한다. 본 시스템에서 구축한 DEM DB 목록은 Table 6과 같다. 한반도를 촬영한 위성영상의 정사보정을 위해 NGII에서 제작한 DEM과 지오이드를 사용하였으며, 각 자료에 해당하지 않는 영역에 대해서는 Shuttle Radar Topography Mission(SRTM) 자료를 사용하였다.

Table 6. Specifications of DEM and Geoid model in DEM DB

6) 정사보정 모듈

본 시스템의 정사보정 모듈은 DEM을 이용하여 정밀 영상의 기복변위를 제거한 정밀정사영상을 제작한다. 정밀정사영상 생성을 위한 절차는 Fig. 6과 같다.

Fig. 6. Process of orthorectification.

먼저, DEM DB에서 위성영상 영역에 해당하는 DEM과 지오이드를 검색하기 위해 정밀 센서모델를 이용하여 위성영상 외곽점 4점의 지상좌표(X, Y)를 계산하고 DEM DB에서 위성영상 영역에 해당하는 DEM과 지오이드를 추출한다. 다음으로, 정밀 센서모델을 이용해 정밀보정영상의 격자를 지도좌표계상의 정규격자로 변환하여 정밀정사영상의 격자를 생성하고 DEM과 지오이드를 생성된 정밀정사영상의 격자 크기에 맞추어 높이 값을 보간한다. 이후, 보간된 높이값과 정밀 센서모델을 이용하여 정밀정사영상 격자에 보간된 정밀보정영상의 화소값을 입력함으로써 정밀보정영상을 생성한다.

7) 시스템 처리 속도

본 절에서는 국토관측위성용 정밀영상생성 시스템의 산출물별 처리 시간을 측정하고 생성된 산출물을 소개한다. 본 시스템의 각 모듈은 C++로 개발되었으며, 데이터베이스는 PostgreSQL을 이용하여 구축하였다. 시험을 위해 사용한 하드웨어의 사양은 Table 7과 같다.

Table 7. Specifications for used H/W

본 시험을 위해, 북한 2장, 접경지역 4장, 남한 6장의 영상을 이용하여, 정밀보정영상 및 정밀정사영상을 생성하였다. 국토관측위성이 아직 발사되지 않았으므로, 국토관측위성과 유사한 사양을 갖는 KOMPSAT-3A 위성영상을 시험영상으로 사용하였다. Fig. 7은 시험에 사용한 입력영상의 분포를 나타낸다.

Fig. 7. Distribution of used image.

본 시험을 통해 Fig. 8의 L2R, L2G와 같은 산출물을 생성하였다. Fig. 8는 생성한 산출물을 확대한 그림으로 L1R은 시험을 위해 사용한 입력영상, L2R과 L2G는 시스템 산출물인 정밀보정영상과 정밀정사영상이다. L2R은 L1R의 RPC를 정밀기하수립을 통해 갱신한 영상으로 Fig. 8의 L1R과 L2R의 영상은 동일하나 Fig. 9와 같이 센서 모델의 오차가 줄어든 것을 확인할 수 있다. Fig. 9는 센서모델 오차를 나타내는 그림으로 L1R은 초기 RPC를 이용하여 센서모델을 수립한 결과로 센서모델 오차가 한 방향으로 경향성을 보이며 오차의 크기는 10pixel 이상이다. 반면, 갱신된 RPC를 이용하여 센서모델을 수립한 L2R에서는 오차의 방향이 불규칙하며 오차의 크기 또한 감소한 것을 확인할 수 있다(생성한 산출물의 위치정확도 분석은 별도의 논문으로 분석한다).

Fig. 8. Example images by output level.

Fig. 9. Visualization of sensor model error in image-space.

L2G는 L2R의 갱신된 RPC와 DEM을 이용하여 정사보정한 영상으로 Fig. 8에서 L1R, L2R 영상과 기하특성이 다른 것을 확인할 수 있다.

Table 8은 입력영상별 산출물 생성시간을 나타내며, 산출물 처리 시간을 측정하기 위해, 시스템에 입력영상이 입력된 시점부터 각 단계별 산출물 생성까지 걸린 시간을 측정하였다. 시험 결과, 위성영상의 입력부터 정밀보정영상 생성까지 약 10분, 정밀정사영상 생성까지 약 25분의 시간이 걸릴 것으로 판단된다.

Table 8. Result of measured system processing time

5. 결론

본 논문은 국토관측위성용으로 개발된 정밀영상생성시스템에 대해서 소개하였다. 정밀영상생성시스템의 정규 산출물로 표준영상의 위치오차를 제거한 정밀보정영상과 위성 촬영기하에 따른 기복변위를 제거한 정밀정사영상을 생성한다. 이 산출물들은 위성영상의 기하학적 왜곡을 제거하여 정밀한 기하정확도를 갖는 영상으로 변화탐지, 국토모니터링, 디지털트윈 등 여러 분야에 활용될 수 있는 기초자료로 사용할 수 있다.

또한, 본 시스템은 한반도 전역을 대상으로 GCP칩을 구축하고 GCP칩과 위성영상의 영상정합 기법을 활용한 자동 GCP 추출 기능을 구현하였다. 이를 통해 수동으로 GCP를 추출하는 기존 방식의 단점을 획기적으로 보완하여, 국토관측위성으로부터 촬영된 모든 위성영상에 대해서 자동화된 방식으로 정밀정사영상으로 제작하여 사용자에게 제공할 수 있는 토대를 마련하게 되었다.

향후, 본 과제를 통해 개발한 자동 GCP 추출 알고리즘과 GCP DB를 국토관측위성과 유사한 사양을 갖는 저궤도 관측위성에도 적용할 수 있을 것으로 생각된다. 본 시스템을 개발하면서 구축한 현재의 GCP DB와 DEM DB의 적용범위는 한반도이나, 향후 해외지역에도 자동화된 방식으로 정밀정사영상을 제작하기 위한 연구가 필요하다고 생각된다.