Determination of Spatial Resolution to Improve GCP Chip Matching Performance for CAS-4

농림위성용 GCP 칩 매칭 성능 향상을 위한 위성영상 공간해상도 결정

Abstract

With the recent global and domestic development of Earth observation satellites, the applications of satellite images have been widened. Research for improving the geometric accuracy of satellite images is being actively carried out. This paper studies the possibility of automated ground control point (GCP) generation for CAS-4 satellite, to be launched in 2025 with the capability of image acquisition at 5 m ground sampling distance (GSD). In particular, this paper focuses to check whether GCP chips with 25 cm GSD established for CAS-1 satellite images can be used for CAS-4 and to check whether optimalspatial resolution for matching between CAS-4 images and GCP chips can be determined to improve matching performance. Experiments were carried out using RapidEye images, which have similar GSD to CAS-4. Original satellite images were upsampled to make satellite images with smaller GSDs. At each GSD level, up-sampled satellite images were matched against GCP chips and precision sensor models were estimated. Results shows that the accuracy of sensor models were improved with images atsmaller GSD compared to the sensor model accuracy established with original images. At 1.25~1.67 m GSD, the accuracy of about 2.4 m was achieved. This finding lead that the possibility of automated GCP extraction and precision ortho-image generation for CAS-4 with improved accuracy.

최근 국내외에서 많은 지구관측위성들이 발사됨에 따라서 위성영상의 활용 분야가 넓어지고 있고 이에 따라서 위성영상의 기하정확도 향상을 위한 연구가 활발히 수행되고 있다. 본 논문은 2025년에 발사예정인 5 m 해상도 영상을 촬영할 수 있는 농림위성을 위한 자동기준점 추출 가능성을 파악하기 위해서 수행되었다. 특히 본 연구에서는 국토위성용으로 구축된 25 cm 해상도의 지상기준점 Chip을 농림위성영상에 사용할 수 있는지를 검토하고 농림위성영상용 지상기준점 추출 시 정합 성능 향상을 위한 적절한 공간해상도가 있는지를 검토하고자 한다. 실제 실험은 농림위성영상과 유사한 사양을 가진 RapidEye 위성영상을 활용하여 연구를 수행하였다. 먼저, 5 m 해상도의 원본 RapidEye 영상을 3배~7배로 분할하여 여러 해상도를 가진 영상으로 만들고, 해상도를 가지는 지상기준점 Chip은 크기를 축소하여 위성영상의 해상도에 맞게 조절하였다. 각각의 해상도를 가지는 위성영상과 지상기준점 Chip을 매칭하고 이 결과로 수립된 정밀센서모델의 정확도를 분석하였다. 분석결과 5 m의 원본 해상도에서 정합하는 것보다 위성영상의 해상도를 높여서 정합하는 것이 개선된 정확도를 보여주었다. 특히, 원본 영상을 1.25~1.67 m 해상도로 분할하여 지상기준점 Chip과 정합 할 경우 평균 약 2.74 m 내외의 위치정확도를 얻을 수 있었다. 본 연구결과가 향후 농림위성영상의 자동기준점 추출 및 정밀정사영상 생산에 활용될 수 있을 것으로 기대한다.

1. 서론

최근 국내 우주산업에 대한 관심 증가로, 4차 산업혁명 기술과 융합된 기술로 우주 산업의 개발이 가속화되고 있다(Ahn et al., 2020). 정부는 이러한 위성 산업의 기대에 부응하기 위해, 차세대중형위성 개발 사업으로 차세대중형위성 1호~5호의 개발을 추진 중에 있다(Kang and Lim, 2015). 2025년에 발사될 예정인 차세대중형위성 4호는 농림위성으로 5 m 해상도로 120 km 이상의 넓은 지역을 촬영할 수 있는 위성이며, 농경지 모니터링, 산림자원 모니터링 등에서 활용될 예정이다(Baek and Lee, 2020).

기술의 발전과 융합으로 위성영상의 활용 분야가 넓어짐에 따라, 위성영상 기하정확도 향상을 위해 정밀센서모델 수립을 위한 연구가 활발히 수행되어 왔다(Lee et al., 2020; Jeong et al., 2014; Im et al., 2002). 일반적으로, 정밀센서모델 수립을 위해서는 높은 정확도를 가지는 지상기준점이 필요하다. 그러나, 지상기준점은 보편적으로 수동적 방법을 통해 추출되므로 시간 및 경제적으로 비효율적이다. 따라서 위성영상을 효율적으로 활용 하기 위해서는 자동화된 지상기준점 추출기술 개발은 필수적으로 수행되어야 하는 과업 중 하나이다. 2021년 3월에 발사된 차세대중형위성 1호기인 국토위성을 위해서 자동기준점 추출기술 및 자동 정밀정사영상 생성 기술이 개발되었다(Yoon, 2019; Lee and Oh, 2014). 정밀 정사영상 생성기술에서 50 cm의 해상도를 가진 국토위 성영상의 자동 지상기준점 추출을 위해, 통합기준점 등의 지상측량점과 측량점 주변의 25 cm 해상도 항공정사영상을 이용하여 지상기준점 Chip DB를 구축하였다 (Park et al., 2020). 국토위성영상이 촬영되면 영상과 지 상기준점 Chip을 매칭하여 촬영된 영상의 지상기준점 을 자동으로 추출하고 이를 이용하여 정밀정사영상을 생성하게 된다.

본 연구는 5 m 해상도를 가지는 농림위성영상의 자동기준점 추출 가능성을 파악하기 위해서 수행되었다. 특히 본 연구에서는 국토위성용으로 구축된 25 cm 해상도의 지상기준점 Chip을 농림위성영상에 사용할 수 있는지를 검토하고 농림위성영상용 지상기준점 추출 시 정합 성능 향상을 위한 적절한 공간해상도가 있는지를 검토하고자 한다. 이를 위해 본 논문에서는 농림위성영상과 유사한 사양을 가진 RapidEye 위성영상을 활용하여 연구를 수행하였다. 먼저, 5 m 해상도의 원본 RapidEye 영상을 분할하여 5 m(1배)~0.71 m(7배)의 해상도를 가진 영상으로 만들고 25cm 해상도를 가지는 지 상기준점 Chip은 크기를 축소하여 위성영상의 해상도에 맞게 조절하였다. 각각의 해상도를 가지는 위성영상과 지상기준점 Chip을 매칭하고 이 결과로 수립된 정밀 센서모델의 정확도를 분석하였다. 위성영상과 GCP Chip의 정합알고리즘으로는 영역기반 영상 정합 기술을 사용하였다. 영역기반 영상 정합 기법은 영상 내 통곗값 및 유사도를 계산하여 정합점을 추출하는 알고리즘이다(Cideciyan et al., 1992; Zheng and Chellapa, 1993.) 때문에, 영상 내 구조적인 특징 없이 정합점 추출이 가능하다. 본 연구에서는 영역기반 영상정합 알고리즘으로 ZNCC(Zero-Mean Normalized Cross Correlation)과 CT(Census Transform)을 조합한 피라미드 정합기법을 적용하였다 (Kim et al, 2018; Fischler and Bolles, 1981).

2. 실험 방법

논문에서 적용한 실험방법은 Fig. 1에 따라 수행하였으며, 각 단계의 다음의 설명과 같다. 우선 5 m 해상 도의 원본 RapidEye 위성영상을 분할하여 각기 다른 해상도를 가지는 여러 영상을 제작하고 원본 영상과 함께 제공된 RPC(Rational Polynomial Coefficient) 파일도 각각의 해상도에 맞게 변환하였다. 그 다음, 각각의 해상도 영상별로 지상기준점 Chip과 정합하여 자동으로 지상기준점을 추출한다. 세 번째, 각 해상도별로 추출된 지상기준점을 이용하여 각각의 해상도에 맞게 변환된 RPC파일의 보정계수를 추정하여 정밀센서모델을 수 립한다. 끝으로 각각의 해상도별로 수립된 정밀센서모델의 정확도를 분석하고 이를 3배 변환한 해상도를 기준으로 한 정확도로 변환한다.

Fig. 1. Flow of Experiment.

첫 번째 단계인 영상해상도 및 RPC 파일변환 단계에서는 먼저 5 m 해상도인 위성영상을 분할하여 5.0 m, 2.5 m, 1.67 m, 1.25 m, 1.0 m, 0.83 m, 0.71 m의 해상도로 변환 한다. 그리고 각각의 해상도로 변환된 영상에 적용하기 위해서 원본 영상의 RPC 파일을 수정한다. 영상과 함께 제공되는 RPC 파일에는 RPC계수와 영상 및 지상좌표 정규화 계수로 구성되어 있다. 영상의 해상도 변환으 로 영상의 촬영기하가 변하는 것이 아니므로 RPC 계수는 해상도 변환과 무관하며 영상 정규화 계수를 수정하면 변환된 해상도에 맞도록 초기센서모델을 수립할 수 있다. 영상좌표의 정규화에는 다음과 같은 수식이 적용된다.

\(\operatorname{Col}_{n}=\frac{\operatorname{Col}-C o l_{\text {Offet }}}{\operatorname{Col}_{\text {Scale }}}\)       (1)

\(R o w_{n}=\frac{R o w-R o w_{\text {Offset }}}{R o w_{\text {Scale }}}\)       (2)

식 (1)과 식 (2)에서 Col과 Row는 위성영상의 영상 좌 표를 의미하고, Col_n, Row_n는 정규화된 영상좌표를 의미한다. Col_Offset , Col_Scale, Row_Offset , Row_Scale은 RPC 파일에서 제공하는 정보이다. 이 때, 위성영상의 공간해상도를 r 배 변환한다면 아래와 같은 식으로 표현된다. 즉 5 m 공 간해상도 영상을 2.5 m 해상도로 변환한다면 0.5배 변환 하는 것으로 r = 0.5를 적용할 수 있다.

\(r \times Col = Col'\)       (3)

\(r \times Row = Row'\)       (4)

두 식을 대입하여 정리하면 r배 변환된 영상의 정규화 계수는 다음과 같이 나타낼 수 있다.

\(\text { Col }_{\text {Offset }}^{\prime}=r \times \operatorname{Col}_{\text {Offset }} \quad C o l_{\text {Scale }}^{\prime}=r \times C o l_{\text {Scale }}\)       (5)

\(\text { Row }_{\text {Offset }}^{\prime}=r \times \text { Row }_{\text {Offset }} \text { Row }_{\text {Scale }}^{\prime}=r \times \text { Row }_{\text {Scale }}\)       (6)

두번째 단계는 해상도별로 영상과 지상기준점 Chip의 정합을 수행하는 단계이다. 이를 위해서 Fig. 2와 같은 정합 및 지상기준점 추출 절차를 적용하였다.

Fig. 2. Flow of extracting GCP algorithm.

우선, 위성영상과 RPC, GCP chip을 입력한다. 다음으로, 입력 받은 RPC를 이용해 초기센서모델을 수립한 뒤, 위성영상의 영역에 맞추어 위성영상 내부에 존재하는 GCP Chip을 검색한다. 이후에 GCP Chip의 영역에 버퍼를 적용하여 위성영상을 Sampling 한다. 이때, GCP Chip을 위성영상의 촬영기하 및 해상도와 유사하게 Resampling을 수행한다. 마지막으로, 영상 Patch를 4단 계로 피라미드 영상을 제작한 뒤, 최상위층부터 영상 정합 알고리즘을 적용하여 지상기준점을 추출한다. 마 지막 층 레이어에서 Census 알고리즘을 적용하였고, 이를 제외한 나머지 층에는 ZNCC 알고리즘을 적용하 였다. 자동 추출된 지상기준점 중에는 존재하는 오정합 점을 RANSAC(Random Sample Consensus) 기법을 이용 하여 자동으로 제거(Fischler and Bolles, 1981)하고 공간 해상도별 정밀센서모델을 수립하였다.

세 번째 단계는 해상도별로 수립된 정밀센서모델의 정확도를 분석하는 단계이다. 객관적으로 정밀센서모델의 위치정확도를 측정하기 위해 영상 내 균일한 분포를 갖도록 검사점을 수동으로 취득하였다.

네 번째 단계는 해상도별로 수립된 정밀센서모델을 3배 해상도로 변환하고 3배 해상도를 기준으로 정확도를 분석하는 단계이다. 이를 위해서는 첫번째 단계에서 설명한 영상좌표 정규화 계수를 역으로 변환하여 사용하였다.

3. 실험자료

본 논문에서는 농림위성영상 정밀센서모델링에 적합한 GCP chip의 공간해상도를 분석하기 위해 농림위 성영상의 특성과 유사한 RapidEye 위성영상을 실험영상으로 활용하였다. GCP chip은 국토위성용 정밀정사 영상 생성 시스템 개발에 구축되었던 25 cm급 항공정 사영상을 활용하였으며, 세부사항은 Table 1과 같다.

Table 1. Specification of RapidEye image

Table 2. Specification of GCP Chip

연구 지역으로는 지리적 특성을 고려하여 천안, 인천, 양구지역을 촬영한 영상을 사용하였고, 사용한 RapidEye 위성영상과 분포는 Fig. 3, 4와 같다. 또한, 각 위성영상 별 RapidEye의 사양은 Table 3에 나타내었다.

Fig. 3. Satellite Image of Cheonan, Incheon, Yanggu.

Fig. 4. Distribution of images.

Table 3. Specification of RapidEye image used for experiment

다음은 각 위성영상에 사용된 GCP Chip의 분포 및 수량을 나타내었다. 천안에서는 총 1304개의 GCP Chip 을 사용하였고, 인천에서는 총 1828개, 양구에서는 총 1602개의 GPC Chip을 사용하였다. GCP Chip은 Fig. 5와 같고, 분포는 Table 4와 같이 하얀 점으로 나타내었다.

Fig. 5. Sample of GCP Chips.

Table 4. Distribution of used GCP Chips

4. 실험 결과

앞서 설명한 실험지역에 대한 RapidEye 위성영상을 이용하여 원본 영상을 분할하여 공간상도를 1배~7배 로 향상시켜서 실험 영상을 구성하였다.

농림위성영상과 GCP Chip 정합 성능 향상을 위해 적 절한 공간해상도를 결정하고자 한다. 본 논문에서는 Initial Accuracy(초기센서모델 정확도), Model Accuracy (정밀센서모델 정확도), Check Accuracy(정밀센서모델 검사점 정확도). 정합성공률을 성능 지표로 정합 성능 을 측정하였다. 또한, 지상의 수평 정확도를 계산하기 위해, 측정된 정확도에 각 공간해상도를 곱하여 절대정 확도(m)를 계산하였다. 초기센서모델 정확도는 위성영상과 함께 제공된 초기 RPCs로 초기센서모델을 수립한 뒤, 추출된 GCP에 대하여 측정한 정확도이다. 정밀센서 모델 정확도는 추출된 GCP를 사용하여 초기센서모델 을 보정한 뒤, 모델점들에 대한 정확도이다. 정밀센서모 델 정확도는 수동으로 보정한 검사점을 균일한 분포를 갖도록 독취하고, 모델점에서 제외시켜 모델에 사용하 지 않은 검사점들에 대하여 측정한 정확도이다. Table 5 은 RapidEye 위성영상의 공간해상도를 1~7배로 변환하 여 하여 위치정확도를 측정한 결과이다. 각각의 해상도 영상에 대해서 적용된 지상기준점 Chip 개수, RANSAC 과정을 통해서 추출된 최종 지상기준점 수 및 최종 정 합성공률(Inlier Rate)을 측정하였다. 그리고 각각의 해 상도 영상에 대해서 초기센서모델 정확도(I_Acc), 지상 기준점을 이용하여 수립한 정밀센서모델의 정확도 (M_Acc)를 측정하였다. 이때, 모두 3배 변환한 영상에 서 취득한 검사점을 기준으로 설정하여 각 해상도 스케 일을 변환하여 계산하였다. 이때, 육안으로 검사점 취득 시, 3배 변환 영상에서 취득한 검사점이 원본영상에서 취득한 검사점보다 정확하였고, 또 영상을 여러 단계로 downscaling 시 계산된 공간해상도와 원본의 공간해상도의 차이가 매우 크다는 점이 원본영상을 기준영상으로 설정하지 못하는 이유가 된다. 각각의 해상도에서 수 립된 센서모델을 3배 해상도의 영상으로 변환하여 3배 해상도에서의 정밀센서모델 정확도(OM_Acc(pixel)) 및 검사점 정확도(OC_Acc(pixel))를 측정하였다. 또한 픽셀단위로 산출된 검사점 정확도에 픽셀 해상도를 적용 하여 절대정확도(OC_Acc(m))를 산출하였다.

Table 5. Measurement image matching performance of RapidEye by GSD (Cheonan = A , Incheon = B, Yanggu = C)

Fig. 6. Change patterns of Cheonan’s image matching performance.

Fig. 7. Change patterns of Incheon’s image matching performance.

Fig. 8. Change patterns of Yanggu’s image matching performance.

Table 5의 공간해상도별 성능 측정결과를 살펴보면, 공간해상도를 향상시킬수록 정밀센서모델 정확도 (OM_Acc)와 정합 성공률(Inlier_Rate)이 모두 향상되 었다. 각각의 해상도에서 수립된 정밀센서모델 정확도 (OC_Acc)는 원본 해상도의 정밀센서모델 정확도에 비해 향상되었고, 각각의 해상도에서 3배 해상도의 센서 모델로 변환하여 원본영상의 검사점으로 측정한 검사 점 정확도는 3배~4배 해상도를 가질 때 가장 좋은 정확도를 얻었다. 기존 공간해상도(5.0 m)의 정합 성능 결과는 평균 7.83 m의 정밀센서모델 정확도(OC_Acc(m))를 가지지만, 위성영상을 3배~4배 Downscaling 한 경우, 약 65% 향상된 평균 2.74 m의 검사점 정확도(OC_Acc(m)) 가 측정되었다. 다음은 위 정합 결과를 지역별 그래프 로 나타낸 결과이다.

위 세 그래프를 살펴보면 세 지역에서 공통적으로 3~4배의 비율로 변환하였을 때 가장 검사점 정확도가 우수한 결과를 얻을 수 있었다. 다음은 천안의 원본영 상과 3배 변환영상의 초기센서모델 정확도(I_Acc), 정 밀센서모델 정확도(M_Acc), 3배의 센서모델로 변환한 검사점 정확도(OC_Acc(pixel))를 plot으로 나타낸 결과 이다.

Fig.9~11에서파란점이모델점, 빨간 선의 방향은 이 격이 발생한 방향이며, 그크기는이격(오차)의크기이다. 위세그림에서확인할수있듯, 원본해상도의영상보

Fig. 9. Initial Error Plot of Cheonan’s 5.0 m GSD image (left) and 1.6 m GSD image (right).

Fig. 10. Model Error Plot of Cheonan’ s 5.0 m GSD image (left) and 1.6 m GSD image (right).

Fig. 11. Check Error Plot of Cheonan’ s 5.0 m GSD image (left) and 1.6 m GSD image (right).

Fig. 9~11에서 파란점이 모델점, 빨간선의 방향은 이격 이 발생한 방향이며, 그 크기는 이격(오차)의 크기이다. 위 세 그림에서 확인할 수 있듯, 원본 해상도의 영상보다 3배 확대한 영상의 위치정확도가 우수한 것을 확인 할 수 있다

위 정합 성능 측정 결과들에 따라, 실험에 사용한 천안, 인천, 양구 모두에서 공간해상도를 향상시킬수록 정밀 센서모델 정확도(OM_Acc)가 향상되는 결과를 얻을 수 있었다. 특히, 공간해상도를 3배~4배 향상시킨 영상을 활용해 지상기준점 Chip 매칭을 적용한 경우, 원본영상 의 검사점 정확도(OC_Acc(m))에 비해 65% 향상된 2.74 m의 검사점 정확도(OC_Acc(m))를 얻을 수 있었다. 이 는 위성영상을 지상기준점 Chip의 공간해상도에 맞추 어서 설정할 때 우수한 검사점 정확도를 얻을 수 있지 만, 위성영상을 과하게 분할하는 것은 정합 성능에 큰 도움이 되지 않는 것으로 판단된다.

5. 결론

본 논문에서는 2025년 발사 예정인 농림위성과 가장 사양이 유사한 RapidEye 위성영상을 활용하여 농림위 성영상과 GCP Chip간 정합 성능 향상을 위한 적절한 공간해상도를 결정하고자 하였다. 또한, 원본 해상도 위성영상을 분할하여 각 공간해상도 별 정합 성능을 측정하였다. 실험결과 국토위성용으로 개발된 25 cm급의 정 밀항공정사영상으로부터 구축한 지상기준점 Chip을 활용하는 경우 원본영상을 분할하여 공간해상도를 향상시키면 원본 영상을 그대로 정합에 사용하는 것보다 정밀센서모델의 정확도를 향상시킬 수 있는 것으로 나타났다. 특히, 3배~4배 향상시킨 영상에서 지상기준점 Chip 정합을 수행한 경우, 65%의 성능 향상 결과를 얻었다. 이를 통해, 본 연구는 농림위성영상의 정밀정사영상의 기하보정 성능과 위치정확도 연구에 활용될 수 있을 것으로 보인다. 또한, 본 연구에서는 실험지역에 포함된 모든 GCP Chip을 사용하였지만, 향후 연구로는 GCP Chip의 수량을 절감하여 동일한 결론이 도출되는지 분석이 필요하다.