A Study to Improve the Classification Accuracy of Mosaic Image over Korean Peninsula: Using PCA and RGB Indices

한반도 모자이크 영상의 분류 정확도 향상 기법 연구: PCA 기법과 RGB 지수를 활용하여

Abstract

Korea Aerospace Research Institute produces mosaic images of the Korean Peninsula every year to promote the use of satellite images and provides them to users in the public sector. However, since the pan-sharpening and color balancing methodologies are applied during the mosaic image processing, the original spectral information is distorted. In addition, there is a limit to analyze using mosaic images as mosaic images provide only Red, Green and Blue bands excluding Near Infrared (NIR) band. Therefore, in order to compensate for these limitations, this study applied the Principal Component Analysis (PCA) technique and indices extracted from R, G, B bands together for image classification and compared the classification results. As a result of the analysis, the accuracy of the mosaic image classification result was about 67.51%, while the accuracy of the image classification result using both PCA and RGB indices was about 75.86%, confirming that the accuracy of the image classification result can be improved. As a result of comparing the PCA and the RGB indices, the accuracy of the image classification result was about 64.10% and 74.05% respectively. Through this, it was confirmed that the classification accuracy using the RGB indices was higher among the two techniques, and implications were derived that it was important to use high quality reference or supplementary data. In the future, additional indices and techniques are needed to improve the classification and analysis results of mosaic images, and related research is expected to increase the utilization of images that provide only R, G, B or limited spectral information.

한국항공우주연구원에서는 위성영상의 활용 증진과 활용 활성화를 위하여 매년 한반도 모자이크 영상을 제작하여 공공분야 사용자에게 제공하고 있다. 그러나 해당 영상은 모자이크 과정에서 영상 융합 및 컬러 밸런싱의 과정을 거치기 때문에 본래의 분광 정보가 왜곡되어 있다. 또한 모자이크 영상은 Near Infrared (NIR) 밴드를 제외한 Red, Green, Blue 밴드만 제공하고 있기 때문에 해당 모자이크 영상을 활용하여 영상을 분석하는 데 한계가 존재한다. 따라서 이러한 한계점을 보완하고자 본 연구에서는 주성분분석(Principal Component Analysis, PCA) 기법과 R, G, B 밴드를 활용한 지수를 추출하여 영상 분류를 수행하고, 그 결과를 비교해 보았다. 분석 결과, 모자이크 영상의 분류 결과 정확도는 약 67.51%인 반면, PCA 기법과 RGB 지수를 모두 함께 활용한 영상 분류 결과의 정확도는 약 75.86%로 나타나 PCA와 RGB 지수를 함께 활용하면 영상 분류 결과의 정확도를 향상시킬 수 있는 것을 확인하였다. PCA 기법과 RGB 지수 활용 기법을 비교한 결과, PCA 기법만 활용하였을 때의 영상 분류 결과 정확도는 약 64.10%로 나타났으며, RGB 지수만 활용했을 때의 영상 분류 결과 정확도는 약 74.05%로 나타났다. 이를 통해 두 기법 중에서는 RGB 지수를 활용한 분류 정확도가 더 높게 나타나는 것을 확인할 수 있었으며, 양질의 보조 정보를 활용하는 것이 중요하다는 시사점을 도출할 수 있었다. 추후 모자이크 영상의 분류 및 분석결과를 향상시키기 위한 추가적인 지수 및 기법 개발이 필요할 것으로 생각되며, 관련 연구를 통해 모자이크 영상 및 제한된 분광 정보만을 제공하는 영상의 활용도를 높일 수 있을 것으로 기대된다.

1. 서론

한국항공우주연구원에서는 전 세계적인 위성개발 트렌드에 발맞춰 위성의 소형화 및 군집화를 추진해 나가고 있다. 이와 더불어 최근의 뉴스페이스 시대에는 위성의 개발 뿐만 아니라 위성영상 활용의 중요성도 날로 증대되고 있는 추세이다(Logue and Pelton, 2019; Înce, 2020). 이에 한국항공우주연구원에서도 사용자가 좀 더 편리하고 쉽게 위성영상을 활용하기 위한 다양한 지원과 노력이 이루어지고 있으며, 이러한 지원의 일환으로 공공분야 사용자들에게 매년 한반도 모자이크 영상을 제작하여 배포하고 있다. 한반도 모자이크 영상은 한 해 동안 아리랑위성 시리즈인 KOMPSAT-2, 3, 3A 위성으로 촬영한 한반도 영상 및 해외 위성영상을 모두 활용하여 제작되고 있다. 이처럼 다양한 위성에서 취득된 영상을 모자이크 영상으로 제작하면서 영상 융합 및 컬러 밸런싱 등의 과정을 거치게 되고, 이로 인해 본래의 분광 정보가 왜곡되어 있다는 특징이 있다. 그러나 위성영상을 활용하여 분류를 수행할 때에는 각 영상 밴드의 분광 정보를 활용하기 때문에 이처럼 왜곡된 분광 정보를 활용하여 분류를 수행할 경우 정확도가 낮아질 수 있다. 이와 더불어 사용자에게 Near Infrared (NIR) 밴드를 제외한 Red, Green, Blue 세 개의 밴드만 제공하기 때문에 모자이크 영상을 활용하여 영상 분류 등 다양한 분석을 하는 데 한계가 존재한다. 그러나 이러한 한계를 극복하기 위한 노력들이 시도되고 있으며, Red, Green, Blue 세 개의 밴드에서 추출한 지수를 활용할 경우 영상분류의 정확도를 높일 수 있다는 연구도 이루어지고 있다(Upadhyay et al., 2016; Moon and Lee, 2021).

따라서 본 연구에서는 기존의 Red, Green, Blue 밴드에서 추출한 지수를 활용하는 것과 더불어 여러 밴드를 활용하여 다른 차원의 주요 정보만을 추려내는 PCA 기법을 함께 활용할 경우 영상 분류의 정확도를 높일 수 있을지 해당 기법을 적용해보고자 하였다. 주로 PCA 기법은 여러 데이터의 차원을 감소시켜 주요 속성만을 뽑아내는 기법이기 때문에 주로 다중분광 및 초분광 영상분석에 주로 활용되고 있다(Gharbia et al., 2014; GómezPalacios et al., 2017; Rai et al., 2020). 그러나 본 연구에서는 모자이크 영상이 R, G, B 밴드만을 제공함에도 불구하고, 해당 R, G, B 밴드에서 주성분을 추출하여 영상 분석을 수행하였을 때 과연 더 나은 결과를 제공할 수 있을지 살펴보고자 하였다.

2. 연구 자료 및 방법

1) 모자이크 영상 자료

본 연구에서는 대전광역시 유성구, 대덕구, 동구 일대와 충청북도 청주시 서원구와 상당구를 포함하고 있는 한반도 모자이크 영상을 활용하였으며, 모자이크 영상의 제작연도는 2019년도이다. 모자이크 영상을 제작하는 데 활용한 KOMPSAT-2, 3, 3A 및 해외위성의 공간해상도는 각각 1 m, 0.7 m, 0.55 m 등으로 다양하기 때문에 이를 1 m로 리샘플링하여 모자이크 영상을 제작한다. 이렇게 제작된 한반도 모자이크 영상의 통판은 도엽 단위로 배포하고 있으며, 본 연구에서 활용한 모자이크 영상의 도엽 번호는 367102이다. Fig. 1은 연구지역의 위치와 범위를 나타내고 있으며, 연구지역의 범위는 약 12 × 14.6 km로 면적은 약 175.2 km²이다.

Fig. 1. Study area.

본 연구에 활용한 모자이크 영상의 제원은 Table 1에 정리되어 있다.

Table 1. Specification of satellite image

2) 영상 처리

영상 분석에 앞서 필요한 전처리 과정은 본 연구에서 생략할 수 있었는데, 이는 한국항공우주연구원에서 제공하는 모자이크 영상이 이미 전처리를 포함하여 정사보정까지 완료된 영상이기 때문이다. 따라서 본 연구에서는 바로 영상 분할을 수행할 수 있었다. 본 연구에서 필요한 R, G, B 밴드를 활용한 지수 추출은 ENVI 4.8을 활용하였으며, 이를 제외한 PCA 레이어 추출, 영상 분할 및 분류, 정확도 평가는 eCognition Developer 10.1을 활용하여 분석하였다. 최종적으로 모자이크 단일 영상, 모자이크 + PCA 기법, 모자이크 + RGB 지수, 모자이크 +PCA + RGB 지수까지 총 네 종류의 데이터셋을 구축하여 분석을 수행하였으며, 모자이크 단일 영상과 비교하여 보조 정보를 활용할 경우의 분류 결과를 비교하였다.Fig. 2는 본 연구의 흐름을 나타낸 것이다.

Fig. 2. Workflow of the study.

(1) 영상 분할

최근 들어 위성영상의 공간해상도가 점차 향상되고 있으며, 이로 인해 과거의 화소 기반 영상 분류 방법도 널리 활용되고 있지만, 최근에는 객체 기반 영상 분류가 활발하게 이루어지고 있다(Weih and Riggan, 2010; Chen et al., 2018; Zhang et al., 2018). 이러한 객체 기반 영상 분류를 하기 위해 선행되어야 하는 분석 단계가 영상 분할이다. 본 연구에서도 모자이크 영상의 공간해상도를 고려하여 객체 기반 영상 분류를 수행하였기 때문에 이를 위해 우선 영상 분할을 수행하였다.

영상 분할은 유사한 특성을 가진 화소들을 하나의 객체로 묶어주는 과정이며, 적절한 단위의 객체로 분할하기 위한 파라미터 값 설정이 필요하다. 본 연구에서는 eCognition Developer에서 제공하는 multi-resolution segmentation을 수행하였으며, 여러 번의 테스트와 육안판독을 거쳐 scale parameter는 75가 적절하다는 결론을 얻었다. 이외에 shape 및 compactness 값은 기본값인 0.1과 0.5로 설정하여 영상 분할을 수행하였다.

(2) RGB 분광 지수

Red, Green, Blue 밴드를 활용한 지수 추출은 Moon and Lee (2021)에서 활용한 방법을 차용하여 본 연구지역 영상에 적용하였다. Moon and Lee (2021)는 Upadhyay et al. (2016)의 Red, Green, Blue 밴드 조합을 활용하였으며, 해당 지수들을 추출하는 방법은 아래의 식과 같다.

\(\begin{aligned}\begin{array}{c}\text { Vegetation Index }(V I)=\frac{B L U E+R E D-G R E E N}{B L U E+R E D+G R E E N} \\ \text { Water Index }(W I)=\frac{R E D-B L U E+G R E E N}{B L U E+R E D+G R E E N} \\ \text { Builtup Index }(B I)=\frac{B L U E+G R E E N-R E D}{B L U E+R E D+G R E E N}\end{array}\\\end{aligned}\)

(3) PCA (주성분분석)

본 연구에서는 Red, Green, Blue 밴드에서 추출한 지수 뿐만 아니라 PCA 기법을 활용할 경우 분류 결과의 정확도를 얼마나 향상시킬 수 있는지 비교해 보고자 하였다. 따라서 모자이크 영상의 Red, Green, Blue 밴드에서 PCA 레이어를 추출하였으며, 해당 레이어를 분할 및 분류에 함께 활용하여 그 결과를 비교해 보았다. PCA 레이어 추출은 eCognition Developer에 탑재되어 있는 PCA 추출 기법을 활용하였으며, variance to retain 값으로 0.99를 적용하여 최종적으로 2개의 PCA 레이어를 산출하여 본 연구에 활용하였다.

3) 영상 분류

영상 분류 수행에 앞서 영상을 분류할 클래스의 종류를 설정해야 한다. 본 연구에서는 환경부의 토지피복 분류체계에서 대분류를 기준으로 클래스를 선정하였다. 한 가지 환경부의 토지피복 분류체계와 다른 클래스는 습지지역으로, 모자이크 영상의 특성상 여러 시기에 촬영된 영상을 융합하였기 때문에 습지를 개별 클래스로 분류하기는 어렵다고 판단하였다. 따라서 본 연구에서는 습지를 제외한 대분류 토지피복 분류체계의 6개 클래스(시가화/건조지역, 산림지역, 초지, 농업지역, 나지, 수역)로 영상을 분류하였다.

영상 분류에 활용한 기법은 감독 분류 기법 중에서 Random Tree 기법을 활용하였으며, 6개의 클래스별 샘플을 추출하여 Random Tree 모델 훈련 후 분류를 수행하였다. 특히 본 연구에서는 모자이크 영상만 활용한 분류 결과와 PCA + RGB 지수를 함께 활용한 분류 결과를 비교한 것과 더불어, PCA 기법을 활용한 분류 결과와 RGB 지수를 활용한 분류 결과 또한 함께 비교해보고자 하였다. 이를 통해 모자이크 단일 영상 분류 결과보다 각 지수를 활용한 분류 결과가 어느 정도 향상되는지 확인하고자 하였다.

3. 연구결과 및 토의

1) 영상 분류 결과

Table 2와 Table 3은 모자이크 영상의 분류 결과를 각각 면적과 비율로 정리한 표이다.

Table 2. Classification result by area

Table 3. Classification result by percent

영상 분류 수행 결과, 모자이크 영상만 활용하여 분석한 결과에서는 수역이 과대 분류되는 경향이 있는 것을 확인할 수 있었다. 이는 실제 수계가 아닌 지역까지 수계로 오분류되면서 이러한 현상이 발생하였다. 특히 산지 중에서도 그림자가 져서 어둡게 나온 지역과 시가지 중에서 건물의 그림자 또한 수계로 잘못 인식되면서 전반적으로 수역이 차지는 비율이 높은 경향이 발생하였는데, 이는 모자이크 단일 영상 뿐만 아니라 PCA 및 RGB 지수를 활용한 분석 결과에서도 이러한 오분류가 나타나는 것을 확인할 수 있었다. 모자이크 영상과 PCA 레이어를 함께 활용하여 분석한 영상 분류 결과에서는 다른 영상의 분류 결과와 달리 시가지 비중이 높게 나온 것을 확인할 수 있었다. 이는 Fig. 3의 (b) Mosaic +PCA의 그림에서 확인할 수 있듯이 해당 영상의 우측이 산림인데도 불구하고 시가지로 오분류되는 문제가 나타나는 것을 확인할 수 있다. 이러한 시가지 과대분류 경향이 크게 나타나면서 오히려 모자이크 영상만을 활용한 분류 결과보다 정확도가 더 떨어지는 것을 정확도 평가를 통해 확인할 수 있었다.

Fig. 3. Classification result map.

반면 모자이크 영상과 RGB 지수, 그리고 모자이크 영상과 PCA, RGB 지수를 모두 함께 사용한 분류 결과에서는 상대적으로 수계에 대한 면적이 적게 차지하는 것을 알 수 있으며, 산림이 차지하는 비중이 큰 것을 확인할 수 있다. 이는 어두운 산림 지역이 수계나 시가지로 오분류되는 문제가 RGB 지수를 활용할 경우 일부 해소될 수 있다는 것을 보여주는 사례로 해석된다.

Fig. 3은 연구지역 전체에 대한 각 영상별 분류 결과를 보여주고 있다.

각 클래스별 면적과 비율 분석에서 살펴본 것과 유사하게 어두운 산림 지역이 수계와 시가지로 오분류되는 경향이 있는 것을 확인할 수 있으며, 이러한 경향은 RGB 지수와 PCA 레이어를 함께 활용하여 분류할 때 감소하는 것을 확인할 수 있다.

Fig. 4는 각 영상의 분류 결과 일부를 확대하여 캡처한 것으로 Site 1은 산지 지역, Site 2는 수계 지역, Site 3은 시가화 혼합 지역이다. 우선 Site 1 지역을 살펴보면 모자이크 단일 영상에는 주로 산지로 이루어진 지역이 초지와 산지로 파편화된 것을 확인할 수 있고, 일부 시가지로 오분류된 지역도 확인할 수 있다. 이렇게 시가지로 오분류되는 경향은 PCA와 RGB 지수를 각각 활용하여 분석한 사례에서 나타나는 것을 확인할 수 있으며, 특히 PCA 분석 결과에서 시가지로 오분류되는 경향이 크게 증가하는 것을 확인할 수 있다. 그러나 PCA와 RGB 지수를 모두 함께 활용하여 영상을 분류하였을 때에는 초지로 파편화되는 경향과 시가지로 오분류되는 경향 모두 감소한 것을 확인할 수 있다.

Fig. 4. Comparison of classification results.

Site 2는 수계 지역으로 모자이크 원본 영상에는 수계와 산림으로 오분류되었고, PCA와 RGB 지수 각각을 활용한 분류 결과에서는 모두 산림으로 오분류된 것을 확인할 수 있다. 그러나 PCA와 RGB 지수를 함께 활용한 분류 결과에서는 수계로 분류된 것을 보여준다.

마지막으로 Site 3은 시가화 혼합 지역이며, 모든 영상에서 산림 또는 수계로 오분류되는 부분이 있으나 이는 건물의 음영 때문에 발생한 오분류로 해석된다. 우선 모자이크 영상 분류 결과에서는 시가지인데도 불구하고 초지로 오분류되는 경향이 나타나는 것을 확인할 수 있으며, PCA 분석 결과에서는 상대적으로 농지로 오분류되는 경향이 나타났다. RGB 영상을 활용한 분석결과에서는 초지와 농지가 혼재되어 오분류되는 경향이 나타나는 것을 확인할 수 있다. 반면 PCA와 RGB 지수를 함께 활용한 분류 결과에서는 시가지의 경계가 다른 영상의 분류 결과보다 좀 더 명확하고 초지로 오분류되는 경향이 감소한 것을 확인할 수 있다.

이후 각 영상별 분류 결과의 정확도를 알아보기 위하여 정확도 평가를 수행하였다.

2) 정확도 평가 결과

정확도 평가는 eCognition Developer에 탑재되어 있는 Test and Training Area (TTA) 마스크 레이어를 생성하여 수행하였으며, 각 영상별 정확도 평가 결과는 Table 4에 정리되어 있다.

Table 4. Accuracy assessment result

각 영상의 정확도 평가 결과, 모자이크 영상의 분류 정확도는 67–75%대로 전체 정확도는 67.51%로 나타났다. 반면 PCA 레이어를 활용한 연구 결과에서는 오히려 모자이크 단일 영상 분류 결과보다 정확도가 낮게 나타나전체 정확도가 64.10%로 나타났다. 이는 PCA를 활용한 분류 결과에서 산림 지역인데도 불구하고 시가지로 오분류되는 경향이 크게 나타났기 때문으로 해석된다. 반면 RGB 영상을 활용한 분류 결과의 정확도는 74.05%로 나타나 PCA 활용 결과보다 정확도가 향상된 것을 확인 할 수 있었다. 마지막으로 PCA와 RGB 지수를 함께 활용한 분류 결과의 정확도는 75.86%로 나타나 RGB 지수만 활용하였을 때보다 정확도가 소폭 향상된 것을 확인 할 수 있었다.

본 연구결과를 통해 모자이크 영상을 분석할 때 RGB 지수와 같은 보조적인 정보를 함께 활용하면 분류 정확도 향상에 도움이 되는 것을 확인할 수 있었다. 그러나 PCA 레이어를 활용한 분류 정확도는 오히려 더 낮아지는 것을 확인함으로써 제한된 정보만을 활용하여 영상을 분류할 때에는 양질의 데이터를 선별하여 적용하는 것이 중요하다는 것을 확인할 수 있었다. 따라서 추후 관련 연구를 지속적으로 수행할 필요가 있으며, 보조 정보를 함께 활용함으로써 분광 정보가 왜곡되거나 제한된 정보만을 제공하는 영상을 분석할 때 분석 결과의 신뢰도를 높일 수 있을 것으로 기대된다.

5. 결론

본 연구에서는 한반도 모자이크 영상의 분류 정확도를 향상시킬 수 있는 방법을 모색해보고자 PCA 기법과 R, G, B 밴드를 활용한 지수를 추출하여 영상 분류를 수행하고 그 결과를 비교해 보았다.

영상 분류 수행 결과, 모자이크 영상만 활용하여 분석한 결과에서는 수역이 과대 분류되는 경향이 있는 것을 확인할 수 있었으며, PCA를 활용한 분류 결과에서는 시가지가 과대분류되는 경향이 나타나는 것을 확인할 수 있었다. 반면 모자이크 영상과 RGB 지수, 그리고 모자이크 영상과 PCA, RGB 지수를 모두 함께 사용한 분류 결과에서는 상대적으로 어두운 산림 지역이 수계나 시가지로 오분류되는 문제가 RGB 지수를 활용할 경우 일부 해소될 수 있다는 것으로 해석된다.

각 영상 분류의 정확도 평가 결과, 모자이크 영상의 분류 결과 정확도는 약 67.51%인 반면, PCA 기법과 RGB 지수를 모두 함께 활용한 영상 분류 결과의 정확도는 약 75.86%로 나타나 PCA와 RGB 지수를 함께 활용하면 영상 분류 결과의 정확도를 향상시킬 수 있는 것을 확인하였다. PCA 기법과 RGB 지수 활용 기법을 비교한 결과, PCA 기법만 활용하였을 때의 영상 분류 결과 정확도는 약 64.10%로 나타났으며, RGB 지수만 활용했을 때의 영상 분류 결과 정확도는 약 74.05%로 나타났다. 이를 통해 두 기법 중에서는 RGB 지수를 활용한 분류 정확도가 더 높게 나타나는 것을 확인할 수 있었으며, 양질의 보조 정보를 활용하는 것이 중요하다는 시사점을 도출할 수 있었다. 추후 모자이크 영상의 분류 및 분석결과를 향상시키기 위한 추가적인 지수 및 기법 개발이 필요할 것으로 생각되며, 관련 연구를 통해 모자이크 영상 및 제한된 분광 정보만을 제공하는 영상의 활용도를 높일 수 있을 것으로 기대된다.