The comparative analysis of image fusion results by using KOMPSAT-2/3 images

아리랑 2호/3호 영상을 이용한 영상융합 비교 분석

Abstract

This paper had a purpose on analyzing result data from pan-sharpening, which have applied on the KOMPSAT-2 and -3 image. Particularly, the study focused on comparing each relative spectral response functions, which considers to cause color distortions of fused image. Two images from same time and location have been collected by KOMPSAT-2 and -3 to apply in the experiment. State-of-the-art algorithms of GIHS, GS1, GSA and GSA-CA were employed for analyzing the results in quantitatively and qualitatively. Following analysis of previous studies, GSA and GSA-CA methods resulted excellent quality in both of KOMPSAT-2/3 results, since they minimize spectral discordances between intensity and PAN image by the linear regression algorithm. It is notable that performances from KOMPSAT-2 and- 3 are not equal under same circumstances because of different spectral characteristics. In fact, KOMPSAT-2 is known as over-injection of low spatial resolution components of blue and green band, are greater than that of the PAN band. KOMPSAT-3, however, has been advanced in most of misperformances and weaknesses comparing from the KOMPSAT-2.

본 논문에서는 사용되는 센서의 특성, 특히 밴드 간 분광 응답함수의 차이에 따라 달라질 수 있는 영상융합 기법의 성능 차이에 대한 상대적 비교 분석을 주된 연구 목적으로 하였다. 이를 위해, CS 기반의 대표적 영상융합 기법인 GIHS, GS1, GSA, GSA-CA을 선정하였고, 거의 동일 시기/동일 지역을 촬영한 KOMPSAT-2/3 위성영상을 이용하였다. 또한, 융합 영상의 성능 평가는 정량적/정성적 방법을 혼용하여 진행하였다. 분석 결과, KOMPSAT-2/3 영상 모두에서 GSA 기법과 GSA-CA 기법이 다른 기법들에 비해 상대적으로 우수한 품질을 나타냈다. 이는 다른 위성영상 및 문헌을 통해 제시된 결과들과 일치하는 것으로, 선형 회귀식을 통해 전정색 영상과 intensity 영상 간 스펙트럴 불일치를 최소화한 기존 방법론의 효능을 뒷받침하는 것이다. 그러나 동일한 실험 조건을 적용하였을 때, KOMPSAT-2와 KOMPSAT-3에서 나타내는 융합 성능은 서로 다른 결과를 나타냈다. 이 같은 결과는 두 위성 센서 내 밴드별 분광응답함수가 서로 다른 것에 기인하는 것으로 판단할 수 있다. KOMPSAT-2의 경우, blue 밴드와 green 밴드의 분광 응답비가 전정색 밴드를 초과하는 것으로 알려져 있으며, 이는 영상 융합 과정에서 과도한 저주파 요소를 삽입하여, 최종적으로 제작된 융합 영상에서의 색상 왜곡을 유발하는 원인이 되는 것으로 알려져 있다. 반면, KOMPSAT-3에서는 KOMPSAT-2에서 발생되었던 상당부분의 관련 문제들을 보완 하였으며, 결과적으로 동일한 실험 조건에서도 상대적으로 향상된 융합 결과를 나타냈다.

1. 서 론

최근 고해상도 영상지도의 제작, 지형정보의 분석과 같은 양질의 공간정보를 추출하는 기법에 대한 요구가 증대되고 있다. 다양한 공간정보 분야에 원격탐사 자료를 보다 효과적으로 활용하기 위해서는 높은 공간해상도와 다양한 분광특성을 가진 위성영상의 획득이 필수적이다. 이미 국내에서는 1m의 공간해상도의 전정색 영상과 4 m의 공간해상도의 다분광 영상을 제공하는 KOMPSAT-2를 운용 중에 있으며, 2012년 0.7 m의 공간해상도를 가지는 전정색 영상과 2.8 m의 공간해상도를 가지는 다분광 영상을 제공하는 KOMPSAT-3의 발사에 성공하여, 2013년부터 상용 배포 하고 있다. 공간 해상도가 높은 전정색 영상은 개체 추출 및 판독 등에 용이하고, 분광해상도가 높은 다분광 영상은 토지피복분류 등 개체의 분광특성 분석에 장점을 가지고 있기 때문에 원격탐사 분야에 요구되는 이상적인 위성영상은 고해상도의 다분광 영상이다. 그러나 공간해상도와 분광해상도는 서로 상충관계에 있어, 위성 영상의 촬영 시점에서 전정색 영상과 같이 높은 공간해상도를 지니는 다분광 영상을 생성하는 것은 기술적으로 어려운 실정이다(Aiazzi et al., 2002).

이 같은 기술적인 한계를 극복하기 위하여, 공간해상도가 높은 전정색 영상과 분광해상도가 높은 다분광 영상을 수학적으로 융합하여, 기존 다분광 영상의 공간해상도를 강제적으로 증가시키는 다양한 형식의 영상융합 기법들이 개발되었다(Zhang, 2004). 이와 같은 영상융합 기법들은 선형식을 통해 단순화하여 표현 될 수 있음이 증명되었으며, 이에 따라 대부분의 영상융합 기법은 전정색 영상으로부터 고주파 영상을 추출하는 방법론의 차이에 따라 CS(Component-Substitution) 기법과 MRA(Multi Resolution Analysis)기반의 알고리즘으로 이원화 하여 구분 할 수 있다(Aiazzi et al., 2009).

MRA 기반의 기법에서는 고해상 전정색 영상에 저역 필터 등을 적용하여 저주파 영상을 제작하고, 이를 원 영상에서 차분하여 고주파 영상을 제작하는 방식을 사용한다(Vaidyanathan, 1992). 일반적으로 MRA기반의 방법은 고해상도 전정색 영상에서 직접 추출된 고주파 정보만을 주입하기 때문에 이론적으로 분광정보의 왜곡이 발생될 가능성이 적다는 장점을 지닌다. 그러나 그 처리속도가 느리고, 영상 축소 과정이나 필터링 과정 등에서 발생하는 blurring, aliasing효과 등으로 인하여 공간해상도가 상대적으로 낮아지는 문제점을 지닌다(Hong and Zhang, 2008; Aiazzi et al., 2006).

CS기반 기법은 기본적으로 IHS (Intensity-Hue-Saturation) 융합 기법의 원리를 따르고 있다. 하지만 일반적인 IHS 기법의 경우, RGB 밴드만을 활용하기 때문에 융합영상에서의 색상왜곡이 상대적으로 매우 크다는 문제점을 지니고 있으며, 이를 해결하기 위해 Tu et al.(2004)는 RGB밴드 외에 NIR밴드까지 적용할 수 있는 GIHS(Generalized IHS)기법을 제시하였고 Green밴드와 Blue밴드에 가중치를 주는 GIHSF(GIHS Fast)기법을 제시하였다. 이를 기반으로 Choi et al.(2006)는 GIHS 융합 기법에서 색상왜곡과 공간왜곡이 일어나는 이유를 증명하였으며, 변수의 조정에 의하여 영상내의 색상왜곡과 공간왜곡의 상충적 관계를 증명하였다. Rahmani et al.(2010)은 edge-adaptive method와 imageadaptive method를 활용하여 공간해상도와 분광해상도를 높인 Adaptive IHS기법을 제안하였다. Choi(2011)는 선형 회귀분석을 통하여 지역적 변위를 최소화하는 기법을 제안하였으며, Choi et al.(2011)은 전정색 영상과 다분광 영상의 부분 치환을 통해 새로운 intensity 영상을 생성하여 융합 영상의 전역적, 지역적 분광 유사도를 최소화하고자 하였다. 한편, Laben and Brower(2000)는 그램 슈미트 직교화를 기반으로한 GS(Gram-Schmidt)기법을 제시하였다.

Aiazzi et al.(2007)는 GIHS에서와 같이 다분광 영상의 밴드 평균을 intensity 영상으로 사용하지만, 다분광 영상과 전정색 영상 간 회귀 계수를 가중치로 사용하는 GS1(the first GS)기법을 제안하였으며, 사용자가 미리 저주파 영상과 전정색 영상의 평균 근사치를 입력하여 진행하는 GS2(the second GS)기법 또한 제시하였다. 그 이후, GS1기법의 intensity 영상을 다분광 영상 밴드의 선형조합으로 계산한 GSA기법을 제안되었으며, 제안된 방식을 통해 분광 왜곡을 상대적으로 최소화할 수 있음을 보였다. 또한 이에 대한 지역적 모델로써 GSA가 지닌 분광 왜곡을 보다 효과적으로 제거하기 위하여 윈도우 연산 기반의 GSA-CA기법을 제안하였다(Aiazzi et al., 2007).

이러한 CS기반 기법은 우수한 공간해상도를 가지는 융합영상을 취득할 수 있으나 MRA 기법에 비해 상대적으로 분광왜곡 발생 가능성이 높다는 문제점을 가진다. 그러나 CS기반의 영상 융합 기법은 고해상도 전정색 영상의 세부 공간정보의 특징이 다른 경우에도 고해상 전정색 영상과 유사한 공간 해상력을 유지할 수 있고, 그 처리속도 역시 매우 빠르기 때문에, 대부분의 사용자들은 실질적 활용에 상대적으로 유리한 CS기반 기법을 선호하고 있으며, 다양한 종류의 원격탐사 상용소프트웨어에 탑재되어 활발히 이용되고 있다. 이에 최근 관련 분야에서는 기 개발된 CS기법을 보완하여, 융합 과정에서 나타나는 분광 정보의 왜곡을 최소화하는 보완기술의 개발을 주된 연구 목적으로 하고 있으며, 다양한 접근 방식을 통한 관련 연구가 활발히 진행되고 있다(Yao and Han, 2010).

하지만, 모든 영상융합 기법은 고해상 전정색 영상과 고해상 다분광 영상 간 공간적/분광적 특성이 상당히 유사할 것이라는 원론적 가정에서 출발하며, 다분광 밴드 또한 서로 간의 중첩이 없는 이상적인 상태일 때 이론적으로 최상의 융합영상이 생성 될 것이라는 점을 감안 한다면, 동일한 영상융합 기법이라도 적용되는 센서에 따라 서로 다른 성능을 나타낼 수 있다(Tu et al., 2004).

이에 본 논문에서는 사용되는 센서의 특성에 따라 달라질 수 있는 영상융합 기법의 성능 차이와 최종적인 융합 결과에 대한 상대적 비교 분석을 주된 연구 목적으로 하였다. 이를 위해, CS 기반의 대표적 영상융합 기법인 GIHS, GS1, GSA, GSA-CA을 선정하였고, 거의 동일 시기/동일 지역을 촬영한 KOMPSAT-2/3 위성영상을 이용하였다. 이는 시간적/지역적 특성이 영상 융합 결과의 비교에 미치는 영향을 배제하고, 센서의 특성과 융합기법에 차이만을 변수로 설정하여, 상호 간 보다 객관적이고 신뢰성 있는 비교 분석을 수행하기 위함이다. 취득된 영상과 선정된 융합방법을 이용하여 각각의 융합영상을 제작하였고, 상호 간 정량적/시각적 비교 평가를 수행하였다. 또한, 전역적/지역적 융합 모델의 특성을 대조하고, 윈도우 크기에 따른 지역적 융합 모델의 변화와 그에 따른 안정성을 분석하였다. 마지막으로 KOMPSAT-2/3영상 각각의 제원 특성 및 실험 영상에 기인한 분광/공간 상관도 분석을 통하여 KOMPSAT-2/3 영상 간 상대적 효용성을 고찰 하였다.

 

2. 연구방법

본 연구에서는 사용된 센서의 분광 및 공간 특성에 따라 달라지는 영상융합 기법의 상대적 비교 분석을 주된 목적으로 하였다. 이를 위해 본 장에서는 일반적인 영상 융합식에 대한 분석 및 CS/MRA 기반의 융합 방법에 대한 비교 분석과정을 기술하였다. 또한, 본 연구에서 비교 대상으로 선정한 CS 기반 융합 방법의 기본 원리를 고찰하고, 각각의 융합 방법 간 세부적인 차이를 상술 하였으며, 융합기법 간 성능 차이 분석을 위한 평가 protocol을 포괄하는 전체적인 연구 흐름을 제시하였다.

2.1 일반적인 영상 융합 기법

만약 위성 영상의 촬영 시점에서 고해상 다분광 영상을 획득할 수 있다면, 해당 영상은 다음 Eq. (1) 과 같이 고주파 영상과 저주파 영상의 합으로 분해하여 나타낼 수 있다(Park and Kang, 2004).

위 식에서 는 고해상 다분광 영상, High()와 Low()는 고해상 다분광 영상으로부터 분해된 고주파 영상과 저주파 영상을 의미한다. 이때, 고해상 전정색 영상과 고해상 다분광 영상이 높은 상관관계를 지니고 있다고 가정한다면, 실제로 존재하지 않는 고해상 다분광 영상 High()는 실제 위성에서 획득한 고해상 전정색 영상과 저해상 다분광 영상의 수학적 연산으로 간접적으로 추정할 수 있다(Tu et al., 2004).

위 식에서 와 Ph는 실제 위성에서 촬영될 수 있는 저해상 다분광 영상과 고해상 전정색 영상을 의미하며, High(Ph, )는 고해상 전정색 영상과 저해상 다분광 영상의 k번째 밴드 간 수학적 영상을 통해 추출된 고주파 영상, wk는 다분광 영상의 밴드별 가충지이다.

이와 같이, 실질적으로 획득 할 수 없는 고해상 다분광 영상을 실제 획득 할 수 있는 고해상 전정색 영상과 저해상 다분광 영상 간 수학적 융합을 통해 고해상 다분광 영상을 추정하는 방법이 영상 융합 기법이며, 해당 기법의 이상적인 성능은 고해상 전정색 영상과 고해상 다분광 영상 간 공간적/분광적 특성이 상당히 유사할 것이라는 원론적인 가정이 충실히 이행 되어 질 때 가능하다.

현재까지 제안된 영상융합 기법은 크게 MRA 기반의 기법과 CS 기반의 알고리즘으로 구분 할 수 있다. 두 기법의 기본적인 형식은 앞서 제시한 Eq. (1)과 동일하며, 고주파 영상을 추출하는 방법론에서 세부적인 차이를 나타낸다.

MRA 기반의 기법에서는 고해상 전정색 영상에 저역 필터 등을 적용하여, 저주파 영상을 제작하고, 이를 원 영상에서 차분하여 고주파 영상을 제작하는 방식을 사용한다(Vaidyanathan, 1992)(Eq. 3).

여기서, Ph(x,y)는 고해상 전정색 영상, Pl(x,y)는 고해상 전정색 영상을 강제적으로 변환한 저주파 영상을 위미한다. 또한 αk는 주입되는 고주파 성분의 상대적 비율을 결정짓는 융합 계수이다.

고해상도 전정색 영상 영상융합을 위한 고주파 성분을 추출하는 MRA 기법과는 달리, CS 기반의 기법에서는 저해상 다분광 영상을 가중 평균하여 가상의 intensity 영상을 제작하고, 이를 고해상 전정색 영상에서 차분하여 고주파 정보를 추출한다(Aiazzi et al., 2007)(Eq. 4,5).

여기서, Il(u,v)는 저해상 다분광 영상을 가중 평균한 intensity 영상을 의미하며, 실질적인 융합 과정에서는 전정색 영상의 공간 해상도로 보간하여 사용한다. 또한, intensity 영상의 제작과정에서 적용되는 밴드별 가중치 ck(k=0,1,2,3,Nb)의 계산 방식에 따라 세부적인 CS 융합기법으로 구분할 수 있다.

일반적으로 MRA기반의 방법은 고해상도 전정색 영상에서 직접 추출된 고주파 정보만을 주입하기 때문에 융합 과정에서 불필요한 분광 정보의 유입이 차단되며, 결국 이론적으로 분광정보의 왜곡이 발생될 가능성이 적다는 장점을 지닌다. 그러나 이는 전정색 영상과 다분광 영상 간 공간정보의 유사성이 매우 커야 한다는 영상융합 이론의 기본 가정이 충분히 만족 되어질 때 가능한 것으로, 만약 전정색 영상과 다분광 영상 간 공간정보가 상이한 경우에는 공간 주파수의 차이로 인한 aliasing 현상 혹은 ringing 효과 등으로 인하여 실질적인 적용과정에서의 공간적 세밀함은 상대적으로 떨어지는 것으로 알려져 있다(Aiazzi et al., 2009). 반면, CS 기반의 영상 융합 기법은 다분광 영상과 고해상도 전정색 영상의 세부 공간정보의 특징이 다른 경우에서 고해상 전정색 영상과 유사한 공간 해상력을 유지할 수 있기 때문에, 실질적인 응용분야에서는 기 개발된 CS기법을 보완하여, 융합 과정에서 나타나는 분광 정보의 왜곡을 최소화하는 방향으로 진행되고 있다(Aiazzi et al., 2007).

2.2 CS 기반의 영상 융합 기법

최근까지 개발된 CS 기반 융합기법은 앞서 제시한 Eq. (4)-(5)의 밴드별 가중치 ck(k=0,1,2,3,Nb)와 융합계수 αk의 차이, 그리고 융합계수의 계산 시 지역적 특성에 대한 고려 유무에 따라 세부적인 융합기법으로 구분 할 수 있다. Table 1은 앞선 제시한 세 가지 요소 즉, 밴드별 가중치 ck(k=0,1,2,3,Nb), 융합계수 αk, 전역적/지역적 주입 모델에 따라 구분된 4가지 영상융합 기법 GIHS, GS1, GSA, GSACA의 특징을 약술한다.

Table 1.Related to a various of CS-based methods

GIHS 기법은 Red, Blue, Green 밴드 영상을 IHS 공간으로 변환시키고 IHS 공간에서 명도값을 Pan영상으로 대체한 후 역변환을 통하여 융합영상을 제작하는 기존의 IHS기법을 개량한 것으로 NIR 밴드 영상을 포함한 다분광 영상의 단순 평균을 통해 intensity 영상을 제작한다.

GS1 기법은 기존 GIHS 기법에서 고주파 영상 [Ph(x,y)–·Il(x,y)]에 곱해지는 융합계수를 αk를 정의한 것으로, 다분광영상과 intensity 영상 간의 공분산/분산 비를 이용하여, 융합계수를 산정한다(Table 1)(Aiazzi et al., 2009).

융합계수 αk는 고해상도 전정색 영상에서 추출된 고주파 정보의 주입 비율을 결정하는 요소이기 때문에 융합계수가 상대적으로 클 경우, 공간 해상력은 증가 될 수 있으나, 상대적으로 분광 왜곡을 야기 시키는 원인이 될 수 있다있다(Aiazzi et al., 2009). 또한, GS1 기법은 GIHS 에 비해 분광 왜곡량은 줄어들지만, 일부 밴드 간 공간/분광적 특성을 조절하는 비율이 상대적으로 낮게 측정되어 전체 영상 해상도가 저하되는 경우가 발생한다. GSA는 GS1 기법에서 intensity 영상 제작 시, 다분광 밴드 간 동일 가중치의 평균을 사용하지 않고, 각 밴드 간 서로 다른 가중치 ck(k=0,1,2,3,Nb)를 부여한 방법이다. 융합계수 αk와 마찬가지로 intensity 영상의 제작시 사용되는 밴드 간 가중치는 융합 영상의 공간 해상력 및 분광 왜곡량에 큰 영향을 미칠 수 있다. 이는 고해상 전정색 영상과 intensity 영상 간 공간 및 분광 특성의 유사성과 관련되는 것으로, 만약 상대적으로 유사성이 결여된 intensity 영상이 제작될 경우, 불필요한 분광 정보가 유입될 가능성이 높아지며, 결국 융합 영상의 분광 왜곡 발생 가능성이 높아진다. 이와 같은 문제점을 최소화하기 위하여, intensity 영상 제작 시, 다분광 영상과 전정색 영상 간 선형 회귀식을 적용하여, 밴드 간 가중치를 계산한느 방법이 제안되었다(Aiazzi et al., 2007).

여기서, (r,c)는 저해상 다분광 영상, Pl(r,c)는 저해상 다분광 영상의 크기로 축소된 전정색 영상, 는 선형회수 변수 는 전정색 영상과 다분광 영상 간 화소범위를 보정하는 회귀 상수 이다. 이로부터 계산된 회귀 계수 를 이용하여 intensity 영상을 제작한다.

또한, 영상 내의 지표의 특성에 따라 adaptive한 융합 결과를 생성하기 위하여, 윈도우 기반의 지역적인 융합 계수 추출방법이 제안되었다(Aiazzi et al., 2007). GS1 및 GSA에서 계산되는 융합 계수는 다분광 영상에 대한 상수의 형태로 계산된다. 동일한 지역적 특성을 가지고 있는 영상의 경우에는 전역적인 융합 계수를 이용하여도 효율적일 수 있지만, 수목, 인공구조물 등 다양한 개체들이 혼재되어 있는 경우에는 다분광 영상과 고해상 전정색 영상과 지역적인 분광적/공간적 비 상관성에 의해 융합 영상의 왜곡이 발생할 수 있다. 이와 같은 문제를 해결하기 위하여 GSA-CA는 전역적인 융합 계수 모델을 윈도우 기반의 지역적인 변수로 확장하여, 영상 융합에 적용한다. 즉, 지역적인 융합 계수는 단일 상수가 아니라 입력영상과 동일한 크기의 2차원 배열의 형태로 계산된다. 이때, 지역적인 융합 계수는 윈도우 크기에 따라 영상 품질이 결정되는 것으로 알려져 있다.

2.3 영상융합 기법의 성능평가 방법

영상융합 기법의 성능평가에 있어 중요한 요소는 상대적인 해상도 향상과 색상보존 정도를 객관적으로 평가하는데 있다(Khan et al., 2009). 그러나 융합 영상의 정량적, 정성적 평가를 위해 필요한 참조 데이터(고해상 다분광 영상)는 실제로 존재하지 않기 때문에, 기존 전정색 영상과 다분광 영상의 공간해상도를 강제적으로 낮춘 실험 영상을 통해 융합 기법의 성능을 간접적으로 평가하는 방법이 제안되었다(Thomas et al., 2006). 그러나 단순히 보간법을 통해 영상의 크기를 축소시켜 공간해상도를 낮출 경우, 대상 영상의 고주파 정보가 효과적으로 제거 되지 않아 실험에서 요구되는 해상도의 저해상 영상을 얻을 수 없다. 이에 본 연구에서는 고해상 전정색 영상과 다분광 영상에 주파수를 기반으로 고주파와 저주파 정보를 분리하는 가우시안 저역 필터링을 우선 적용하여 고주파 정보를 저하시킨 후, bicubic 보간법을 통해 영상의 크기를 축소, 확대시켜 실험 영상을 제작하였다. 이때, 사용되는 위성 센서 마다 서로 다른 MTF(Modulation Transfer Functions)를 가지기 때문에 효과적인 공간해상도 저하를 위해서는 각 센서와 밴드 별로 각각 다른 차단 주파수를 가지는 필터를 사용해야 한다(Khan et al., 2009). 위와 같은 방법으로 제작된 실험 영상과 다양한 융합기법을 적용하여, 융합영상을 제작하였으며, 시각적/정량적 분석을 통해 객관적인 비교 평가를 수행하였다.

Fig. 1은 축소된 실험 영상의 제작 단계, 본 연구에서 적용된 CS 기반의 영상 융합 기법의 적용 단계, 제작된 융합 영상의 정량적 성능 평가 단계까지의 일련의 과정을 압축하여 도시한 것이다. Fig. 1에서 MS와 PAN은 원 해상도의 다분광 영상과 전정색 영상, MSl 과 PANl 은 MTF filtering과 bicubic 보간법을 통해 원 영상의 1/4의 크기로 하향 표집된 실험 영상을 의미한다. 또한, αk, I, ck 는 CS 기반의 영상융합 기법의 적용 과정에서 도출되는 세 가지 필수 파라미터, 즉, 융합 계수, Intensity 영상, 밴드별 가중치를 지칭 한다. 마지막으로 앞서 제시된 일련의 과정을 통해 제작된 융합 영상은 MSF로 표기하였다. 융합 영상의 성능 평가는 공간 해상력 향상 정도, 원 영상의 색상의 보존 정도의 두 가지 측면을 통해 진행 되는데, 공간 해상력 평가는 축소된 전정색 영상 PANl 을 기준으로, 색상 보존력 평가는 원 다분광 영상 MS를 참조하여 평가를 수행하였다.

Fig. 1.Flowchart of quality-assessment procedure for CS-based fusion methods

 

3. 결과 및 분석

본 연구에서는 사용되는 센서의 분광 및 공간 특성에 따라 달라지는 영상융합 성능의 상대적 비교 분석을 주목적으로 하였다. 사용된 영상융합 기법은 CS 기반의 GIHS, GS1, GSA, GSA-CA으로 각각의 융합 기법에 대한 세부적인 차이는 Table 1에 약술되어 있다. 상기 영상융합 기법의 상대적 성능 평가를 위하여 동일 지역/시기에 촬영된 KOMPSAT-2/3 위성영상을 선정하였으며, 실험 영상에 각각의 융합 기법을 적용하고, 각각의 실험 영상에 대한 영상 융합 기법의 정량적/시각적/상대적 평가를 수행 하였다. 또한, KOMPSAT-2/3 영상 각각의 제원 특성 및 실험 영상에 기인한 분광/공간상관도를 계산하고, 두 영상 간 상대적 비교 분석을 통하여 KOMPSAT-3 영상의 효용성을 평가하고자 하였다.

3.1 연구자료

본 연구에 사용된 실험 영상은 국내에서 개발된 KOMPSAT-2와 KOMPSAT-3 위성으로 동일 시기, 동일 지역을 촬영된 고해상도 위성영상이다. 이때, Fig. 2는 해당 위성영상에서 실질적인 실험을 위해 제작한 512 by 512 크기의 부분 영상을 도시한다. 또한, 실험에 사용된 센서 및 데이터의 세부적인 사항은 Tables 2 and 3와 같다.

Fig. 2.Test images: (a) KOMPSAT-2 image(512 by 512 at 4 m scale), (b) KOMPSAT-3 image (512 by 512 at 2.8 m scale)

Table 2.Characteristics of the KOMPSAT-2/-3 satellite system

Table 3.Characteristics of the KOMPSAT-2/-3 images

사용된 실험 영상은 2013년 7월 23일과 2013년 7월 22일에 동일한 지역을 촬영한 KOMPSAT-2와 KOMPSAT-3 영상을 사용하였으며, 실제로 연구에서는 60％의 식생지역과 약 40％의 도심지로 구성된 부분 영상을 사용하였다(Fig. 2). 본 연구에 사용된 각 영상의 촬영 날짜 차이는 1일 차이로, 시간의 흐름에 따른 실제 지역적 특성의 변화가 거의 나타나지 않는다. 따라서 각각의 영상에 대한 지역적 특성의 통일성을 높일 수 있었다. 또한, 모든 실험 영상은 512 × 512 사이즈의 크기로 사용하였으며 방사 보정 등의 전처리 과정을 거치지 않은 16 bit 데이터로 설정하여 처리하였다.

2007년부터 현재까지 운용 중인 KOMPSAT-2 위성은 공간해상도 1 m의 전정색 영상과 4 m의 다분광 영상을 제공하고 있으며, 2013년부터 상용 배포 중인 KOMPSAT-3 위성은 각각 0.7 m와 2.8 m의 상대적으로 향상된 해상도의 전정색 영상과 다분광 영상을 제공하고 있다. 기본적으로 KOMPSAT-2와 KOMPSAT-3 다분광 영상의 파장 범위는 동일하지만, 전정색 영상의 파장 범위는 KOMPSAT-3의 경우, 450-900 nm으로 KOMPSAT-2 보다 약 50 nm 확장된 범위를 지닌다(Table 2).

한편, 영상융합의 효율 극대화를 위해, 가장 이상적인 분광대역은 Fig. 3(a)와 같이, 전정색 밴드가 다분광 밴드의 분광대역을 모두 포함하고, 각각의 다분광 밴드 간 중첩이 최소화된 형태이다(Thomas et al., 2008). 그러나 실제 위성에서 사용된 센서들은 그 기술적 한계로 인하여, 이상적인 분광대역을 지니지 못하고 있으며, 결과적으로 영상융합 기법의 적용 시 그 차이에 따라 상대적으로 상이한 색상왜곡 등이 발생되는 문제점을 도출하고 있다. Fig. 3(b)는 KOMPSAT-2위성의 파장에 따른 분광감응도(Relative Spectral Response, RSR)를 나타낸다. Blue 밴드의 경우, 전정색 밴드의 분광대역에 거의 포함되지 않으며, Green 밴드는 약 50％ 정도만이 포함된다. 또한, Blue 밴드와 Green 밴드 간 약 20％ 정도의 중첩이 일어나고 있음을 확인 할 수 있다. KOMPSAT-3 의 경우(Fig. 3(c)), KOMPSAT-2 보다는 다소 향상된 분광대역을 지니는 것을 확인 할 수 있다. 전정색 밴드는 대부분의 다분광 밴드의 파장 대역을 포함하고 있으며, 특히 Blue 밴드의 경우 KOMPSAT-2와 비교하여 매우 향상된 분광 반응비를 나타낸다. 또한, NIR 밴드의 경우에도 0.85-0.95㎛ 대역에서 상대적으로 안정된 응답비를 지니는 것을 확인 할 수 있다. 하지만, 이 역시 완벽하게 이상적인 분광대역을 지니지는 못하고 있기 때문에 영상융합 시 최상의 결과를 도출하기는 어렵겠지만, 두 센서 간 특성 차이는 실질적인 영상융합 결과에 상당한 영향을 미칠 것으로 판단된다.

Fig. 3.Relative spectral response functions. (a) An example of ideal function, (b) KOMPSAT-2, (c) KOMPSAT-3

3.2 위성센서 및 융합모델의 특징에 따른 융합영상의 결과 분석

(1) 저해상 실험 영상의 생성

앞서 언급한 바와 같이, 다분광 영상과 고해상 전정색 영상을 이용하여 생성한 융합 영상의 성능을 평가하기 위한 참조데이터(고해상 다분광 영상)는 실제로 존재하지 않는다. 이러한 문제점을 해결하기 위해, 기존 전정색 영상과 다분광 영상의 공간해상도를 강제적으로 낮춘 실험 영상을 이용하여, 융합 기법의 성능을 간접적으로 평가하는 방법을 적용하였다(Thomas et al., 2006). 즉, 전정색 영상과 다분광 영상의 원해상도가 0.7 m, 2.8 m인 KOMPSAT-3 영상은 2.8 m, 11.2 m의 공간해상도를 가지는 영상으로 변환하였고, 기존 공간해상도가 1 m인 전정색 영상과 4 m의 다분광 영상을 지니는 KOMPSAT-2 영상은 각각 4 m, 16 m의 공간해상도를 가지는 영상으로 축소하여 실험을 진행하였다.

한편, 축소 영상 제작 시 사용되는 위성 센서 마다 서로 다른 MTF를 가지기 때문에 효과적인 공간해상도 저하를 위해서는 각 센서와 밴드 별로 각각 다른 차단주파수(cut off frequency)를 가지는 필터를 사용해야 한다(Khan et al., 2009). 이에 본 연구에서 사용한 차단주파수는 다음 Table 4와 같다.

Table 4.MTF Cutoff frequencies for the KOMPSAT-2/3 images

본 연구에서 사용된 KOMPSAT-2/3 영상의 경우, Quick Bird-2와 파장 대역 및 공간해상도가 유사하다는 점을 감안하여, QuickBird-2에 적용되는 차단주파수 값을 그대로 적용하였다(Khan et al., 2009). Fig. 4는 실험에 사용된 KOMPSAT-3 전정색 영상(0.7 m 해상도)에 0.17의 차단주파의 가우시안 저역 필터를 적용한 결과이다. 이때, Figs. 4(a) and (c)는 주파수 공간에서의 퓨리에 스펙트럼을 표현한 것으로 Fig. 4(a)는 필터링 전, Fig. 4(c)는 필터링 후의 결과이다. 이때, 도시된 퓨리에 스펙트럼은 영상의 중앙으로부터 흰색으로 표현된 파문현상의 크기가 작아질수록, 영상 내 공간 주파수에 대한 고주파 성분이 감소되었다는 것을 의미한다. 이는 실제 영상에서도 확인 할 수 있으며, Fig. 4(d)는 Fig. 4(b)에 비해 시각적으로 뚜렷한 해상도 저하가 진행되었음을 확인 할 수 있다.

Fig. 4.Original PAN image for KOMPSAT-3 (1024 by 1024 at 0.7 m scale) -(a) fourier spectrum, -(b) in image domain. Low pass filtered PAN image by using MTF cutoff filter -(c) fourier spectrum, -(d) in image domain

물론, KOMPSAT-2 의 경우, Choi(2010)는 차단 주파수 값에 따른 공간해상도 감소치를 실험적으로 산정하고 적합한 경험치를 도출하여 실험을 진행한 바 있으나, 이는 해당 센서의 촬영 조건에 따른 다양한 실험 변수가 고려되지 않은 것으로 해당 영상에 일반화 시켜 적용하기는 무리가 있다고 판단되었다. 또한, KOMPSAT-3의 경우에는 아직까지 관련 실험결과가 미흡한 실정이다. 물론 차단 주파수 값의 변화는 저해상 실험영상의 생성에 있어 매우 중요한 요소 중 하나임으로 이상적인 실험 영상 생성을 위해서는 (Khan et al., 2009)의 QuickBird-2와 같이 특정 센서에 밀착된 세부 연구가 선행되어야 하나, 본 연구에서는 KOMPSAT-2/3와 유사한 특성을 지닐 것으로 예상되는 QuickBird-2의 차단 주파수 값을 그대로 적용하여, 본 논문의 연구 범위를 한정하였다.

(2) 밴드 간 분광/공간 특성 분석

저해상 실험 영상을 이용한 실질적인 영상 융합 실험에 앞서, 본 절에서는 KOMPSAT-2/3 센서에 대한 분광/공간 특성을 비교하고자 하였다. 이는 영상융합 기법의 이상적인 결과를 위해서는 적용되는 고해상 전정색 영상과 고해상 다분광 영상 간 공간적/분광적 특성이 상당히 유사해야 하고, 각 밴드 간 중첩의 비율이 최소화 되어야 한다는 점을 감안 하여 진행된 사전 분석 과정이다(Thomas et al., 2008).

분석에 사용된 영상은 앞서 생성된 저 해상 실험 영상으로, 예를 들어 KOMPSAT-3 영상의 경우밴드별 상관계수와 공간 상관도의 측정을 위해 2.8 m의 해상도로 축소된 전정색 영상(512 by 512)과 2.8 m 해상도의 원 다분광 영상(512 by 512)을 이용하였다. 또한, GSA 기법과 GSA-CA 기법에서 세부 저해상도 영상( intensity 영상) 제작 시 사용되는 전정색 영상과 다분광 영상 간 선형회귀 계수 ck(k=0,1,2,3,Nb)를 제시하였으며, 선형회귀 계수의 계산은 11.6 m의 해상도로 축소된 전정색 영상(128 by 128)과 원 다분광 영상(2.8 m)을 11.6 m의 해상도로 축소한 영상(128 by 128)을 이용하였다(Aiazi et al., 2007).

Table 5는 KOMPSAT-2와 KOMPSAT-3 각각의 다분광영상에 대한 밴드별 상관계수를 제시한 것으로 B1, B2, B3, B4는 각각 Blue, Green, Red, NIR 밴드를 지칭한다. 두 센서 모두에서 B1, B2, B3 는 서로 간 상관관계가 0.9 이상으로 매우 높은 수치를 나타내고 있는데, 이는 이들 밴드들 사이에서 상당한 양의 분광정보가 반복되어 있음을 뜻한다. 상대적으로 낮은 상관관계는 B1, B2, B3과 B4사이에서 발생하며, 특히 B1과 B4는 가장 낮은 상관관계를 보여주고 있다. 이러한 결과는 Fig. 3의 분광 응답함수와 연동하여 설명 될 수 있는데, 적외선 영역(B4)는 가시영역의 밴드(B1, B2, B3)와 비교하여 서로 간 중복성이 없는 것이 주된 원인으로 파악 할 수 있다. 하지만, 밴드 간 상관계수의 절대적인 수치비교를 통하여 밴드 간 중첩 정도 혹은 비교 우위를 파악하는 것은 다소 어려움이 있을 것으로 판단된다. 왜냐 하면, 밴드 간 상관관계는 촬영된 지표/지물의 지역적 특성에 매우 큰 영향을 받기 때문이다.

Table 5.Correlation coefficients a pair of MS images for KOMPSAT-2/3 images

Table 6은 연구에 사용된 KOMPSAT-2와 3 각각의 전정색 영상과 다분광 영상에 고주파 필터링을 적용하고, 상호간 상관계수를 계산한 결과를 나타낸다. 사용된 필터링은 라플라시안 필터로 3 by 3 크기의 윈도우를 적용하였다(Zhou et al., 1998). CS 기법의 경우, 다분광 영상에 주입되는 고주파 성분은 기본적으로 전정색 영상과 다분광 영상으로부터 추출된 intensity의 차분으로 계산되기 때문에, 만약 전정색 영상과 다분광 영상 간 공간적 상관성이 작은 영역의 경우, 영상 융합에 불필요한 고주파, 혹은 저주파 성분들이 포함 될 수 있으며, 이는 최종적인 융합 영상의 분광왜곡을 야기 시키는 원인으로 작용 할 수 있다. 따라서 전정색 영상과 다분광 영상 간 공간상관도의 측정은 최종적인 영상융합 결과의 질을 가늠하는 사전 분석 도구로 사용 가능할 것으로 판단하였다. Table 6에서 확인 할 수 있는 것처럼 필터링이 적용된 다분광 영상과 전정색 영상 간 상관계수는 밴드 간 서로 다른 값을 가진다. 물론, 이와 같은 공간 상관계수는 촬영 지역의 개체 특성에 큰 영향을 받으므로 일반화된 수치로 판단하기는 어렵다. 하지만, 전반적으로 KOMPSAT-2 에 비해 KOMPSAT-3의 대부분의 공간 상관계수의 수치가 상대적으로 향상된 경향성을 확인 할 수 있으며, 이는 Fig. 3(c)의 전정색 영상의 밴드의 응답 범위가 Fig. 3(b) 와 비교하여 상대적으로 분포 범위가 균일하고, 이상적인 분광응답함수 Fig. 3(a)에 상대적으로 가깝게 표현되고 있는 것과 연관된 것으로 생각 할 수 있다. 또한, KOMPSAT-2/3에서 B1 보다는 B2에서 B4보다는 B3에서 상대적으로 높은 수치가 나타나는 공통점이 관찰되며, KOMPSAT-2에서는 B2 보다는 B3에서 높게, KOMPSAT-3에서는 B3보다 B2에서 높은 수치가 나타내는데, 이는 Figs. 3(b) and (c)의 KOMPSAT-2/3에서 표현된 전정색 밴드와 다분광 밴드 중첩 비율의 차이와 일치되는 결과이다. 특히, KOMPSAT-2의 경우에는 전정색 영상과 B1과 B2 간 공간 상관계수가 다른 밴드와의 상관계수보다 작고, 특히 B1과 전정색 밴드 간 수치가 낮게 표현됨을 확인 할 수 있는데, 이 또한 Fig. 3(b)에서 그 연관성을 구체적으로 확인할 수 있다.

Table 6.Spatial correlation coefficients between PAN and MS images for the KOMPSAT-2/3 images

Table 7은 다분광 영상과 전정색 영상 간 Eq. (7)의 선형회귀식을 적용하여 계산된 회귀 계수를 나타낸다(Aiazzi et al., 2007). c1, c2, c3, c4는 전정색 영상과 다분광 영상의 상호관계를 나타내며, c0는 전정색 영상과 다분광 영상의 화소범위를 조정하는 상수이다. 각각의 계수는 다분광 영상을 이용하여 전정색 영상에서 차분될 가상의 저주파 영상을 제작하는데 사용되는 가중치를 의미하며, 수치가 클수록 각각의 다분광 영상과 전정색 영상 간 유사성이 큰 것으로 분석 할 수 있다. 하지만, 이 역시 사용된 영상의 지표 특성에 크게 관련되는 값으로, Table 7에 제시된 각각의 수치가 전정색 영상과의 유사성을 표현하는 일반적 수치로 판단 할 수는 없다. 다만, 도출된 결과에서 파악되는 전반적인 경향성은 다소 의미가 있다고 판단된다. 즉, KOMPSAT-3에서 계산된 계수는 KOMPAT-2와 비교하여, 각각의 계수 간 변동폭이 작고, 상대적으로 안정화된 수치를 지니는 경향성을 확인 할 수 있는 데, 이는 Fig. 3(c)에서 전정색 밴드가 다분광 밴드 전체의 파장범위와 응답 범위를 대부분 포함하고 있는 것과 밀접한 관련이 있는 것으로, 이는 다분광 영상과 전정색 영상 간 전반적인 공간적/분광적 유사성이 상대적으로 향상되었다는 것을 의미한다.

Table 7.Regression weights between PAN and MS image for the KOMPSAT-2/3 images

전반적인 분석 결과를 고려할 때, KOMPSAT-3의 분광 및 공간 특성은 KOMPSAT-2와 비교하여, 상대적으로 안정되고 보완된 결과를 나타냄을 확인 할 수 있다. 이는 CS 기법의 기본 원리가 다분광 영상을 이용하여 가상의 저주파 영상을 생성하고, 전정색 영상에서 앞선 생성된 가상의 저주파 영상을 차분하여, 다분광 영상에 주입할 고주파 성분을 올바르게 추출하는데 그 성능이 좌우된 다는 것을 고려하여 생각할 때, 해당 융합기법을 이용하여 융합 영상을 제작할 경우 KOMPSAT-2 보다 KOMPSAT-3에서 향상된 융합 결과를 나타낼 수 있을 것으로 예상할 수 있는 결과이다.

(3) 영상융합 실험 결과

센서의 특성에 따라 달라지는 영상융합 성능의 상대적 비교 분석을 위해 선정된 영상융합 기법은 CS 기반의 GIHS, GS1, GSA, GSA-CA이다. 실험을 위해 거의 동일 지역/시기에 촬영된 KOMPSAT-2/3 위성영상을 획득하였으며, 원 다분광 영상을 기준으로 512 by 512의 크기의 부분 영상을 제작하여 연구에 활용하였다. 앞서 제시된 영상융합 기법들은 전역적 기법(GIHS, GS1, GSA)과 지역적 기법(CSA-CA)나뉠 수 있으며, 지역적 영상융합 기법의 경우 경험적인 방법으로 도출된 결과를 기반으로 77 by 77 크기의 윈도우 크기를 적용하였다. 이때, 윈도우 크기 변화에 대한 영향 분석은 다음 절에서 세부적으로 기술하였다.

융합된 영상에 대한 품질평가는 시각적 분석과 정량적 분석을 병행하여 수행하였다. 시각적 분석의 경우, 먼저 영상 전체에서의 전반적인 왜곡의 경향성을 관찰한 후, 중요 지역을 확대하여 보다 정밀한 분석을 수행하였다. 융합 영상의 정량적 평가는 영상 융합 평가 기법에서 가장 널리 사용되는 평가지수인 Spatial ERGAS(Lillo-Saacedra and Gonzalo, 2006), Spectral ERGAS(Ranchin and Wald, 2000), Q4(Alparone et al., 2007), SAM(Kruse et al., 1993)를 이용하였다.

Figs. 5 and 6은 각각 KOMPSAT-2 영상과 KOMPSAT-3 영상에 선정된 영상융합 기법을 적용하여 생성된 영상융합 결과이다. KOMPSAT-2 와 KOMPSAT-3 로 촬영된 영상의 획득 시기와 지역은 거의 동일하다는 점을 감안할 때, 각 위성 별 융합 영상에서 관찰되는 특징 및 차이점은 사용된 센서 자체의 특성에 기인하는 것으로 예상할 수 있다. Fig. 5의 경우, 전반적으로 Blue 색상의 톤이 강조되고 있음을 확인 할 수 있으며, 이러한 특징은 융합에 사용된 저해상 다분광 영상 Fig. 5(a)와 GS1으로 제작된 융합 영상 Fig. 5(d)에서 뚜렷하게 관찰 된다. 이는 센서 자체가 지니고 있는 분광 밴드의 특성 차이로 인해 발생되는 것으로 판단되며, KOMPSAT-2의 Blue 밴드 성능이 다른 분광 밴드들과 비교하여, 다소 저하된 성능을 나타내는 것과도 연관 있는 것으로 판단된다.

Fig. 5.512 by 512 color compositions of fusion results by using KOMPSAT-2 image. (a) Original MS bands resampled to the full scale. (b) Original PAN bands degreed to the MS scale, (c) GIHS, (d) GS1, (e) GSA, (f) GSA-CA

Fig. 6.512 by 512 color compositions of fusion results by using KOMPSAT-3 image. (a) Original MS bands resampled to the full scale. (b) Original PAN bands degreed to the MS scale, (c) GIHS, (d) GS1, (e) GSA, (f) GSA-CA

한편, 여기서 지적될 수 있는 문제는 실험을 위해 저하된 영상 Fig. 7(a) 은 이론적으로 원 해상도의 다분광 영상 Fig. 2(a)과 가장 유사한 색상을 나타내야 하지만, 실제 실험 영상에서는 원 영상의 색상과 다소 다른 분광 특성을 지니는 것으로 관찰 된다는 것이다. 이는 저 해상 실험 영상의 생성과정에서 적용된 가우시안 저역필터의 차단 주파수와 크게 연관된 것으로 본 연구의 경우 각각의 실험 영상에 QuickBird-2에 적용되는 차단 주파수를 그대로 적용하였기 때문에 발생된 문제로 예상 된다. 실제로 각 밴드별로 적용되는 차단 주파수 수치를 상향 조정할 경우 이 같은 색상 차이는 다소 완화됨을 확인하였으나, 이와 반대로 실험에 요구되는 적절한 해상도 감소가 이뤄지지 않는 문제점이 발생되었다. 물론, 본 연구에서는 서로 다른 영상 융합 기법 간 상대적 성능 평가가 주목적임으로 비록 다소 상태가 저하된 실험 영상을 사용하더라도, 실험의 진행을 위한 초기 조건이 서로 동일하기 때문에 최종적인 연구 결과 도출에는 큰 문제가 없을 것으로 예상할 수 있다. 그러나 연구 결과의 객관성 및 신뢰성 향상을 위하여 이러한 문제점을 해결 할 수 있는 세부적인 보완 연구가 진행 되어야 할 것으로 판단된다.

Table 8은 각각 KOMPSAT-2와 3 영상으로 실험된 분광/공간 평가지수 결과를 나타내며, Table 9는 각 융합기법 별 상대적인 분광 왜곡 감소량과 공간해상도 증가량을 표현한 결과이다. Table 8에서 GIHS와 GS1 기법은 전반적으로 높은 공간 보존능력을 지닌 것으로 판단되었으며, GSA와 GSACA의 경우, 비록 앞선 두 기법보다 공간적 세밀함은 저하되었지만 분광보존 능력은 상대적으로 향상되었음을 확인 할 수 있다. 각각의 융합 기법에 대한 성능은 두 위성 영상에서 유사한 경향성이 관찰되었으나, KOMPSAT-2 영상의 GS1 기법으로 제작된 융합영상의 경우, GIHS 기법으로 생성된 영상보다 큰 분광왜곡이 발생되는 것으로 분석되는 특이점이 나타났다.

Table 8.Quality scores and ranking of the fusion methods for the KOMPSAT-2/3 image

Table 9.Relative ratio of changes of quality scores for the KOMPSAT-2/3 image

각 기법의 융합 결과에 대한 상대적인 경향성을 세부적으로 분석하기 위하여, GIHS 기준의 GS1 변화량, GS1 기준의 GSA 변화량, GSA 기준의 GSA-CA 변화량을 계산하였으며, 그 결과를Table 9에 표현 하였다. 이때, Table 9의 수치가 양의 값을 가지는 것은 기준 된 기법과 비교하여, 대상 기법의 공간 및 분광보존력이 상대적으로 상승되었다는 것을 의미한다. GIHS에 대한 GS1의 상대적 변화량의 경우, 두 위성영상 모두에서 공간해상력 평가 지수가 6.211％와 1.602％으로 향상된 것을 확인 할 수 있다. 반면, 분광 평가 지수에서 는 서로 간 반대의 결과를 나타냈는데, 이는 시각적 분석결과를 통해 구체적으로 확인 할 수 있었다. 즉, KOMPSAT-2의 경우, GS1으로 제작된 융합 영상 Fig. 5(d)는 다른 융합기법으로 제작된 융합 영상 비교하여, 상대적으로 큰 색상왜곡이 발생되는 특징이 나타났다(Fig. 5(c)-(d), Fig. 6(c)- (d)). GS1에 대한 GSA 변화량의 경우, 공간 평가지수 변화량은 각각 −16.698％과 −14.274％으로 다소 저하된 것을 확인 할 수 있지만, 모든 분광평가 지수에 대하여 GSA 기법이 우수한 값을 가지는 특징을 나타냈다. 특히, KOMPSAT-2 위성영상의 Spectral ERGAS, Q4, SAM 수치의 변화량은 각각 7.643％, 1.129％, 1.338％로, KOMPSAT-3의 5.004％, 0.134％, 5.744％과 비교하여, SAM을 제외한 두 평가지수에서 상대적으로 큰 폭의 향상을 나타냈다. 하지만 이 같은 차이를 “KOMPSAT-2 영상에서는 GS1에 대한 GSA의 성능비가 다른 센서에 비해 높다.” 라고 분석 하기는 어려우며, 해당실험 영상에서의 GS1의 품질이 다른 기법들에 비해 상대적으로 낮게 측정된 것 때문에 발생된 결과로 판단하는 것이 옳을 것이다. GSA에 대한 GSA-CA의 상대적 변화량의 경우, 공간 평가 지수 변화량은 각각 −1.216％와 −0.676％으로 공통적인 저하를 확인 할 수 있으나, 분광 평가 지수의 경우 각 평가 지수별로 다른 결과를 나타냈다. Q4의 경우에는 각각 0.372％와 0.185％로 공통적으로 향상된 결과를 나타냈으나, Spectral ERGAS는 각각 −4.121％와 −0.669％로 하락된 수치를 나타냈다. 반면, SAM의 변화량은 각각 −0.558％와 2.394％로 서로 상반된 결과를 나타냈다.

이와 같은 결과는 평가지수의 세부적인 특성차이에 기인하여 도출된 결과로 분석 가능하다. SAM 평가지수의 경우, 방사벡터 사이의 길이차이는 고려하지 않고 벡터 간 각도차이를 계산하기 때문에 색상(hue)의 유사성은 판단 할 수 있지만 밝기(brightness)와 채도(saturation)와 같이 화소값 자체의 차이에 의한 왜곡은 반영하지 못하는 단점이 있으며, 일반적인 SAM 값은 각각의 화소 위치에서 계산되는 각도 차이의 산술 평균 값을 사용하고 있기 때문에, 만약 몇몇 일부 지역에서 발생되는 지역적인 왜곡이 영상 전체에 대한 왜곡으로 확대 전파 될 수 있다. Spectral ERGAS의 경우에는 원영상과 융합된 영상의 RMSE로부터 계산되기 때문에 두 영상간 전역적인 왜곡량의 측정은 가능하나, 색상과 같이 시각적인 평가와 직접적으로 관련된 평가 요소를 상대적으로 작게 반영하고 있기 때문에 정성적인 평가 결과와 해당 수치를 통한 정량적 평가 결과가 완벽하게 일치되지 않을 수 있는 특징을 지닌다. 반면, Q4지수는 windowing 계산을 통하여, 융합영상의 색상 변화, 화소 값의 차의 차이를 정량적으로 평가하는 있는 지수이기 때문에 영상 전체적인 왜곡량을 적절히 평가 할 수 있는 장점을 지닌다.

일반적으로 GSA-CA 융합 결과는 GSA 에 비해 우수한 분광보존력을 가지고 있는 것으로 알려져 있다(Aiazi et al., 2007). 이와 같은 일반성은 본 연구에서 활용한 KOMPSAT-2/3 융합 영상에 대한 시각적 비교결과에서도 확인되었다. 또한, 이는 두 위성 영상 모두에서 GSA-CA가 GSA에 비해 향상된 Q4 수치를 나타낸 결과와도 일치하는 것이다. 하지만, SAM의 경우, KOMPAT-3에서는 2.394％의 향상된 값을 보인 반면, KOMPSAT-2에서는 −0.588％의 감소를 나타냈는데 이는 KOMPSAT-2에 GSA-CA 기법을 적용했을 시 발생되는 일부 지역적인 blurring 현상이 반영 된 것으로 판단 할 수 있다. Fig. 7은 KOMPSAT-2 영상에 GSA기법(Fig. 7(a))과 GSA-CA 기법(Fig. 7(b))을 적용하여 제작 된 융합영상을 확대하여 나타낸 것으로, GSA-CA 기법으로 제작된 융합 영상의 중앙에서 푸른색 계통의 색상이 주변 지역으로 blurring된 현상을 확인 할 수 있다. 하지만, 이와 같은 현상은 영상의 일부 지역에서만 발견되는 특징으로 영상전반적인 색상 보존력은 상대적으로 향상된 결과를 나타냈다. 또한, Sectral ERGAS의 경우, KOMPSAT-2/3 각각에서 −4.212％와 −0.699％의 감소를 나타냈는데, KOMPSAT-2는 앞서 설명한 지역적인 blurring 현상이 수치 하락의 원인으로 예상되며, KOMPSAT-3의 경우 해상 평가계수의 변동 폭을 고려할 때, 매우 미비한 수치의 감소만을 나타냈기 때문에 상대적인 색상 왜곡 정도를 언급하기는 어려울 것으로 판단된다.

Fig. 7.64 by 64 color compositions of the details of fusion results by using KOMPSAT-2 image. (a) GSA (global infection model), (b) GSA-CA(window size of 77 by 77)

종합적인 분석 결과를 고려할 때, KOMPSAT-2/3 모두에서 GSA와 GSA-CA으로 기법으로 융합 된 결과가 공간적/분광적 측면에서 우수한 결과를 나타냈으며, GSA-CA 기법의 경우에는 비록 KOMPSAT-2에서는 지역적인 왜곡 현상이 발견되었지만 전역적인 측면에서의 분광 보존력이 향상된 것을 확인 할 수 있었다. 또한, 여기서 반드시 언급되어야하는 부분은 KOMPSAT-2와 KOMPSAT-3에 서로 다른 융합 기법을 적용 하였을 때 생성되는 융합영상의 절대적 질은 KOMPSAT-3에서 매우 높게 나타낸다는 것이다. 이는 앞서 제시된 Figs. 5 and 6에서 구체적으로 확인할 수 있는데, KOMPSAT-3의 경우 융합기법의 변화에 따라 그 품질의 향상이 있기는 하지만 전반적으로 우수한 성과를 나타내는 반면, KOMPSAT-2의 경우에는 적용되는 융합 기법에 따라 도출되는 영상의 품질 차이가 매우 크게 나타났다. 결과적으로 KOMPSAT-2는 영상 촬영 시점부터 영상 융합의 질을 저하시킬 수 있는 일정 부분의 한계를 지니고 있고, 이와 같은 문제점은 사용되는 영상 융합 기법에 의존되어 보완되어야 한다는 것을 의미한다.

또한, 사용된 지역적 융합 계수(GSA-CA)의 성능에 영향을 미칠 수 있는 고려사항으로 윈도우 크기에 따른 변화를 들 수 있다. 이론적으로 윈도우 크기 가 전체 영상의 크기에 근접해 질 경우, 지역적 융합 변수 값이 전역적인 융합 계수 값에 수렴하는 되는 특징을 나타낸다. 그러나 윈도우의 크기가 영상 크기보다 작을 경우에는 결과 영상이 설정된 윈도우의 크기에 따라 다른 특징을 보일 수 있다. 따라서 이와 같은 윈도우 크기에 따른 융합 결과의 영향 평가는 다음 절에서 세부적으로 분석 기술 한다.

3.3 윈도우 크기에 다른 영향 평가

GSA-CA에 사용되는 지역적 융합계수는 사용된 윈도우 크기에 의해 결과 영상의 품질이 변화된다. 일반적으로, 윈도우 연산을 하는 융합기법의 연구에서는 7~11 크기의 윈도우 크기를 제안하고 있으나, 사용된 센서와 실험 지역에 따라 최적의 크기는 달라지는 것으로 알려져 있다(Aiazzi et al., 2007). 이에 본 실험에서는 윈도우의 크기를 5에서 88까지 증가하면서, 달라지는 정성적/정량적 변화를 분석하고자 하였다. Fig. 8은 윈도우 크기 변화에 따른 공간적/분광적 평가지수의 변화를 그래프로 나타낸 것으로 Fig . 8의 (a)와 (b)는 각각 KOMPSAT-2/3 영상을 통해 도출된 결과를 표현한다. 이때, 화살표로 강조한 수치는 윈도우 크기 77 by 77에서 계산된 값을 나타내며, 이는 Table 8에서 명시된 CSA-CA 기법에 대한 평가 수치를 나타낸다.

Fig. 8.Quality scores in a CSA-CA method to increase size of sliding window

평가 결과, 윈도우 크기가 작을 때는 상대적인 왜곡도가 높은 수치를 지니며 윈도우 크기가 증가할수록 그 수치가 수렴되어 표현되는 경향을 나타내었다. 이와 같은 결과는 본 연구에서 사용된 CSA-CA 기법에서 사용되는 융합계수의 경우, 윈도우 크기 내의 화소들에 대한 분산 및 공분산의 식으로 계산되기 때문에 윈도우 크기가 작을 경우, 상대적인 과대보정 혹은 과소보정이 나타나기 때문인 것으로 판단된다. 이와 같은 문제는 화소들의 값이 거의 유사하거나, 수목 지역과 같이 변화특성이 상대적으로 조밀한 지역에서 보다 두드러지게 관찰되었다.

Fig. 8은 KOMPSAT-3 영상을 통해 제작된 융합 영상에서 식생지역을 확대한 64 by 64 크기의 부분영상을 도시하며, Fig. 8(a)는 전역적 융합 계수를 정의한 CSA 기법, Fig. 8(b)는 5 by 5 크기의 원도우가 적용된 CSA-CA 기법, Fig. 8(c)는 77 by 77 크기의 윈도우가 적용된 CSA-CA 기법을 이용하여 제작된 영상이다. Fig. 8(b)의 경우, 해당 지역의 색상왜곡이 상대적으로 매우 크게 발생되었음을 확인할 수 있으며, 일부 지역에서는 blurring 현상으로 인한 공간해상도의 왜곡도 두드러지게 관찰되었다. Fig. 8(a)의 경우, 전반적인 색상 톤은 안정되어 있지만 Fig. 8(c)와 비교하여 다소 분광해상력이 저하되어 있음을 확인 할 수 있다. 이는 정량적인 수치에서도 확인 할 수 있으며, 이는 Table 9의 KOMPSAT-3 영상에 대한 GSA와 GSA-CA 간 상대적 수치 변화에서 공간해상력은 다소 감소하지만, 분광 정보의 보존정도는 GSA-CA 기법이 향상되어 나타나는 것과 일치되는 결과이다.

Fig. 9.64 by 64 color compositions of the details of fusion results by using KOMPSAT-3 image. (a) GSA (global infection model), (b) GSA-CA(window size of 5 by 5), (c) GSA-CA(window size of 77 by 77)

 

4. 결 론

본 논문에서는 사용되는 센서의 특성, 특히 밴드 간 분광 응답함수의 차이에 따라 달라질 수 있는 영상융합 기법의 성능 차이에 대한 상대적 비교 분석을 주된 연구 목적으로 하였다. 이를 위해, CS 기반의 대표적 영상융합 기법인 GIHS, GS1, GSA, GSA-CA을 선정하였고, 거의 동일 시기/동일 지역을 촬영한 KOMPSAT-2/3 위성영상을 이용하였다.

융합 영상의 성능 평가는 정량적/정성적 방법을 혼용하여 진행하였다. 정량적 평가를 위해 Spatial ERGAS, Spectral ERGAS, SAM, Q4 지표가 사용되었고, 시각적 평가 결과와 상대적인 비교 분석을 수행하였다. 분석 결과, KOMPSAT-2/3 영상 모두에서 GSA 기법과 GSA-CA 기법이 다른 기법들에 비해 상대적으로 우수한 품질을 나타냈다.

하지만, 여기서 반드시 언급되어야 하는 부분은 KOMPSAT-2와 KOMPSAT-3에 서로 다른 융합 기법을 적용하였을 때 생성되는 융합영상의 절대적 질은 KOMPSAT-3에서 매우 높게 나타낸다는 것이다. 결과적으로 KOMPSAT-2는 영상 촬영 시점부터 영상 융합의 질을 저하 시킬 수 있는 일정 부분의 한계를 지니고 있고, 이와 같은 문제점은 사용되는 영상 융합 기법에 의존되어 보완되어야 한다는 것을 의미한다. 반면, KOMPSAT-3에서는 KOMPSAT-2에서 발생되었던 상당부분의 관련 문제들을 보완 하였으며, 결과적으로 동일한 실험 조건에서도 상대적으로 향상된 융합 결과를 나타낸 다는 것을 확인 할 수 있었다.

한편, 본 연구에서는 해상도가 저하된 실험 영상의 제작을 위하여 QuickBird-2에 적용되는 차단주파수를 그대로 적용하여 연구의 범위를 한정하였다. 향후에는 관련 연구의 신뢰성 향상을 위하여 KOMPSAT-2/3 센서 및 밴드 특성이 반영된 세부 파라미터 도출 연구를 진행할 예정이다.