A Study on Non-uniformity Correction Method through Uniform Area Detection Using KOMPSAT-3 Side-Slider Image

사이드 슬리더 촬영 기반 KOMPSAT-3 위성 영상의 균일 영역 검출을 통한 비균일 보정 기법 연구 양식

Abstract

Images taken with KOMPSAT-3 have additional NIR and PAN bands, as well as RGB regions of the visible ray band, compared to imagestaken with a standard camera. Furthermore, electrical and optical properties must be considered because a wide radius area of approximately 17 km or more is photographed at an altitude of 685 km above the ground. In other words, the camera sensor of KOMPSAT-3 is distorted by each CCD pixel, characteristics of each band,sensitivity and time-dependent change, CCD geometry. In order to solve the distortion, correction of the sensors is essential. In this paper, we propose a method for detecting uniform regions in side-slider-based KOMPSAT-3 images using segment-based noise analysis. After detecting a uniform area with the corresponding algorithm, a correction table was created for each sensor to apply the non-uniformity correction algorithm, and satellite image correction was performed using the created correction table. As a result, the proposed method reduced the distortion of the satellite image,such as vertical noise, compared to the conventional method. The relative radiation accuracy index, which is an index based on mean square error (RA) and an index based on absolute error (RE), wasfound to have a comparative advantage of 0.3 percent and 0.15 percent, respectively, over the conventional method.

KOMPSAT-3로 촬영한 영상은 일반 카메라로 촬영한 영상과 달리 가시광선 대역의 RGB 영역뿐만 아니라 NIR, PAN Band를 추가적으로 가지고 있다. 또한, 지상 685 km의 높은 고도에서 약 17 km 이상이 되는 넓은 반경의 지역을 촬영하기 때문에 이에 따른 전기적, 광학적 특성을 고려해야 한다. 즉, KOMPSAT-3의 카메라 센서는 각 CCD 픽셀 별, 각 band 별 특성, 감도 및 시간에 따른 변화, CCD Geometry 등에 의해 왜곡 현상이 발생하는데, 왜곡 현상을 해결하기 위해 센서보정이 필수적으로 필요하다. 본 논문에서는 KOMPSAT-3 사이드 슬리더 촬영 기반 영상에서 세그먼트 기반 노이즈 분석을 통한 균일 영역을 검출하는 기법을 제안한다. 해당 알고리즘을 통해 균일 영역을 검출 후 비 균일 보정 알고리즘 적용을 위해 각 센서별로 보정 테이블을 생성한 후 생성된 보정 테이블을 이용하여 위성 영상 보정을 수행하였다. 그 결과 기존 기법 대비 제안한 기법을 통해 수직 노이즈와 같은 위성 영상의 왜곡을 감소하였으며, 영상 품질의 척도인 상대적 방사 정확성 지표에 대해서는 평균 제곱 오차를 사용한 지표(RA)와 절대오차를 이용한 지표(RE)에 대해서 기존 방법에 대비하여 각각 0.3%, 0.15% 평가 지표에서 비교 우위에 있음을 확인하였다.

1. 서론

KOMPSAT-3로 촬영한 영상은 일반 카메라로 촬영한 영상과 달리 가시광선 대역의 RGB 영역뿐만 아니라 NIR, PAN Band를 추가적으로 가지고 있다(Lee et al., 2017; Jin et al., 2021). 또한, 지상 685 km의 높은 고도에서 약 17 km 이상이 되는 넓은 반경의 지역을 촬영하기 때문에 이에 따른 전기적, 광학적 특성을 고려해야 한다. KOMPSAT-3 위성 영상 카메라의 센서는 각 CCD 픽셀 별, 각 band 별 특성, 감도 및 시간에 따른 변화, CCD Geometry 등에 의해 왜곡 현상이 발생하는데, 왜곡 현상을 해결하기 위해 센서보정을 필수적으로 수행해야 한다. 따라서, 위성 영상의 특성을 이해하고 고려하여 위성 영상만의 보정 기법을 적용하게 된다(Zhang et al., 2018; Lin et al., 2018).

Array CCD 기반의 위성 카메라 센서는 센서 별 편차에 의해 동일 광원이 조명된다 하더라도 센서 별로 다른 출력 신호를 생성하게 된다. 이러한 문제를 해결하기 위해 방사 캘리브레이션(Radiometric calibration) 및 방사 보정(Radiometric correction)을 수행해야 한다. 방사 캘리브레이션은 알려진 광원에 대한 모든 센서의 반응을 정량화하는 과정이며, 방사 보정은 캘리브레이션 과정에서 만들어진 센서의 응답을 바탕으로 이미지 왜곡을 제거하기 위해 원래 획득된 픽셀 값을 조정하는 것을 말한다(Bradley et al., 2004). 방사 캘리브레이션은 초점 면에서 각 센서의 응답으로 계산할 수 있는데 아래 식 (1)과 같다.

DN = L × g + A       (1)

여기서 DN은 카메라 센서 검출기 응답으로 Digital Number를 의미하며 KOMPSAT-3 위성 영상에서는 14 비트의 픽셀 해상도, DN 값으로는 0~16383의 값을 가질 수 있다. L은 W/m²/ster/µm 단위의 교정 소스의 방사도를 의미하며, g는 센서에서 얻어지는 이득을 말하며, A는 오프셋을 의미한다. 오프셋 A는 식 2과 같이 계산되는데, 빛이 없는 상태인 영(zero) 방사에 대한 DN 레벨을 의미한다.

A = DN_dark       (2)

이득 g는 센서 레벨에 대한 검출기 응답을 측정한 후에 계산할 수 있으며, 식 (1)을 변형하면, 식 (3)과 같다.

\(g=\frac{D N-A}{L}\)       (3)

식 (3)에서 계산된 이득 g의 값을 이용하여 센서에 대한 보정 계수를 이미지의 각 픽셀에 적용하여 원 영상을 보정할 수 있으며, 식 (4)를 이용하여 보정이 가능하다

\(q=\frac{D N_{r a v}-A}{L}\)       (4)

여기서 q는 보정된 DN 값이며, DN_raw는 원 영상의 DN 값을 의미한다. B는 상대적인 이득을 의미하며 식 (5)와 같이 계산된다

\(B=\frac{g}{g_{a n g}}\)       (5)

식 (5)에서 g_avg는 센서 어레이의 평균 이득을 의미한다. 방사 측정 보정 중에는 절대적인 방사 레벨 값인 L을 알 수 없으므로 절대 이득 값인 g를 계산할 수 없다. 하지만, 위성이 균일한 영역을 촬영 시에 앞서 언급된 해당 균일 영역의 절대 방사 레벨 L은 알 수 없지만, 각각의 센서의 이득을 모든 센서에 대한 평균 이득에 대한 상대 이득을 계산하여 상대 보정을 계산하는 것은 가능하다 (Bradley et al., 2004).

비 균일 보정을 위해서는 지상의 존재하는 평탄한 표적을 촬영해야 하는데, 지상에는 평탄한 표적이 많지 않아 비 균일 보정의 어려움이 존재한다. 대양(ocean)의 경우 방사선적으로 평탄한 지역이지만 비 균일 보정을 위한 계수를 산출할 정도로 다이나믹 레인지(Dynamic Range)가 충분히 크지 않다. 대체적으로 균일하다고 생각되는 사막 지역의 경우에도 모래 언덕 등으로 인해 실제로 균일하지 않다. 균일한 영역을 획득하기 위해 고려할 수 있는 다른 방법은 반사 패널 또는 태양광 확산기(solar diffuser)와 같은 온보드 교정 소스를 고려할 수 있으나 비용이 추가되고 방사선 균일성이 시간에 따라 변하는 단점이 있다.

따라서, 위와 같은 보정을 위해 필요한 균일한 영상을 생성하기 위해 사이드 슬리더 방식을 이용한 스캔 방식이 도입되었으며, 사이드 슬리더 방식을 이용했을 때 단일 촬영으로 넓은 다이나믹 레인지의 균일한 영역을 빠른 시간에 확보할 수 있는 장점이 있다(Bradley et al., 2004). 사이드 슬리더 방식의 스캔 방식의 목표는 모든 센서가 동일한 광량을 보도록 하는 것을 목표로 한다. Fig. 1을 살펴보면 위성이 영상을 획득하기 위한 일반적인 스캔 방식과 사이드 슬리더 스캔 방식의 차이를 보여준다. 일반 영상 스캔 방식 (a)은 초점 면(focal plane)에 대하여 위성 진행 방향과 Sensor Array가 수직을 이루게 된다. 반면에 사이드 슬리더 스캔 방식 (b)는 SensorArray와 위성의 진행방향이 같은 방향을 나타내며, 모든 센서가 지상의 특정 영역을 촬영하도록 한다. 일반 영상 스캔 방식에 대한 예시는 Fig. 2에 나타나 있다. “알파벳” 영역에 대하여 촬영을 할 때 T1 ~ T4까지의 시간적 순서에 따라 촬영된 결과를 나타낸다. 사이드 슬리더 스캔 방식(b)의 예시는 Fig. 3에 나타나 있다. 사이드 슬리더 영상에서는 초점 면이 90° 회전되고, 영상 획득을 위한 스캐닝은 센서 어레이와 평행하게 된다. 따라서 각 센서는 동일한 지역을 촬영하게 된다.

Fig. 1. (a) normal scan imaging and (b) side-slither scan imaging.

Fig. 2. Normal scan imaging example.

Fig. 3. Side-slither scan imaging example.

이상적인 사이드 슬리더 스캔 방식에서는 많은 장점을 가지고 있지만(Li et al., 2017; Cheng et al., 2019), 사이드 슬리더 영상에서 검보정을 수행할 시에 여러 가지 현실적인 문제가 발생하게 된다. yaw 방향으로 센서를 정확한 90°를 돌려야 하는데 오차가 생길 수밖에 없고, 지구의 대기 조건에 따라서 획득된 영상에 왜곡이 생기게 된다. 또한, 획득된 영향은 45° 대각선으로 위아래로 경계를 이룬 이미지로 생성이 되는데, 생성된 이미지에서 투영(projection) 과정을 수행한 후의 이미지에서 보정 값을 산출하기 때문에 이 투영에 의해 발생하는 오차도 생기게 된다. 따라서, 필연적으로 사이드 슬리더 스캔 방식으로 획득된 영상에서 위에 언급된 문제를 해결해야 한다.

본 논문에서는 KOMPSAT-3 사이드 슬리더 영상에서의 세그먼트 기반 노이즈 분석을 통한 균일 영역을 검출하는 기법을 제안한다. 제안하는 기법을 통해 정밀한 균일 영역을 검출하여, 비 균일 보정(Non-Uniformity Correction, NUC) 알고리즘을 위한 테이블을 생성한다. 생성된 NUC 테이블을 적용하여 사이드 슬리더 촬영 기반 위성 영상 및 일반 스캔 방식으로 획득한 위성 영상 보정을 수행한다. 보정된 위성 영상의 정성적, 정량적 평가를 통해 제안된 균일 영역 검출 기법이 기존 기법 대비 비교 우위에 있음을 확인하였다.

본 논문에서 제안하는 균일 영역 검출을 통한 비균일 보정 기법의 주요한 특징은 다음과 같다

•KOMPSAT-3 사이드 슬리더 기반 촬영 영상에서 세그먼트 기반 노이즈 분석을 통한 균일 영역을 검출하는 기법을 제안하였다. 제안된 기법으로 비균일 보정 테이블을 생성하고 적용하여 위성 영상의 비균일 보정을 수행하였다.

•사이드 슬리더 스캔 방식으로 촬영된 위성 영상의 비균일 보정 전/후의 DN 값 대비 표준 편차와의 상관관계를 분석하였고, 보정된 영상의 결과를 확인하였다.

•KOMPSAT-3 위성에서 획득한 다양한 영상의 정성적, 정량적 분석을 통해 제안된 균일 영역 검출 기법 및 비균일 보정 기법의 타당성을 검증하였다.

본 논문의 구성은 다음과 같다. 2장에서는 제안하는 연구 방법에 대해 설명하고, 3장에서는 제안한 사이드 슬리더 스캔 방식 기반 위성 영상에서 균일한 영역을 검출하고 비균일 보정 후의 성능을 확인하기 위한 실험 환경 및 구현 방법에 대해 기술하고, 4장에서는 제안하는 기법의 정성적, 정량적 성능 평가 결과를 기술하였다. 마지막으로 5장에서는 결론으로 연구 결과 및 시사점에 대해 논의하였다.

2. 연구 방법

본 논문에서 제안하는 사이드 슬리더 영상을 이용한 균일 영역을 검출 및 비 균일 보정 기법의 전체 과정은 Fig. 4와 같다. 먼저 사이드 슬리더 영상에 edge 기반의 horizontal correction 전처리 과정을 적용한다. 전처리 과정을 수행한 후, 전처리가 끝난 위성 영상의 세그먼트 영역을 설정하고, 세그먼트 영역 별로 평균과 표준 편차 (Standard Deviation, STD)를 구해 DN 별 표준 편차를 이용하여 노이즈 분석을 수행한다. 분석된 내용을 바탕으로 정해진 기준에 따라 균일 영역이라고 판단되는 세그먼트 영역을 결정한다. 이 결정된 영역에서의 평균값이 그 영역을 대표하는 DN 값이며, 대표된 값에 대응하는 가장 작은 표준 편차를 가지는 영역이 균일 영역이다. 이렇게 결정된 균일 영역의 평균값을 이용하여 센서별로 비균일 보정 테이블을 구한다. 획득한 센서별 비균일 보정 테이블을 바탕으로 사이드 슬리더 영상에 비균일 보정 테이블을 적용한 후, 앞서 세그먼트 영역을 결정한 것과 같은 방식으로 다시 세그먼트 영역을 결정한다. 다음으로 DN 값에 따른 평균과 표준 편차를 구하여 비균일 보정 전과 후를 비교할 수 있다. 제안하는 방법에 대해서는 다음 절에서 보다 상세히 다루도록 하겠다.

Fig. 4. The overall workflow for non-uniformity correction using proposed uniformity detection.

1) 제안하는 사이드 슬리더 촬영 영상에서의 균일영역 검출 기법

균일 영역 검출 기법은 전체 과정에서 제일 먼저 진행되는 단계인 전처리 과정이 무엇보다도 중요하다. 전처리 과정이 잘 진행되지 않는다면, 검출된 균일한 영역에서 계산되는 평균과 표준 편차의 오차가 커지게 된다. 사이드 슬리더 스캔 방식으로 획득한 위성 영상의 전처리 과정은 Fig. 5와 같다.

Fig. 5. Proposed pre-processing algorithm.

사이드 슬리더 기반 촬영 영상은 일반적인 스캔 기법과는 다르게 센서가 같은 위치를 촬영하기 위해 위성을 90°로 회전한 후 영상을 촬영한다. 위성의 회전으로 인해 사이드 슬리더 촬영 영상은 Fig. 5의 입력 영상처럼 45° 기울어진 영상으로 획득된다. 45° 회전되어 있는 영상은 분석이 용이하지 않기 때문에 식 (6)과 같이 수평하게 영상을 조정하는 과정이 필요하다.

Adjusted_img[i, j] = raw_img[i + j, j]       (6)

여기서 raw_img는 입력 영상을 의미하며, Adjusted_img는 픽셀 위치가 조정된 영상을 의미하며, i, j는 각각 row, col 픽셀 위치를 의미한다. 이렇게 수평 방향으로 영상을 조정했더라도 완벽하게 수평인 영상을 획득할 수는 없다. 왜냐하면 위성의 자세제어 오차 등의 이유로 사이드 슬리더 영상이 정확한 45°로 획득되지 않았기 때문이다. 따라서 미세한 오차가 존재하기 때문에 해당 부분을 부정하기 위하여 추가적인 수평 보정을 수행하였다. 제안하는 자동 기울기 검출 알고리즘을 통해 45° 보정된 영상의 기울기를 찾을 수 있으며, 자동 기울기 검출 알고리즘은 Fig. 5에 도식화하였다.

먼저, 영상의 노이즈를 제거하기 위해 가우시안 블러 과정을 수행한다. 블러된 영상에서 캐니 에지를 검출하고 이 검출된 에지를 바탕으로 에지의 기울기를 추출할 수 있다. 총 네 가지 종류의 경우로 기울기로 나누었다. 첫 번째 경우는 에지가 검출되지 않는 경우인데, 이때는 에지로 판단되는 임계 값을 재조정하여 다시 에지를 검출하는 과정을 반복한다. 두 번째 경우는 수직선이 검출된 경우로, 수직선의 경우는 기울기 검출 시 배제하게 된다. 세 번째 경우는 모든 검출된 기울기가 0이 되는 경우인데, 이 경우는 최종 기울기도 0이라고 판단하고, 이 결과는 45° 보정된 영상과 동일한 영상이다. 마지막의 경우는 검출된 기울기들 중에서 여러 가지 기울기가 나오는 경우인데, 이 경우에는 검출된 기울기들의 중간값을 대표 값으로 설정하였다. 앞에서 언급한 바와 같이 균일 영역 검출을 위해 전처리 과정이 필수적이며, 정교하게 이루어져야 획득한 수평 보정된 영상의 오차를 줄일 수 있다. Wang et al. (2018)의 연구와 비교하여 본 논문에서 제안한 기법은 수평 보정된 영상의 기울기의 오차를 추가 보정하기 위해 자동 기울기를 찾는 기법을 도입하여, 사이드 슬리더 기반 촬영 영상만 주어지면 영상 내에서 자동으로 기울기를 추출하여 수평 보정이 가능하다.

전처리가 완료된 수평 보정된 영상에서 한 라인의 각 센서별 DN 값의 변화를 살펴보면 Fig. 6과 같다. Fig. 6에서 알 수 있듯이 각 센서별로 같은 지역을 촬영했다 하더라도 DN 값의 분포가 매우 다양하게 나타남을 확인할 수 있으며 센서 배열의 평균 값은 4000 DN임을 알 수 있으며, 각각의 센서별로의 평균 값과의 차이를 구할 수 있다.

Fig. 6. DN value for each sensor in one line and the average value of the sensor array.

전처리가 완료된 수평 보정 영상에서 균일한 영역을 검출하기 위해 본 연구에서는 KOMPSAT-3 위성 영상이 자연 영상 카메라의 센서 노이즈 프로파일링(Sensor noise profiling)과 같은 경향을 보이는지에 대한 분석을 선행하였다. Battiato et al. (2014)의 연구에서 자연 영상 카메라에서 나타나는 센서 노이즈 프로파일링에 대한 언급이 있으며, 카메라 센서의 아날로그 게인(AG) 값에 따라 픽셀값과 노이즈(sigma)의 분포를 살펴보면 특정 아날로그 게인에 대해 픽셀값과 노이즈는 선형적으로 증가함을 알 수 있다. 따라서, 이러한 특성이 사이드 슬리더 방식으로 획득한 위성 영상에서도 나타난다면, 균일한 영역을 찾는데도 도움이 될 것이라는 가정으로 사이드 슬리더 영상에서 센서 노이즈 프로파일을 찾고자 하였다.

본 연구에서는 Fig. 7과 같이 균일한 영역을 검출하기 위해 수평 보정된 사이드 슬리더 영상을 영역(세그먼트)으로 나눈다. 경험적으로 영역을 20개의 라인으로 설정하였다. 각 영역 내에서 열 균 벡터를 계산하고, 열 평균에서 각 행 벡터의 표준 편차를 계산한다. 결론적으로 다수의 세그먼트 중에서 최소의 표준 편차를 갖는 세그먼트가 우리가 찾는 균일한 영역을 대표하게 된다. 이와 같은 방법을 수식으로 설명하면 식 (7)과 같다.

\(\min \left(\sum_{k-1}^{20} a b s\left(x_{i}-\bar{x}\right)\right)_{j-1}^{n}\)       (7)

Fig. 7. A proposed method for detecting a uniform area in the horizontal corrected image.

여기서, x_i 는 라인별 센서값들을 의미하며, \(\bar{x}\)는 라인별 센서값들의 평균이다. k는 세그먼트의 각 라인을 의미하며, j는 수평 보정된 사이드 슬리더 전체 영상 셋의 세그먼트 개수를 의미한다. 식 (7)을 바탕으로 수평 보정된 KOMPSAT-3 사이드 슬리더 영상을 세그먼트로 나누어 영역을 추출하였다. 이 추출한 영역들을 이용하여 균일한 영역을 검색한다. 앞서 설명한 바와 같이 균일한 영역을 결정하는 기준은 각각의 영역에서 라인의 열 평균을 계산하고, 세그먼트의 행 평균을 계산해서 열 평균과 행 평균의 표준 편차가 가장 낮은 것을 기준으로 결정하게 된다. 즉, 한 라인에서 센서 간의 표준 편차가 가장 낮은 기준과 20개의 라인 에서의 표준 편차가 가장 낮은 것을 기준으로 결정하게 되면, 이 기준들에 의해 선택된 데이터는 가장 균일한 영역이라고 해석할 수 있다.

자연 영상에서 사용하는 카메라와 같은 노이즈 프로파일과 KOMPSAT-3 위성 영상에서도 유사하게 나온다면, 균일한 영역을 검출하는 기법을 통해 위성 영상의 특성을 파악할 수 있게 된다. 따라서, 본 연구에서는 노이즈의 표준 편차 대비 픽셀값(DN)과의 비를 0.5%로 설정하게 하도록 하였는데, Gerace et al. (2014)가 제안한 논문에 따르면, pixel-to-pixel uniformity를 0.5%로 제시한 것을 확인할 수 있다. 0.5% 설정된 픽셀간 균일 기준점을 바탕으로 센서 간의 균일함을 알 수 있는 척도로 활용할 수 있다. KOMPSAT-3도 마찬가지로 픽셀간 균일 기준점에 해당하는 지표가 있으나, 외부에는 알려지지 않아 Gerace et al. (2014)에서 언급된 지표를 적용하였다. Table 1에 KOMPSAT-3 위성 영상이 목표로 하는 DN 대비 표준 편차와의 관계를 정리하였다.

Table 1. Target standard deviation value from DN in KOMPSAT-3 satellite images

2) 비균일 보정 기법을 활용한 위성 영상 보정

KOMPSAT-3 사이드 슬리더 위성 영상에서 제안한 균일한 영역을 검출하는 기법으로 획득한 세그먼트들을 표준 편차 순으로 정렬하여 DN 구간마다 가장 작은 표준 편차 10개의 세그먼트를 선택하여 도식화하면 Fig. 8과 같은 노이즈 특성을 확인할 수 있으다. 여기서 Fig. 8은 KOMPSAT-3 영상의 Blue 밴드 대역에 대한 실험결과이다.

Fig. 8. Noise characteristics of standard deviation versus DN (a) and curve fitting for linear regression (b) in blue band.

세그먼트에서 표준 편차가 가장 낮은 순으로 도식화해보면 DN 값이 커질수록 표준 편차가 선형적으로 증가하는 경향이 있음을 확인할 수 있다. 다시 말하면, 선형적으로 증가하는 표준 편차를 위성 영상의 노이즈 특성이라고 말할 수 있다. 이 노이즈 특성을 이용하여, 선형 회귀 방법 중 하나인 최소제곱법을 통해 1차식으로 근사화한 결과는 Fig. 8(b)에서 확인할 수 있다. Blue 밴드에서 1차식으로 근사화된 수식을 바탕으로 모든 DN 값에 대한 표준 편차를 역으로 구할 수 있으며, 이 계산된 결과 값과 목표 표준 편차 값과 비교한 결과는 Table 2와 같다. Table 2에서 보는 바와 같이, 목표 표준 편차와 비교하였을 때 약 3~4배 정도 큰 것을 볼 수 있다. 이 결과에서 알 수 있는 사실은 목표 표준 편차 대비하여 같은 DN 값에서 균일 영역을 검출하는 방법으로 찾았을 때 매우 큰 표준 편차를 보임을 알 수 있다. 결과적으로, 목표 표준 편차와의 비교를 위해 균일 영역 검출 기법 이외의 비균일 보정(non-uniform correction, NUC) 기법이 필요하다. 비균일 보정 기법을 적용한 위성 영상의 DN 대비 표준 편차 값의 결과가 목표 표준 편차보다 유사하거나 낮다면, 목표로 설정된 값이 타당하다고 할 수 있으며, 제안한 균일 영역 검출 기법으로 균일 영역을 잘 검출하였다고 판단할 수 있다.

Table 2. Difference between target std. value and calculated KOMPSAT-3 std. value in Blue band

비균일 보정 기법은 1차식으로 근사화된 수식을 이용하여 모든 DN 값에 대해 각 센서별로 보정을 수행한다. 예를 들어, 센서 1번에 해당하는 DN 값이 7,586이고, 모든 센서에 해당하는 균일 영역 검출을 통해 구한 평균 DN 값이 7,500이라면 센서 1번에서 DN 값이 7,586이 7,500으로 연결되는 일종의 Look-Up Table (LUT) 방식으로 비균일 보정을 수행할 수 있다. 앞에서 설명한 바와 같이 1차식으로 근사화를 수행하였기 때문에, 1차 NUC 테이블이라고 하며, 이와 같은 과정을 모든 센서에 대해 1차 LUT 를 생성한다.

3. 실험 및 방법

1) 사이드 슬리더 촬영 기반 KOMPSAT-3 위성영상 데이터셋

본 연구에서는 KOMPSAT-3 위성 영상을 사이드 슬리더 촬영 기법으로 2020년 4월 12일부터 4월 14일까지 촬영한 데이터를 사용하였다. Fig. 9(a)~(c)에 보는 바와 같이 멕시코, 미국, 캐나다를 지나는 동안 사이드 슬리더 기동을 통해 영상을 획득하였다. Fig. 9(d)에서 보는 바와 같이 획득한 PAN 영상 및 MS 영상을 보여주고 있으며, PAN과 MS 포함 총 200개의 데이터를 획득하여 제안한 균일 영역 검출 기법과 1차 NUC 테이블을 생성하는데 사용하였다.

Fig. 9. Areas obtained side-slider images (a)-(c) and examples of side-slither image (d).

2) 제안하는 균일 영역 검출 방법 및 NUC테이블생성

실험에 사용한 총 200장의 데이터를 2장에서 제안한 균일한 영역을 검출하는 기법으로 수평 보정된 사이드 슬리더 영상을 20개의 라인을 하나의 세그먼트로 하여 나눈 다음 각 영역 내에서 열 평균 벡터를 계산하고, 열 평균에서 각 행 벡터의 표준 편차를 계산하였다. 총 200개의 데이터에서 7,376개의 세그먼트를 획득하고 표준 편차 순으로 정렬하여 DN 단계별로 표준 편차에서 해당하는 값으로 나타내고, Fig. 10(a)과 같이 최소 자승법을 통해 1차식으로 근사화를 수행하였다. 이 근사화 식을 바탕으로 각각의 센서에 대해서 1차 보정 테이블을 생성하였다.

Fig. 10. Comparison of Noise characteristics between before (a) and after (b) 1st NUC in blue band.

생성된 1차 NUC 테이블을 바탕으로 전처리된 수평 보정된 사이드 슬리더 영상에 1차 보정 테이블을 적용하여 새로운 수평 보정된 영상을 획득한다. 새롭게 수평 보정된 바탕으로 노이즈 특성을 살펴보면, Fig. 10(b)와 같다. Fig. 10(b)에서 보는 바와 같이 1차 NUC 테이블 이전 영상과 비교하여, 표준 편차 값이 상대적으로 많이 줄어든 것을 확인할 수 있다. 이 값을 우리가 목표로 하는 설정값과 비교한 결과는 Table 3~5에서 볼 수 있다. 목표 표준 편차 값 대비하여, 보정된 영상에서는 DN이 5000 이상 되는 값에서는 목표치보다 감소된 것을 확인할 수 있다. 다만, DN 값이 작아질수록 목표 표준 편차 값보다는 작아지는 것을 확인할 수 있는데 낮은 DN 값을 가지는 위성 영상이 상대적으로 부족하여, 균일한 영역을 검출하기에 어려웠을 것이라 판단된다. 따라서, 낮은 DN 값을 가지는 실험 영상이 좀 더 많아진다면, 좀 더 정확하게 균일한 영역을 검출하였을 것으로 생각된다.

Table 3. Comparison of target standard deviation and standard deviation values before and after 1st NUC in Blue band

Table 4. Comparison of target standard deviation and standard deviation values before and after 1st NUC in Red and Green band

Table 5. Comparison of target standard deviation and standard deviation values before and after 1st NUC in NIR and PAN band

4. 실험 결과

이번 장에서는 제안한 균일 영역 검출 기법을 기반으로 만든 1차 NUC 테이블을 통해 비균일 보정 과정을 적용한 위성 영상의 성능을 확인하고자 한다. 제안한 방식으로 생성된 테이블을 이용하여 비균일 보정을 수행하였을 때 사이드 슬리더 영상의 경우 동일 DN 영역에서 낮은 표준 편차 값을 가지는 것을 앞선 실험을 통해 확인하였다. 다음으로 KOMPSAT-3의 일반 스캔 방식으로 획득한 영상으로 생성된 NUC 테이블과 정성적, 정량적 비교평가를 수행하였다. 사이드 슬리더 기반 촬영 영상에서의 비균일 보정 결과 영상은 Fig. 11과 같다. Fig. 11에서 보는 바와 같이, 비균일 보정을 하지 않은 원 영상(Fig. 11(a))에 있는 수직 노이즈가 비균일 보정된 영상 (Fig. 11(c))에서 많이 제거됨을 확인할 수 있으며, 영상 전체의 균일함을 유지하는 것을 확인할 수 있다. 또한, 기존의 일반 스캔 방식(Fig. 11(b))의 비균일 보정 영상보다 제안 기법으로 획득한 비균일 보정 영상(Fig. 11(c))이 좀 더 비교 우위에 있음을 알 수 있다.

Fig. 11. The results of non-uniformity correction of all bands side slither images. (a) raw side-slither image (b) normal scan based 1st NUC image (c) side-slider scan based 1st NUC image.

사이드 슬리더 방식이 아닌 일반 영상에서의 비균일 보정 결과 영상은Fig. 12와 같다. Fig. 12에서보는 바와 같이 제안하는 방법의 결과(Fig. 12(c))가 원 영상(Fig. 12(a))에 있는 수직 노이즈가 많이 제거가 됨을 확인할 수 있으며, 영상 전체의 균일함이 유지되며 영상 노이즈가 감소된 것을 육안으로 확인할 수 있다. 또한, 기존 일반 스캔 방식의 비균일 보정 영상(Fig. 12(b))보다 제안 기법으로 획득한 비균일 보정 영상(Fig. 12(c))이 영상 노이즈의 감소 및 균일함 측면에서 좀 더 비교 우위에 있음을 확인할 수 있다.

Fig. 12. The results of non-uniformity correction of all bands normal images. (a) raw side-slither image (b) normal scan based 1st NUC image (c) side-slider scan based 1st NUC image.

사이드 슬리더 촬영 기반 영상에서 제안한 균일 영역 검출 기법을 통한 NUC 보정의 결과를 좀 더 정확하게 비교하고자 정성 평가 이외에 정량 평가를 추가로 진행하였다. 원본 영상 대비 결과 영상의 향상된 정도를 확인하기 위해서 세 가지의 평가 메트릭을 선정하였다. 첫 번째로, 상대적 방사 정확성 지표(Relative Radiometric Accuracy Indices)로서, 균일한 영역을 평가하는데 사용한다. 상대적 방사 정확성 지표는 평균 제곱 오차를 사용한 지표(RA)와 절대오차를 이용한 지표(RE)로 주어진다(Wang et al., 2018). RA와 RE를 구하는 방법은 식 (8), 식 (9)와 같다.

\(R A=\frac{\frac{\sqrt{\sum_{i=1}^{n}\left(\text { Mean }_{i}-\overline{\text { Mean }}\right)^{2}}}{n}}{\overline{\text { Mean }}} \times 100 \%\)       (1)

\(R E=\frac{\frac{\left(\sum_{i=1}^{n} \mid \text { Mean }_{i}-\overline{\text { Mean }}\right)}{n}}{\overline{\text { Mean }}} \times 100 \%\)       (2)

여기서 Mean_i는 i번째 센서의 평균값을 의미하고, \( \overline{\text { mean }}\)은 영상 평균값을 의미한다. 또한, n은 영상에서 전체 라인 수를 의미한다. RA와 RE값이 작을수록 더 높은 정확성을 갖는다고 할 수 있다.

평가 결과는 Table 6에서 볼 수 있으며, Table 6에서 보는 바와 같이, RA, RE값은 제안한 기법으로 획득한 사이드 슬리더 스캔 방식 비균일 보정 영상에서 가장 낮은 값을 보여주는 것을 확인하였다. 결과적으로 제안한 기법의 비균일 보정 영상이 가장 균일하고 정확한 영상을 얻었다고 판단할 수 있다.

Table 6. Quantitative evaluation results

5. 결론

본 논문에서는 KOMPSAT-3 사이드 슬리더 촬영 기반 영상에서의 세그먼트 기반 노이즈 분석을 통한 균일 영역을 검출하는 기법을 제안하였다. 균일 영역을 검출 후에 비균일 보정 알고리즘 적용을 위해 각 센서별로 보정 테이블을 생성하였으며, 생성된 보정 테이블을 적용하여 위성 영상 보정을 수행하였다. 비균일 보정 전/후 위성 영상의 노이즈 특성에 대한 분석을 통해 제안한 알고리즘의 성능을 확인하였으며, 정성적, 정량적 실험을 통해 기존 기법 대비 제안한 기법을 통해 보정된 위성 영상 특성이 비교 우위에 있음을 확인하였다. 향후 연구로 낮은 DN 값을 가지는 사이드 슬리더 영상을 추가로 확보하여 낮은 DN 대역에서 목표로 설정한 수치 대비 안 좋은 노이즈 특성을 더 개선할 수 있는 연구를 수행할 예정이다.