Arctic Sea Ice Motion Measurement Using Time-Series High-Resolution Optical Satellite Images and Feature Tracking Techniques

고해상도 시계열 광학 위성 영상과 특징점 추적 기법을 이용한 북극해 해빙 이동 탐지

Abstract

Sea ice motion is an important factor for assessing change of sea ice because the motion affects to not only regional distribution of sea ice but also new ice growth and thickness of ice. This study presents an application of multi-temporal high-resolution optical satellites images obtained from Korea Multi-Purpose Satellite-2 (KOMPSAT-2) and Korea Multi-Purpose Satellite-3 (KOMPSAT-3) to measure sea ice motion using SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features) and ORB (Oriented FAST and Rotated BRIEF) feature tracking techniques. In order to use satellite images from two different sensors, spatial and radiometric resolution were adjusted during pre-processing steps, and then the feature tracking techniques were applied to the pre-processed images. The matched features extracted from the SIFT showed even distribution across whole image, however the matched features extracted from the SURF showed condensed distribution of features around boundary between ice and ocean, and this regionally biased distribution became more prominent in the matched features extracted from the ORB. The processing time of the feature tracking was decreased in order of SIFT, SURF and ORB techniques. Although number of the matched features from the ORB was decreased as 59.8% compared with the result from the SIFT, the processing time was decreased as 8.7% compared with the result from the SIFT, therefore the ORB technique is more suitable for fast measurement of sea ice motion.

해빙의 이동은 지역적 분포뿐만 아니라 해빙의 생성 및 두께에도 영향을 미치기 때문에 해빙의 변화를 평가하는 데에 중요한 정보가 된다. 이 연구에서는 북극해 해빙의 이동 특성 탐지를 위해 Korea Multi-Purpose Satellite-2(KOMPSAT-2)와 Korea Multi-Purpose Satellite-3(KOMPSAT-3)의 두 위성 센서로부터 다중 시기 고해상도 광학 위성 영상을 획득하고, SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 및 ORB(Oriented FAST and Rotated BRIEF)의 특징점 추적 기법을 적용하였다. 두 위성 센서에서 획득된 영상의 활용을 위해 전처리 단계에서 공간해상도와 방사해상도를 일치시킨 후 특징점 추적 기법을 적용한 결과 SIFT의 경우 영상 전반에 걸쳐 특징점의 고른 공간 분포가 나타났고, SURF의 경우 해빙과 해양의 경계 부분에 특징점이 주요하게 분포하는 경향이 관찰되었으며 이러한 경향은 ORB에서 가장 현저하게 나타났다. 특징점 추적 기법별 연산 시간 측정 결과 SIFT, SURF 및 ORB의 순서로 연산 시간이 감소하였다. ORB의 경우 SIFT 기법 대비 추적된 특징점 수가 평균 59.8%로 줄어들었지만 연산 시간은 평균 8.7%에 해당하는 시간이 소요되어 해빙 이동 특성의 고속 탐지에 적합한 기법으로 판단된다.

1. 서론

북극해 해빙은 분포, 두께, 면적 등 다양한 속성에서 지속적 변동이 관측되고 있으며, 보다 정확한 변화 양상 예측에 필수적인 과거와 현재의 해빙 특성을 정밀하게 판단하는 방법으로 원격탐사 기법이 활발하게 이용되고 있다. 해빙의 이동은 지역적 분포의 결정뿐만 아니라 새로운 해빙 생성 및 두께 증가에도 영향을 주기 때문에 해빙의 변화 정도를 평가하는 데에 중요한 정보가 된다. 이러한 해빙 이동 특성은 시계열 원격탐사 데이터를 기반으로 다양한 관측과 분석이 이루어지고 있다.

해빙의 이동 특성은 저해상도 수동 마이크로파(passive microwave) 위성 원격탐사 데이터를 이용한 분석이 일반적인 방법으로 사용되고 있다. 저해상도 수동 마이크로파 원격탐사는 북극 또는 남극 지역 전체에 대하여 하루 또는 수일의 짧은 시간 주기로 광역 데이터의 확보가 가능하기 때문에 극지역에 대한 전반적인 변화 파악에 효과적으로 사용되어 왔다(Emery and Fowler, 1997). 하지만 낮은 공간 해상도로 인한 정밀도 저하 및 해빙 표면에 수분이 증가하는 여름철 또는 해양이 인접한 경계 지역에서의 산란도 대비(contrast) 저감으로 인해 이동 탐지가 어려워지는 단점이 있다(Yu et al., 2013).

고해상도 위성 원격탐사의 경우 데이터 획득 영역이 좁은 단점이 있는 반면 우수한 공간해상도 특성으로부터 정밀한 이동 특성의 탐지가 가능하며, 시계열 synthetic aperture radar(SAR) 데이터를 이용하여 수동 마이크로파 위성 데이터보다 정밀한 해빙 이동 관측의 가능함이 보고된 바 있다(Komarov and Barber, 2014). 광학 위성 원격탐사 영상은 구름 등 기상 상황에 영향을 받고 야간 영상의 확보가 불가능한 단점이 있지만, 최근 들어 군집 위성(satellite constellation)과 같은 동일 또는 유사 센서를 탑재한 복수의 위성 운용(Hand, 2015)과 극지역에서의 위성 궤도 수렴 특성으로부터 영상 획득 가능성을 높일 수 있기 때문에 고해상도 광학 원격탐사 영상을 활용하는 경우에도 정밀한 해빙 이동 특성의 탐지가 가능하지만 영상 블록간 상관도 평가법 기반의 연구 사례가 소수 보고되었다(Hyun and Kim, 2017).

해빙 이동의 탐지에는 영상 블록간 상관도 평가를 통한 매칭 기법이 대중적으로 사용되어 왔다. 하지만 해빙에 변형이 크게 발생하는 여름의 융빙 시기나 해양과 인접한 해빙 경계 지역에서는 영상 블록 사이의 상관도가 낮아지기 때문에 이동 특성 탐지가 어려워진다. 반면 영상 내의 주변 화소들과 구분되는 특징적인 지점들을 탐지하고 추적하는 특징점 추적(feature tracking) 기법의 경우 주변의 이동 경향으로부터 독립적인 지점별 이동 특성의 탐지가 가능하기 때문에 영상 블록간 상관도 평가 기법보다 해빙의 변형이 크게 발생하는 환경에서 우수한 이동 특성 탐지가 가능한 장점이 있으며 (Muckenhuber et al., 2016), SA 데이터를 대상으로 단독으로 또는 블록간 상관도 평가 기법과 복합적으로 적용한 사례가 일부 보고된 바 있다(Muckenhuber et al., 2016; Muckenhuber and Sandven, 2017).

본 연구에서는 북극해 해빙을 대상으로 이동 특성 탐지를 위해 여름 시기에 Korea Multi-Purpose Satellite-2 (KOMPSAT-2)와 Korea Multi-PurposeSatellite-3(KOMPSAT3)의 다중 센서에서 다중 시기에 고해상도 광학 위성 영상을 획득하고 특징점 추적 기법을 적용하였다. 세 가지 특징점 추적 기법의 적용 결과를 비교함으로써 기법별 해빙 이동 특성 탐지 능력과 연산 효율성에 대해 평가하였다.

2. 연구지역 및 자료

1) 연구지역

연구 대상 지역은 북극해 중 북위 77°20′, 서경 146°00′ 인근의 보퍼트해(Beaufort Sea)에 속하는 지역이다(Fig. 1). 이 지역은 미국 National Snowand Ice Data Center(NSIDC)에서 배포하는 해빙 밀도 데이터를 참조하였을 때 분석 대상 원격탐사 영상 획득 시기인 2014년 8월 14일 기준으로 해빙 밀도가 90-100%인 것으로 확인되었다(Cavalieri et al., 1996).

Fig. 1. Overview of study area andKOMPSAT high-resolution satellite image acquisition.

2) KOMPSAT-2와 KOMPSAT-3 고해상도 광학

2014년 8월에 쇄빙연구선 아라온 호의 북극해 현장조사 기간 중 KOMPSAT-2와 KOMPSAT-3 위성으로부터 서로 다른 날짜 및 위성 궤도에 의해 발생되는 시간 차이로부터 세 개의 시계열 영상을 획득하였다(Table 1). 세 영상은 시간의 흐름에 따른 해빙의 이동 탐지를 위해 획득 시 중첩 영역이 생성되도록 하였다(Fig. 1). 영상 획득 지역은 대부분의 영역에 해빙이 분포하여 NSIDC의 해빙 밀도 데이터와 일치하였고, 해빙 표면에 융빙으로 인한 융해 연못(melt pond)이 다수 분포하는 것이 육안으로 관찰되었다(Fig. 2).

Table 1. Specification of KOMPSAT-2 and KOMPSAT-3 satellite images (Seo et al., 2008; Choi et al., 2015; Yeom et al., 2016)

Fig. 2. An example of KOMPSAT-2 image used in this study.

3. 연구방법

해빙 이동 탐지는 다중 센서에서 획득된 영상의 활용을 위한 전처리 및 특징점 탐지와 추적을 수행하는 두 단계의 분석 과정으로 구성되었다.

1) 영상 전처리

영상 전처 과정에서 두 위성 센서에서 획득된 다중 분광 영상 중 극지역에서 높은 반사도를 가지는 눈 및 얼음 피복으로부터 발생 가능성이 높으며 영상 구성 화소들의 대비를 저감시키는 화소값 포화 발생 정도에 대해 검토하였다. 화소값 포화 여부는 영상의 방사해상도 최대 수치에 해당하는 화소의 유무로 판단하였으며 포화된 화소의 수가 가장 작은 밴드를 선택하여 분석에 입력 영상으로 사용하였다. 사용된 두 센서의 영상은 공간해상도와 방사해상도가 다르기 때문에 시계열 비교를 위해 공간해상도는 낮은 해상도의 KOMPSAT-2 영상에 준하여 4 m로 재배열(resampling)하였고, 방사해상도는 8 bit가 되도록 선형 변환(linear stretching)을 수행하였다.

총 세 시계열 영상으로부터 시간 간격에 차이가 나도록 조합된 A, B 및 C의 세 영상쌍(image pair)을 지정하였다(Table 2). 영상쌍의 획득 시간 간격은 최소 1시간 57분 55초와 최대 26시간 36분 19초이다.

Table 2. Combinations of image pairs for sea ice motion measurement using feature tracking techniques

2) 특징점 추적(feature tracking) 수행 및 결과

특징점 추적을 위해 기존에 Sentinel-1 SAR 데이터 기반의 해빙 이동 특성탐지에 사용되어온 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 및 ORB(Oriented FAST and Rotated BRIEF)의 세 기법을 적용하였다(Muckenhuber et al., 2016; Muckenhuber and Sandven, 2017). 세 기법은 주변 화소들의 밝기 분포 및 차이로부터 구분되며 크기와 회전에 불변인 특징적인 지점을 탐지하고 정합시킬 수 있는 영상처리 기법이기 때문에 고해상도 광학 위성영상에도 적용 가능하다.

SIFT는 영상 피라미드에서 특징점을 추출하여 크기(scale)에 불변 특성을 갖도록 하고 추출된 특징점에 대한 특징벡터를 생성하여 회전(rotation)에 강한 특성을 갖도록 하였다(Lowe, 2004). SURF는 SIFT와 유사한 성능이지만 적분 영상과 박스(box) 필터를 이용한 헤시안 행렬(Hessian matrix)을 기반으로 특징점 추출 속도를 개선하였다(Bay et al., 2006). ORB는 실시간 영상정합을 목적으로 Features from Accelerated Segment Test(FAST) corner detection 방법을 사용하여 특징점을 탐지하고 특징점 서술자(descriptor)로 Binary Robust Independent Elementary Features(BRIEF)의 회전 취약성을 보완한 rBRIEF 방을 사용한다(Rublee et al., 2011). 효과적인 특징점 탐지를 위해 기법별 주요 입력 변수와 제안된 기본값을 파악하고(Lowe, 2004; Bay et al., 2006; Rublee et al., 2011) 수치를 변화시키며 특징점 탐지 결과에 대한 민감도 분석을 수행하였다(Table 3). 연산 효율화 및 민감도 분석 단위 조절을 위해 일부 변수에 대해서는 변수 변화 구간을 두 단계로 구분하였다.

Table 3. Parameters considered in optimization of feature tracking techniques 

영상에서 탐지되는 초기 특징점(key point) 수를 SIFT와 ORB에서는 각 영상마다 50,000개가 되도록 초기값으로 설정하였고, SURF에서도 유사한 수의 초기 특징점이 탐지되도록 Hessian 임계값을 조절하였다. 많은 수의 정합 지점(matching point)이 탐지될 경우 이동 특성 탐지가 누락되는 지역이 상대적으로 줄어든 것으로 판단할 수 있기 때문에 영상쌍 A를 대상으로 가장 많은 정합 지점이 산출되게 하는 변수를 최적 변수로 선정하였고, 이를 영상쌍 A뿐만 아니라 동일한 센서로부터 획득된 영상으로 구성된 영상쌍 B와 C에도 적용하여 해빙 이동 탐지를 수행하였다. 입력 변수를 변화시켜도 정합 지점 수에 변화가 없는 경우 기본적으로 기법에서 제안하는 수치를 이용하였다. 이전 영상과 이후 영상에서 탐지된 특징점들에 대해서는 무작위 대입법(bruteforce) 기반의 정합을 수행하였다.

해빙 이동 거리는 작은 공간 규모인 분석 영역 내에서 큰 변이를 보이지 않지만 두 시계열 영상 내에 공통적으로 포함되지 않은 해빙에서 추적된 정합 지점의 이동 거리는 올바르게 추적된 지점의 이동 거리와는 상이한 수치를 나타낸다. 각각의 영상쌍에서 탐지된 이동 거리가 사분위간 범위(interquartile range)의 1.5배를 초과하는 지점은 시계열 영상 내에서 서로 공통되지 않는 영역에서 탐지된 정합 지점과 같은 오탐지로 판단하여 제거하였다.

특징점 추적 지점은 탐지에 사용된 영상 위에 도시함으로써 공간 분포에 대해 파악할 수 있다. 특징점 추적 지점의 공간 밀도 파악을 위해 점밀도(point density) 분석을 수행하였다(Silverman, 1986). 공간 밀도 분석 단위는 공간해상도 40 m의 격자로 지정하였고 각 격자에서는 반경 200 m 이내에 포함되는 특징점 추적 지점의 수를 고려하여 밀도를 평가하였다.

특징점 추적 결과는 영상 내의 지역에 설치된 해빙 부이(buoy)인 Ice-Tethered Profiler 80(ITP80)의 이동 궤적과 비교하여 정확도를 평가하였다. 미국 우즈홀해양 연구소(Woods Hole Oceanographic Institution)로부터 제공받은 ITP80의 궤적(Toole et al., 2006)은 매시간 측정되기 때문에 Hyun an Kim(2017)의 제안 방법에 따라 선형 시간 내삽을 통해 영상 획득 시점에서의 위치를 추정하고 이로부터 영상쌍별 부이 이동 거리를 측정하였다. 측정된 ITP80 부이의 이동 거리는 가장 가까운 거리에서 추적된 특징점과의 비교 기준으로 사용되었다.

특징점 추적 기법별 탐지된 총 특징점 추적 지점의 수를 비교함으로써 해빙 이동 탐지 능력에 대한 평가를 수행하였다. 또한 동일한 분석 환경인 3.4 GHz로 동작하는 6 코어 듀얼 CPU 및 512 GB 메모리가 탑재된 워크스테이션에서 연산 시간을 측정하고 처리 효율을 평가하였다.

4. 결과 및 토의

1) 해빙 이동 탐지를 위한 특징점 추적 분석 결과

다중분광 영상을 대상으로 화소값 포화 현상에 대해 평가한 결과 panchromatic 밴드의 경우 8월 14일 획득의 KOMPSAT-2 영상에서 총 57,352개의 화소에서 포화 현상이 발생하여 분석 대상 밴드에서 제외하였다. 다중분 광 밴드 중 green 밴드는 모든 영상에서 화소값 포화가 나타나지 않았고 red 밴드의 경우 단 세 화소에서 화소값 포화가 발생되었지만 화소값 분포 범위가 green 밴드보다 넓기 때문에 영상 대비 특성이 상대적으로 우수하다고 판단된 red 밴드를 특징점 추적 분석 대상 영상으로 선정하였다.

영상쌍 A를 대상으로 세 특징점 추적 기법별 주요 입력 변수에 대한 민감도 분석을 수행하였고, 가장 많은 특징점 추적 지점이 탐지되는 변수를 최적 변수로 선정 하였다(Table 4). 탐지된 key point 중 정합 지점을 선별하는 기준인 threshold for ratio test 값은 모두 동일하게 0.75로 지정하였다.

Table 4. Selected parameter values for image pair A and B, and feature tracking techniques

선정된 입력 변수를 기반으로 수행한 특징점 추적 결과에서는 영상쌍 A, B 및 C 모두에서 오탐지 지점 제거 전과 후에 동일하게 SIFT, SURF 및 ORB의 순으로 특징점 추적 성능이 우수한 것으로 평가되었다(Table 5). 영상쌍 C의 경우 사분위간 범위를 이용한 오탐지 지점 제거 후에 SURF와 ORB 결과에서 각각 1개의 잔여 오탐지된 정합 지점이 발견되어 추가적으로 제거하였다. 서로 다른 두 위성 센서로부터 획득된 영상을 활용하는 다중 센서 기반 접근법을 이용하였지만 오탐지 지점 제거 후에도 영상 중첩 영역 내에서 최소 약 7천6백 지점이 넘는 특징점 추적이 가능하였다.

Table 5. Number of matched features extracted from feature tracking techniques

영상쌍 A, B 및 C에 대해 오탐지된 지점이 제거된 특징점 추적 지점을 영상 위에 도시하였을 때 두 시계열 영상에서 공통적으 포함되는 영역에서만 특징점 추적 지점의 분포가 확인되었다. 영상쌍 A에 특징점 추적 지점을 중첩하여 도시하면 가장 많은 지점이 탐지되었던 SIFT의 경우 영상 전반에 걸쳐 특징점 추적 지점의 고른 공간 분포가 나타났고, SURF의 경우 해빙과 해양의 경계 부분에 특징점 추적 지점이 주요하게 분포하는 경향이 관찰되었으며, 이러한 경향은 ORB에서 가장 현저하게 나타났다(Fig. 3). 영상쌍 B와 C의 경우도 특징점 추적 지점에 대해 영상쌍 A와 유사한 공간 분포가 도시 되었다(Fig. 4, 5).

Fig. 3. Matched features for sea ice motion measurement from (a) SIFT, (b) SURF and (c) ORB techniques, and the images of pair A (KOMPSAT-2 (Aug 14, 2014) – KOMPSAT-3 (Aug 14, 2014)), overlaid on prior and posterior images.

Fig. 4. Matched features for sea ice motion measurement from (a) SIFT, (b) SURF and (c) ORB techniques, and the images of pair B (KOMPSAT-2 (Aug 14, 2014) – KOMPSAT-3 (Aug 15, 2014)), overlaid on prior and posterior images.

Fig. 5. Matched features for sea ice motion measurement from (a) SIFT, (b) SURF and (c) ORB techniques, and the images of pair C (KOMPSAT-3 (Aug 14, 2014) – KOMPSAT-3 (Aug 15, 2014)), overlaid on prior and posterior images.

특징점 추적 지점의 공간 분포 분석을 위해 지점 밀도 분석을 수행하였다(Fig. 6). 점밀도 분포도에서 SIFT, SURF 및 ORB의 순으로 미탐지 영역이 증가함을 확인 할 수 있다. 영상 구성 화소들의 밝기 대비가 뚜렷한 해빙과 해양의 경계 지점에서는 세 기법 모두에서 특징점 추적이 잘 이루어졌지만 상대적으로 대비가 낮은 해빙 내부의 지점에서는 SIFT가 가장 우수한 특징점 추적 성능을 나타내었다.

Fig. 6. Spatial density of matched features from (a) SIFT and the image pair A, B and C, overlaid on prior images, (b) SURF and the image pair A, B and C, overlaid on prior images, and (c) ORB and the image pair A, B and C, overlaid on prior images.

특징점 추적 결과로부터 분석 대상 영역 내에서의 평균 해빙 이동 거리와 방향에 대해 분석하였다(Table 6). 세 특징점 추적 기법 기반의 해빙 이동 거리와 방향은 모두 유사한 수치를 나타내었다. 차이의 발생은 오탐지 지점에 의한 영향보다는 탐지된 특징점 추적 지점들의 수와 위치 차이에 의한 것으로 판단된다.

Table 6. Mean displace and direction of sea ice motion from feature tracking techniques 

ITP80 부이의 이동 궤적과 가장 근거리에서 탐지된 해빙 이동 사이의 거리는 SIFT, SURF 및 ORB에서 각각 21.98 ± 3.71 m, 33.39 ± 7.37 m 및 37.80 ± 7.73 m인 것으로 평가되었으며(Table 7) 최대 약 51 m로 부이가 설치된 동일 해빙에서 이동이 탐지된 것으로 판단할 수 있다. ITP80 궤적을 기준으로 산정한 특징점 추적 기반 해빙 이동 거리의 평균 제곱근 오차(root mean square error, RMSE)는 64.99 ± 1.16 m인 것으로 평가되었고 Hyun and Kim(2017)에서 언급된 내용과 같이 KOMPSAT-2와 KOMPSAT-3 위성 영상의 위치 오차(geolocation error)에 의한 영향이 주요한 것으로 판단된다.

Table 7. Comparison between sea ice motion from ITP80 buoy trajectory and feature tracking techniques

2) 해빙 이동 탐지를 위한 특징점 추적 연산 성능 평가

특징점 추적 기법별로 연산 시간을 측정하였다(Table 8). 세 영상쌍에서 동일하게 SIFT, SURF 및 ORB의 순으로 연산 시간이 감소하였다. ORB의 경우 SIFT 기법 대비 탐지된 특징점 추적 지점 수가 평균 59.8%로 줄어들었지만 연산 시간은 평균 8.7%에 해당하는 시간이 소요 되어 해빙 이동 특성의 고속 탐지에 적합한 기법으로 사용될 수 있다.

Table 8. Processing time for feature tracking analysis

5. 결론

본 연구에서는 북극해 해빙 표면에 융해 연못이 발달하는 여름 시기에 KOMPSAT-2와 KOMPSAT-3의 두 센서로부터 다중 시기 고해상도 광학 위성 영상을 획득하고, 해빙 이동 특성 탐지를 위해 SIFT, SURF 및 ORB의 세 특징점 추적 기법을 적용하였다. 서로 른 센서에서 획득된 영상의 활용을 위해 전처리 단계에서 공간 해상도와 방사해상도를 일치시켰다. 특징점 추적 기법의 적용 결과 SIFT의 경우 영상 전반에 걸쳐 특징점 추적 지점의 고른 공간 분포가 나타났고, SURF의 경우 해빙과 해양의 경계 부분에 특징점 추적 지점이 주요하게 분포하는 경향이 관찰되었으며 이러한 경향은 ORB에 서 가장 두드러지게 나타났다. 특징점 추적 기별 연산 시간의 측정 결과 SIFT, SURF 및 ORB의 순으로 연산 시간이 감소하였다. ORB의 경우 SIFT 기법 대비 탐지된 특징점 추적 지점 수가 평균 59.8%로 줄어들었지만 연산 시간은 평균 8.7%에 해당하는 시간이 소요되어 시간 감소 정도가 SURF보다 더 크기 때문에 해빙 이동 특성의 고속 탐지에 적합한 기법으로 판단된다.

광학 위성 영상은 구름 등 기상 상황에 영향을 받지만 극지역에서는 극궤도 지구관측 위성들의 궤도 수렴 특성으로 인해 영상 획득 가능성이 높다. 제시한 사례와 같이 유사 제원의 고해상도 광학 위성 센서에서 획득된 영상을 동시에 활용할 경우 기상 의존적인 단점을 저감시키며 정밀한 해빙 이동 특성의 탐지와 동시에 해빙 표면 구성 파악 등 상태 관측도 가능할 것으로 기대된다.