Water Segmentation Based on Morphologic and Edge-enhanced U-Net Using Sentinel-1 SAR Images

형태학적 연산과 경계추출 학습이 강화된 U-Net을 활용한 Sentinel-1 영상 기반 수체탐지

Abstract

Synthetic Aperture Radar (SAR) is considered to be suitable for near real-time inundation monitoring. The distinctly different intensity between water and land makes it adequate for waterbody detection, but the intrinsic speckle noise and variable intensity of SAR images decrease the accuracy of waterbody detection. In this study, we suggest two modules, named 'morphology module' and 'edge-enhanced module', which are the combinations of pooling layers and convolutional layers, improving the accuracy of waterbody detection. The morphology module is composed of min-pooling layers and max-pooling layers, which shows the effect of morphological transformation. The edge-enhanced module is composed of convolution layers, which has the fixed weights of the traditional edge detection algorithm. After comparing the accuracy of various versions of each module for U-Net, we found that the optimal combination is the case that the morphology module of min-pooling and successive layers of min-pooling and max-pooling, and the edge-enhanced module of Scharr filter were the inputs of conv9. This morphologic and edge-enhanced U-Net improved the F1-score by 9.81% than the original U-Net. Qualitative inspection showed that our model has capability of detecting small-sized waterbody and detailed edge of water, which are the distinct advancement of the model presented in this research, compared to the original U-Net.

실시간 범람 모니터링을 위해 인공위성 SAR영상을 활용하는 수체탐지에 대한 필요성이 대두되었다. 주야와 기상에 상관없이 주기적으로 촬영 가능한 인공위성 SAR 영상은 육지와 물의 영상학적 특징이 달라 수체탐지에 적합하나, 스페클 노이즈와 영상별 상이한 밝기 값 등의 한계를 내포하여 다양한 시기에 촬영된 영상에 일괄적으로 적용 가능한 수체탐지 알고리즘 개발이 쉽지 않다. 이를 위해 본 연구에서는 Convolutional Neural Networks (CNN)기반 모델인 U-Net 아키텍처에 레이어의 조합인 모듈을 추가하여 별도의 전처리 없이 수체탐지의 정확도 향상 방법을 제시하였다. 풀링 레이어의 조합을 활용하여 형태학적 연산처리 효과를 제공하는 Morphology Module과 전통적인 경계탐지 알고리즘의 가중치를 대입한 컨볼루션 레이어를 사용하여 경계 학습을 강화시키는 Edge-enhanced Module의 다양한 버전을 테스트하여, 최적의 모듈 구성을 도출하였다. 최적의 모듈 버전으로 판단된 min-pooling과 max-pooling이 연속으로 이어진 레이어와 min-pooling로 구성된 Morphology 모듈과 샤를(Scharr) 필터를 적용한 Edge-enhanced 모듈의 산출물을 U-Net 모델의 conv 9에 입력자료로 추가하였을 때, 정량적으로 9.81%의 F1-score 향상을 보여주었으며, 기존의 U-Net 모델이 탐지하지 못한 작은 수체와 경계선을 보다 세밀하게 탐지할 수 있는 성능을 정성적 평가를 통해 확인하였다.

1. 서론

기후 변화에 의한 홍수 예측의 불확실성이 증가함에 따라 재난 관리 단계 중 예방 및 대비와 더불어 대응과 복구의 중요성이 커지고 있다. 이러한 재난 대응과 복구과정에서는 광역적인 공간범위에 대한 시각적 정보가 요구되므로, 신속한 대응과 복구를 위해 수재해 발생시 준실시간 수준의 범람지역 모니터링의 중요성 또한 증대되고 있다. 범람 지역 모니터링의 기초가 되는 수체탐지는 원격탐사 분야에서 다중분광(multispectral)센서, LIght Detection And Ranging (LIDAR), SAR등 다양한 센서를 활용하여 이루어지고 있다(White et al., 2015; Hofle et al., 2009; Yuan et al., 2021).

능동 마이크로파 센서 기반인 Synthetic Aperture Radar (SAR)는 기상/시간적 조건과 무관하게 일관된 데이터를 얻을 수 있는 장점이 있어 준실시간 수재해 모니터링이 가능하다(Pardhan et al., 2017; Li et al., 2021; Liu et al., 2015). SAR 영상은 송신한 마이크로파의 에너지가 지표면에서 산란되어 되돌아오는 에너지의 크기를 기록한다. 물과 육지의 표면 특성이 상이하여, 물 표면은 마이크로파가 정반사되어 후방산란 에너지가 매우 약한 반면 육지는 기복 변화가 커 강한 에너지가 되돌아 온다. 이는 SAR 영상에서 물은 어둡게 보이는 반면 육지는 밝게 보이는 뚜렷한 차이를 야기하여 SAR 영상을 기반으로 한 수체탐지에 대한 연구가 활발히 이루어지고 있다(Dong et al., 2021; Guo et al., 2022).

SAR 영상을 활용한 수체탐지 분야의 전통적인 알고리즘으로는 경계 검출 알고리즘(Liu and Jezek, 2004), 레벨 셋 기법(Silveira and Heleno, 2009), 클러스터링 방법(Wu et al., 2018), 랜덤 포레스트 기법(Xie et al., 2015), 서포트 벡터 머신(Klemenjak et al., 2012) 등이 있다. 하지만 SAR 영상은 전자기파간의 상호 간섭으로 생기는 평균 밝기 값의 극단값인 스페클 노이즈 발생과 영상의 수륙 분포에 따른 밝기 변동성이 존재하여, 전통적인 알고리즘 방식은 영상분류의 정확도와 활용적 측면 등에서 한계를 가진다(Kim et al., 1998; Guo et al., 2022; Dong et al., 2021).

GPU와 빅데이터를 기반으로 깊고 비선형적 신경망 학습이 가능해진 딥러닝은 이러한 한계를 일정 부분 극복하였다. 특히 이미지 기반의 Convolutional Neural Networks (CNN)은 학습된 가중치가 전체 영상의 공간적인 특징을 반영함으로써 전통적인 알고리즘 방식에 비해 스페클 노이즈의 영향이 비교적 적어 범용적 적용의 가능성을 보였다(Dong et al., 2021; Guo et al., 2022). Long et al. (2015)가 이미지 분류(Image Classification)에서 사용하던 모델의 마지막 레이어를 컨볼루션 레이어로 바꿈으로써 위치정보를 내포한 픽셀 별 분류가 가능한 Fully Convolutional Networks (FCN)모델을 제시하면서, SAR영상 기반의 수계 탐지에서도 CNN 모델을 활용한 연구가 활발히 진행되었다(Kang et al., 2018).

다양한 CNN 모델을 기반으로 수체탐지가 이루어지고 있지만, 그 중에서도 Ronneberger et al. (2015)가 제시한 U-Net 모델을 기반으로 하는 SAR 영상 수체탐지가 비교적 활발히 진행되고 있다(Pai et al., 2019; Denbina et al., 2020; Kim et al., 2021). U-Net 모델은 아키텍처의 모양이 알파벳 “U”처럼 생긴 대칭적 인코더(Encoder)-디코더(Decoder) 구조를 가진다. 기존 CNN모델은 입력 자료 대비 결과물의 해상도가 낮아지는 한계점을 가졌으나, U-Net 모델은 인코더에서 영상의 디테일한 특징을 학습하고 디코더에선 영상 전체의 의미론적 특징을 학습할 때, skip-connection을 통해 두 단계를 연결 및 통합하는 장치를 추가하여 입력자료의 해상도를 유지함으로써 높은 분류 정확도를 보여준다(Ronneberger et al., 2015).

CNN 모델을 기반으로 수체탐지 정확도를 향상하는 방법은 광학영상(Bai et al., 2021), 지리정보 레이어(Kim et al., 2021), 다중분광 영상과 팬크로마틱(panchromatic) 영상(wang et al., 2022) 등을 SAR 영상과 융합하여 입력 자료로 활용하는 방법 등이 있다. 이러한 입력자료의 다양화는 데이터 획득 간 시간 차가 적을 때, 지역 간 데이터 품질의 차이가 없을 때 정확한 분석이 가능하다는 한계가 있다. 이는 입력자료 획득여부에 따라 분석 가능 여부가 좌우되고, 입력자료의 개수 증가에 따른 자료 수집 시간의 증가로 실시간 수재해 모니터링에 적용하기 어렵다.

이러한 한계를 극복하고자 본 연구에서는 SAR 영상 1장만 입력자료로 사용하되, 기본 U-Net모델에 간단한 레이어로 구성된 Morphology 모듈과 Edge-enhanced 모듈을 추가하여 정확도를 높이는 방안을 제안한다. 풀링 레이어를 활용하여 형태학적인 연산이 가능한 Morphology 모듈과 기존 경계 탐지 알고리즘의 커널을 가중치로 사용하는 컨볼루션 레이어를 활용하여 경계 검출이 가능한 Edge-enhanced 모듈의 최적 구성과 효과를 판단하기 위해, 기본 U-Net 모델 대비 각 모듈의 구성 별 정확도 향상을 비교하고 육안판독을 통해 그 효과를 검증하였다.

2. 연구방법

본 연구의 개괄적인 흐름은 Fig. 1에 제시하였다. 연구방법에서는 1) Sentinel-1위성 SAR 영상 획득 및 전처리 방법과 2) 훈련자료 제작 방식을 정리하고, 최적의 모듈 비교를 위해 3)-(1) 고정된 모델 아키텍처와 하이퍼파라미터, 3)-(2) Morphology 모듈과 Edge-enhanced 모듈의 정의와 종류에 대해 설명하였다. 마지막으로 4)에서 정량적 검증에 사용된 정확도 평가 지표를 보여준다.

Fig. 1. Flow chart of the research methodology. Sentinel-1 GRDH VV SAR images and Land use maps were used to make training datasets. Various versions of Morphologic and Edge-enhanced modules were trained and tested through accuracy assessment and visual inspection.

1) 영상 자료 취득 및 전처리

본 연구에서는 유럽우주국(EuropeanSpaceAgency,ESA)에서 무료로 제공하는 Sentinel-1 위성의 Interferometric Wide (IW) swath 모드 Level-1 High Resolution Ground Range Detected (GRDH)영상을 사용하였다. 해당 영상은 5.405 GHz 주파수 대역을 사용해 촬영한 C-band SAR 영상이다. 입력자료를 선정하기 위해 VV, VH 편파와 입사각 정보의 조합을 비교하기 위해 사전 테스트를 진행하였을 때, 수체탐지 정확도가 가장 높았던 VV 편파를 사용하였다. Sentinel-1 GRDH 영상 전처리를 위해 유럽우주국에서 제공하는 Sentinel Applications Platform(SNAP) 프로그램을 이용하여 Remove-GRD-Border-Noise, Radiometric Calibration을 진행하였다(hajduch and Miranda, 2015; Miranda et al., 2021). 10 m의 해상도로 방사보정된 VV 영상의 단축, 중첩, 음영효과와 같은 지형 왜곡을 보정하기 위해, EPSG:4326 좌표계를 기반으로 30 m 해상도를 가진 SRTM 1Sec HGT 수치표고 모델을 사용하여 지형보정을 진행하였다.

2) 학습자료 생성

원활한 딥러닝 모델 학습을 위해서 충분한 양과 고품질의 학습자료가 필요하다. 이를 위해 환경부에서 제공하는 1 m 해상도의 세분류 토지피복도(1:5,000)를 활용하여 학습자료를 구축하였다. 토지피복도에서 분류한 세분류 41개 항목 중, 하천, 호소, 해양수 총 세 가지 지역을 물로 분류하였다. 세분류 토지피복도에서 정의한 하천은 하천 제방 내 물이 흐르는 곳으로, 참고한 영상 자료의 촬영시점을 기준으로 물이 흐르는 지역을 판단하여 제작되었다. 시간에 따른 유로의 변동성을 고려하여, 각 도곽별 토지피복도의 영상자료 촬영일자를 육안 검증과 환경부에서 제공하는 데이터베이스를 이용하여 파악하고, 해당 촬영일자와 동일 도곽을 촬영한 Sentinel-1 VV 영상의 촬영일자를 비교하여 전후 3일 이내일 경우에 학습자료를 생성하였다.

학습자료 생성을 위해 총 90장의 Sentinel-1 VV 영상이 사용되었다. Fig. 2에 Sentinel-1A와 Sentinel-1B 위성별 사용된 영상의 촬영지역을 표현하였으며, 각 촬영지역별 사용된 영상 ID는 Table 1에 정리하여 제시하였다. 총 90장의 영상 중 임의의 12장 영상에 대해 촬영한 위성 종류, 영상 획득시간과 궤도 방향 제시하였다(Table 2). 그림과 표를 통해 확인할 수 있듯이, 2017년부터 2019년 사이 한국 전역에 대해 촬영된 영상을 사용하여 학습자료를 생성하였다.

Fig. 2. Ground coverage of Sentinel-1 VV images used for constructing training dataset: (a) Ground coverage of Sentinel-1A images, (b) Ground coverage of Sentinel-1B images.

Table 1. 90 product unique IDs of Sentinel-1 images classified by Polygon ID

* Polygon ID correspond to the number of ground coverages showed in Fig. 2.

Table 2. Examples of Sentinel-1 images for constructing training dataset

제작된 학습자료 중 SAR 영상의 외곽이 포함되어 있는 경우를 제외하고 총 3,930개의 데이터셋을 확보하였다. 이 중 랜덤으로 추출한 65개의 데이터셋은 학습에 사용하지 않고 육안검증을 위해 분리하였다. 최종적으로 학습에 사용할 수 있는 각 수계비율별 개수는 Fig. 3(a)에 제시하였다. 그래프에서 볼 수 있듯이 10% 미만의 수계 비율이 대부분을 차지한다. 이와 같이 불균등한 학습자료를 사용할 경우 수계비율이 적은 영상에 과적합하게 학습되거나 학습이 수렴되지 않고 종료되는 경우가 발생해 학습 성능이 저하될 수 있음을 고려하여, 수계비율이 10% 이상인 508 개의 데이터셋만 학습자료로 사용하였다. SAR VV 영상은 최대값 1, 최소값 0으로 제한하는 정규화를 진행한 뒤 훈련자료로 사용하였으며, 라벨데이터는 물인 지역이 1, 그 외 지역은 0인 값을 가지도록 제작되었다. Fig. 3(b)에 학습자료 중 일부를 랜덤으로 추출하여 시각화하였다.

Fig. 3. Training data for this research: (a) Water ratio of dataset, (b) Visualization of training data; (left) SAR images after 0-1 normalization (right) ground-truth; water (1, white) and non-water (0, black).

3) 딥러닝 모델 아키텍처 및 하이퍼파라미터

본 연구에서는 기본 U-Net 모델을 기준으로 최적의 하이퍼파라미터를 구성하였다. 이후 모든 하이퍼파라미터를 고정한 후 본 연구에서 제시한 Morphology 모듈과 Edge-enhanced 모듈을 추가하여 학습을 진행하였다. 최종적으로 가장 높은 정확도를 보여준 모델의 아키텍처를 Fig. 4에 제시하였다.

Fig. 4. Architecture of U-Net with Morphology module and Edge-enhanced module: the detail of Morphology module and Edge-enhanced module shows the model of the highest F1-score in this research.

(1) 기본 모델 구조와 하이퍼파라미터 설정

SAR 데이터셋 구축의 어려움으로 부족한 학습자료를 극복하기 위해 Ronneberger et al. (2015)이 제시한 UNet 모델을 기본 아키텍처로 선정하였다. SAR영상에서 물과 육지의 산란 특성이 뚜렷하게 상이하며 물 지역의 구조가 상대적으로 단순하여 U-Net모델을 활용했을 때 적은 양의 데이터셋으로도 좋은 성능을 보여준다(Guo et al., 2022).

U-Net 모델 아키텍처를 기반으로 활성화 함수는 렐루(ReLu) 함수를 사용하였으며, 이진 분류 결과를 위해 마지막 레이어의 활성화 함수는 시그모이드(Sigmoid)함수를 사용하였다. 과적합 방지와 학습 속도 향상을 위해 마지막 레이어를 제외한 모든 컨볼루션 레이어와 활성화 함수 사이에 배치 정규화(batch normalization)를 추가하였다(Fig. 4).

딥러닝 모델이 잘 학습되기 위해서는 적절한 하이퍼 파라미터 조정이 필요하다. Morphology 모듈과 Edge-enhanced 모듈이 추가되지 않은 기본 U-Net 아키텍처를 기반으로 하이퍼파라미터를 테스트하여, 손실함수 값이 가장 작도록 하는 하이퍼파라미터를 선정하였다.

SAR VV 영상 기반 수체 분류 시 작은 저수지나 폭이 좁은 하천일수록 탐지가 어렵고 훈련자료의 수계 비율이 고르지 않은 점을 고려하여 Focal Tversky 손실함수를 사용하였다(Abraham and Khan, 2019). Focal Tversky 손실함수는 컴퓨터 비전 영역에서 두 이미지 간의 유사성을 평가하기 위해 널리 사용하는 Dice coefficient 개념을 기반으로 제작된 손실함수로, false positive와 false negative에 가중치를 부여하고 쉽게 오분류되는 케이스에 대해 가중치를 부여해 어려운 케이스에 집중하여 학습할 수 있도록 하는 손실함수이다(Jadon, 2020).

\(\begin{aligned}T I(p, \hat{p})=\frac{p \hat{p}}{p \hat{p}+\beta(1-p) \hat{p}+(1-\beta) p(1-\hat{p})}\end{aligned}\)       (1)

FTL = Σ_C(1 - TI_c)^γ       (2)

식(1)은 Tversky Index의 정의를 보여주며 p는 입력 값, \(\begin{aligned}\hat{p}\end{aligned}\)은 모델에 의해 예측된 값을 의미한다. 최종적으로 사용한 Focal Tversky loss는 식(2)에 제시하였다. 본 연구에서는 β=0.5, γ=1로 설정하여 학습을 진행하였다.

최적화 알고리즘은 아담(Adam)을 사용하였다. 모델은 최대 1,000 에포크(epoch)까지 학습되며, 과적합을 방지하기 위해 검증 데이터의 손실함수 값이 10 에포크 동안 감소하지 않을 경우 가장 작은 손실함수 값을 가진 모델로 저장하고 학습이 종료된다. 508개의 학습자료에 대해 네 꼭지점을 기준으로 패치사이즈인(256,256)으로 자르는 데이터 증강(data augmentation)을 진행하여 총 2,032개의 데이터셋이 훈련자료로 입력되었다. 2,032개의 데이터셋에 대해 train : validation : test 데이터셋을 6:2:2로 구분하여 사용하였다. 배치사이즈(batchsize)는 32로 고정하였으며, 각 에포크 별 파라미터 업데이트는 41회 진행되었다. 모델 학습 및 추론의 전과정은 python과 tensorflow 기반으로 제작된 코드를 4대의 Nvidia GeForce RTX 3090 GPU를 사용하여 학습하였다.

(2) Morphology 모듈과 Edge-enhanced 모듈

본 연구에서는 기본 U-Net 모델에 적용할 수 있는 풀링 레이어 기반의 형태학적 연산 효과를 보여주는 Morphology모듈과 경계 탐지 알고리즘 커널의 가중치를 컨볼루션 레이어에 대입하여 경계를 강조하는 Edge-enhanced 모듈을 제시하였다.

Morphology 모듈은 두 가지의 풀링 레이어를 활용하여 모델 내에서 형태학적 연산을 진행한다. 기존의 풀링 레이어는 이미지의 차원을 감소하고 전체적인 특징을 추출하기 위해 사용하지만, 본 연구에서는 풀링 레이어의 커널 크기는 3×3, 스트라이드를 1로 고정하고 출력물이 입력자료와 동일한 크기가 되도록 패딩을 추가하였다. 이를 통해 min-pooling은 특정 크기의 윈도우 내에서 가장 작은 값을 추출하는 방식으로, 이미지의 양의 방향 이상치를 제거하는 효과와 동시에 밝은 부분의 축소 효과를 보여준다. 지정된 크기의 윈도우 내에서 가장 큰 값을 추출하는 max-pooling 레이어는 이미지의 음의 방향 이상치를 제거하고 밝은 부분의 팽창 효과를 보여준다. 이는 각각 Fig. 5의 (b), (c)에서 제시한 모폴로지 변형의 침식(erosion), 팽창(dilation)과 유사한 결과를 보여준다. 추가적으로 SAR 영상의 내재적인 문제인 스페클 노이즈를 고려하여, 경계선을 부드럽게 만들고 작은 물체 및 노이즈를 제거하는 Fig. 5(d)의 형태학적 연산의 열림(opening)의 효과를 얻기 위해 min pooling 후 max pooling을 적용하는 레이어인 max-pooling (min-pooling)도 추가하였다(Vernon, 1991).

Fig. 5. Examples of Morphological Transformations: (a) input image, (b) erosion, (c) dilation, (d) opening.

최종적으로 이미지의 크기를 유지하면서 형태학적인 변형이 이루어지는 Morphology 모듈은 Fig. 6(a)의 max-pooling과 max-pooling (min-pooling)로 구성되는 강한 대비(high contrast, HC) 조합과 Fig. 6(b)의 min-pooling과 max-pooling (min-pooling)로 구성된 약한 대비(low contrast, LC) 조합을 구성하였다. Max-pooling (min-pooling) 레이어는 min-pooling과 max-pooling 레이어에 비해 원본 이미지의 특성을 잘 반영하므로 이를 고정하고, 이미지 밝기의 대비가 강할 때와 약할 때 중 무엇이 더 높은 정확도를 보여주는지 비교하였다. 이를 위해 Morphology 모듈 이외의 모든 조건은 동일하게 설정한 후, 기본 U-Net모델과 HC 버전과 LC 버전을 Fig. 4에 표시한 conv 9와 conv 10의 입력자료로 추가한 U-Net 모델에 대해 비교하였다.

Fig. 6. Architecture of Morphology Module: (a) HC (high contrast) version, (b) LC (low contrast) version.

하천의 경계는 수체탐지에서 가장 직관적인 정보로 딥러닝 이전 머신러닝 기반의 수체탐지에서 많이 사용하였다(Guo et al., 2022). Edge-enhanced 모듈은 경계선 탐지 알고리즘과 컨볼루션 레이어의 작동방식이 유사한 점을 이용하여, 경계선 탐지 알고리즘의 커널 가중치를 컨볼루션 레이어의 가중치에 입력 및 동결하여 모델 내에서 경계선 탐지 결과를 생성하여 학습에 도움이 되도록 하는 모듈이다. 모델 내에 직접적인 경계 탐지 레이어를 추가함으로써 별도의 전처리 과정 추가없이 경계를 강조한 수체탐지 모델 학습이 가능하다.

다양한 전통적인 경계 탐지 알고리즘 중 2차원 기반 3×3커널을구현하기에적합한소벨(Sobel), 샤를(Scharr), Laplacian of Gaussian (LoG)를 사용하였다. 소벨 필터는 이미지 밝기 변화 경사를 1차 미분 근사값을 활용하여 계산하며, 픽셀과 가까운 지점일수록 강조하는 특징을 가진다(Shrivakshan and Chandrasekar, 2012). 소벨 필터는 가장 흔히 사용되는 경계 검출기 중 하나이며, 노이즈를 억누르는 효과가 있다(Guo et al., 2022). 소벨 필터의 3×3 커널은 식(3), (4)와 같다. 소벨 필터는 각 방향 별 경사를 구분하여 계산하기 때문에 아래와 같이 4개의 수식으로 구분된다. 각 방향별 중요도를 학습할 수 있도록 이를 하나의 이미지로 합치지 않고 레이어 스택을 통해 별도의 레이어로 입력되도록 하였다.

\(\begin{aligned} S_{\text {horizontal }} & =\left[\begin{array}{ccc}-1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1\end{array}\right] \\ S_{\text {vertical }} & =\left[\begin{array}{ccc}-1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1\end{array}\right]\end{aligned}\)       (3)

\(\begin{aligned} S_{\text {diagonal right to left }} & =\left[\begin{array}{ccc}2 & 1 & 0 \\ 1 & 0 & -1 \\ 0 & -1 & -2\end{array}\right] \\ S_{\text {diagonal left to right}} & =\left[\begin{array}{ccc}0 & -1 & -2 \\ 1 & 0 & -1 \\2 & 1 & 0\end{array}\right]\end{aligned}\)       (4)

샤를 필터는 소벨 필터의 계수를 변형한 필터로, 계산 효율성은 유지하면서 정확도는 향상시킨 방법이다(Jähne et al., 1999). 식(5), (6)은 샤를 필터의 커널 가중치를 보여준다. 소벨 필터와 마찬가지로 하나의 픽셀로 합치지 않고, 4개의 레이어가 입력자료로 추가된다.

\(\begin{aligned} C_{\text {horizontal }} & =\left[\begin{array}{ccc}-3 & -10 & -3 \\ 0 & 0 & 0 \\ 3 & 10 & 3\end{array}\right] \\ C_{\text {vertical }} & =\left[\begin{array}{ccc}-3 & 0 & 3 \\ -10 & 0 & 10 \\ -3 & 0 & 3\end{array}\right]\end{aligned}\)       (5)

\(\begin{aligned}\begin{array}{l}C_{\text {diagonal right to left }}=\left[\begin{array}{ccc}10 & 3 & 0 \\ 3 & 0 & -3 \\ 0 & -3 & -10\end{array}\right] \\ C_{\text {diagonal left to right }}=\left[\begin{array}{ccc}0 & -3 & -10 \\ 3 & 0 & -3 \\ 10 & 3 & 0\end{array}\right]\end{array}\\\end{aligned}\)       (6)

마지막으로 LoG 필터는 2D 가우시안 필터를 적용한 후 라플라시안 연산자를 사용하여 수직 수평방향으로 2차 미분한 값이다. 기존 라플라시안 필터는 2차 미분 기반으로 작동하여 노이즈에 민감하기 때문에 가우시안 필터를 먼저 적용하도록 보완된 방식이다. 평균이 0이고 가우시안 평균분산 σ일 때 2차원 LoG 함수는 식(7)과 같다(Maini and Aggarwal, 2009).

\(\begin{aligned}L o G(x, y)=-\frac{1}{\pi \sigma^{4}}\left[1-\left(\frac{x^{2}+y^{2}}{2 \sigma^{2}}\right)\right] e^{\frac{x^{2}+y^{2}}{2 \sigma^{2}}}\\ \end{aligned}\)       (7)

이를 비연속적인 이미지에 적용하기 위해 근사값을 가진 컨볼루션 커널로 변형하면 식(8)과 같다. 소벨 필터나 샤를 필터와 달리, 방향별로 별도의 계산이 필요하지 않기 때문에 LoG 필터 모듈 적용 시 1개의 레이어가 추가 입력자료로 제시된다.

\(\begin{aligned}L o G=\left[\begin{array}{ccc}0 & 1 & 0 \\ 1 & -4 & 1 \\ 0 & 1 & 0\end{array}\right]\\\end{aligned}\)       (8)

Edge-enhanced 모듈은 위에 제시한 소벨, 샤를, LoG 경계 검출 필터를 3×3 윈도우 크기를 가지는 컨볼루션 레이어의 가중치로 동결하고 편향(bias)는 사용하지 않아 학습이 이루어지지 않도록 하였다. 스트라이드와 필터의 개수는 1로 고정하고, 제로 패딩을 추가하여 입력자료와 동일한 크기의 출력물을 생성하도록 하였다. 해당 모듈을 제외한 모든 조건이 동일한 기본 U-Net모델과, 세 가지 경계 검출 필터를 각각 Fig. 4에 표시한 Conv 1, Conv 8+Conv 9, Conv 9, Conv 10의 입력자료로 넣었을 때의 정확도를 비교하였다. 이때 Conv 8은 다른 컨볼루션 레이어 크기의 절반이므로, Edge-enhanced 모듈의 출력 레이어에 2×2 커널의 max-pooling을 거쳐 입력된다.

최종적으로 Morphology 모듈과 Edge-enhanced 모듈 각각의 조건에서 가장 정확도가 높은 모듈 방식을 조합하여, 기본 U-Net 모델과 두 모듈이 모두 추가되었을 때의 정확도를 비교하였다.

4) 정확도 검증 방법

분류 모델 성능을 평가하기 위한 정량적 지표는 오차 행렬(confusion matrix)를 기반으로 정의되었다. 오차행렬은 분류모델에서 널리 사용되는 예측된 클래스와 실제 클래스가 각각 x, y축으로 구성된 이차원 행렬이다(Ting, 2011).

본 연구에서는 각 픽셀이 물(water)과 물이 아닌 지역(non-water)으로 구분되는 이진 분류이므로, 오차행렬은 true positives (TP), false positives (FP), true negatives (TN), false negatives (FN) 총 4가지의 경우로 구성된다. Table 1에서 제시된 것과 같이 TP는 실제 물인 지역이 예측된 값도 물인 경우, FP는 실제 물이 아닌 지역이 예측된 값이 물인 경우, FN는 실제 물인 지역이 물이 아닌 지역으로 예측된 경우 그리고 TN는 실제 물이 아닌 지역이 물이 아닌 지역으로 예측된 경우를 의미한다.

Table 3. Confusion Matrix of Water Binary Segmentation

위의 오차행렬을 기반으로 식(9), (10), (11), (12), (13)을 이용하여 정확도(Accuracy), 재현도(Recall), 정밀도(Precision), Binary Intersection overUnion (IoU)와 F1-score를 계산하여 분류모델의 성능 지표로 사용하였다.

\(\begin{aligned}Accuracy\; =\frac{TP+TN}{TP+FP+TN+FN} \end{aligned}\)       (9)

\(\begin{aligned}Recall \;=\frac{TP}{TP+FN} \end{aligned}\)       (10)

\(\begin{aligned}Precision\; =\frac{TP}{TP+FP} \end{aligned}\)       (11)

\(\begin{aligned}Binary \; IoU\;=\frac{TP}{TP+FP+FN} \end{aligned}\)       (12)

\(\begin{aligned}F1\;score=2 \times \frac{Recall \times Precision}{Recall+Precision} \end{aligned}\)       (13)

3. 연구결과

본 연구에서 제안한 Morphology 모듈과 Edge-enhanced 모듈의 효과를 제시하기 위해, 모듈의 유무를 제외한 모든 아키텍처와 하이퍼파라미터를 동일하게 설정하여 모델 훈련을 진행하였다. Morphology 모듈과 Edge-enhanced 모듈 각각 최적의 레이어 구성과 입력 위치를 도출하고, 최적의 두 모듈을 동시에 추가하였을 때와 기본 U-Net 모델과의 정확도를 비교하였다.

1) Morphology module을 추가한 U-Net 모델 정확도 비교

Table 4는 기본 U-Net 모델과 Morphology 모듈의 HC 버전과 LC 버전이 Fig. 4에 표시한 Conv 9와 Conv 10의 입력자료로 추가되었을 때 비교하였다. Morphology 모듈의 LC 버전이 conv 9의 입력자료로 추가되었을 때 기본 U-Net 모델 대비 Recall과 F1-score가 각각 12.2%, 2.46% 상승하였고, 그 외 Precision, Accuracy, IoU, loss는 기본 U-Net 모델 대비 정확도가 감소하였다. 그 외 다른 조건의 경우에는 일부 지표에서 소폭 상승이 있으나 전체적인 모델 성능을 보여주는 F1-score은 감소하였다. 각 모듈 버전 별 평균 F1-score를 비교하면 HC 버전과 LC 버전은 각각 78.305%와 78.415%로 LC버전이 약간 더 높다. 입력자료의 위치 별 정확도를 비교하면 conv 9의 입력자료로 추가하는 것이 conv 10에 추가하는 것보다 F1-score가 평균 5.5% 상승하였다.

Table 4. Evaluation Results of Morphology module

* Numbers in bold denote that F1-score is higher than the original U-net. HC: High Contrast, LC: Low Contrast.

2) Edge-enhanced module을 추가한 U-Net 모델 정확도 비교

Table 5은 소벨, 샤를, LoG 필터가 적용된 Edge-enhanced 모듈의 결과물이 기본 U-Net 구조의 conv 1, conv 9, conv 10, conv 8 와 conv 9 동시의 입력되었을 때 모델 훈련 결과를 제시한다. F1-score가 가장 높게 상승한 조합은 U-Net의 conv 9의 입력자료로 샤를 필터가 적용된 edge-enhanced 모듈을 적용하였을 때로, 기본 U-Net 모델 대비 6.11% 상승하였다. 해당 조합은 Precision을 제외한 모든 평가지표가 더 좋은 결과를 보여주었으며, 특히 IoU와 Recall은 각각 83.1%와 92.5%로, 기본 U-Net 모델 대비 6%와 15.5% 상승하였다. 각 필터별 평균 F1-score를 비교하면, 소벨 필터는 84.305%, 샤를 필터는 84.565%, LoG 필터는 82.36%로 샤를 필터가 가장 높은 평가 지표를 보여준다. 입력 레이어 별로 비교하면, conv 1는 85.79%, conv 9은 86.06%, conv 10은 80.14%, conv8과 conv 9에 동시에 넣을 경우엔 82.99%로, conv 9의 입력자료로 넣었을 때 가장 높은 정확도를 보여준다.

Table 5. Evaluation Results of Edge-enhanced module

* Numbers in bold denote that F1-score is higher than original U-net.

3) Morphology module과 Edge-enhanced module을 추가한 U-Net 모델 정확도 비교

Morphology 모듈과 edge-enhanced 모듈 각각의 가장 높은 F1-score을 보여준 조합을 U-Net에 같이 적용하였을 때 정확도가 더 상승하는지 비교하였다. Morphology 모듈은 LC 버전이 conv 9의 입력자료로 추가하였을 때 타 조합 대비 비교적 높은 정확도가 나타나 해당 조합으로 고정하였다. Edge-enhanced 모듈의 경우, 샤를 필터를 적용한 모듈의 출력물이 conv 9의 입력자료로 추가하였을 때 가장 높은 정확도를 보이나, conv1과 conv9의 평균 F1-score 차이가 0.27%로 큰 차이가 없어 두 경우 모두를 비교하였다. 또한 경계 검출 알고리즘의 경우, 샤를 필터가 가장 높은 정확도를 보이나 소벨 필터와의 차이가 0.27%임을 고려하여 소벨필터도 같이 비교하였다.

Table 6는 Morphology 모듈 LC버전이 conv9으로 추가되었을 때와 샤를필터와 소벨필터가 적용된 Edge-enhanced 모듈이 conv1, conv 9에 입력되었을 때 조합의 학습결과를 보여주는 것으로, 비교를 위한 기본 U-Net 모델을 포함하여 총 5가지의 경우를 제시한다. 4가지 조합 모두 기본 U-Net 모델보다 precision을 제외한 모든 평가 지표 값이 상승하였다. 소벨 필터를 적용한 Edge-enhanced 모듈보다 샤를 필터를 적용했을 때의 F1-score 평균이 2.27% 더 높으며, Edge-enhanced 모듈의 결과를 conv1에 적용했을 때 평균 87.855%, conv 9에 적용했을 때 88.655%의 정확도를 보여준다.

Table 6. Evaluation Results of both Morphology module and Edge-enhanced module

* Numbers in bold denote that F1-score is higher than the original U-net.

Fig. 7은 Table 4, 5, 6에 제시된 모든 조합의 F1-score, IoU, Accuracy를 그래프를 통해 제시하였다. 그래프에서볼수 있듯이 Morphology 모듈만을 적용하였을 땐 기본 U-Net 모델보다 좋지 않았고, Edge-enhanced 모듈만을 적용하였을 땐 일부 조합만이 기본 U-Net 모델보다 더 좋은 결과를 보여주었다. 마지막으로 Morphology 모듈과 Edge-enhanced 모듈을 같이 적용한 모델 4개는 모두 상위 5위 안에 포함된다. 모든 조합에서 가장 높은 평가지표 값을 보여준 모델은 U-Net 모델에 min-pooling과 min-pooling (max-pooling)의 레이어로 구성된 LC버전 Morphology 모듈과 샤를 필터를 적용한 Edge-enhanced 모듈의 결과를 conv 9 레이어의 입력자료로 추가한 모델로, 해당 모델의 F1-score은 90.75%를 달성하였으며, 이는 기본 U-Net 모델 대비 9.81% 높은 수치이다.

Fig. 7. F1-score, IoU, Accuracy of all of the cases being tested. The color change in the background is separating original U-net, U-Net with Morphology module (Table 4), U-Net with Edge-enhanced module (Table 5), U-Net with Morphology module and Edge-enhanced module (Table 6).

토지피복도를 기반으로 만든 학습자료 중 육안판독을 위해 랜덤 추출한 65개의 SAR VV 영상을 이용하여 육안검증을 진행하였고, 그 중 10가지를 추출하여 Fig. 8에 제시하였다. 왼쪽에서 오른쪽으로 갈수록 (i) SAR VV 영상, (ii) 토지피복도 기반 라벨데이터, (iii) 기본 U-Net 모델, (iv) Morphology 모듈만 사용한 Unet_LC_conv9, (v) Edge-enhanced 모듈만 사용한 Unet_Scharr_conv9, 그리고 두 모듈이 모두 적용된 4가지 모델인 (vi) Unet_Sobel_first_LC_conv9, (vii) Unet_Sobel_LC_conv9, (viii) Unet_Scharr_first_LC_conv9, (ix) Unet_Scharr_LC_conv9이 예측한 수체탐지 결과를 제시하였다. Morphology 모듈만 적용된 (iv) Unet_LC_conv9은 (iii) 기본 U-Net 모델 보다 더 높은 F1-score을 보여주었지만, (b), (d), (j)의 육안검증을 통해 과탐지의 경향이 큼을 확인하였다. Edge-enhanced 모듈만 적용된 (v) Unet_Scharr_conv9도 마찬가지로 (b), (d), (j)에서 과탐지의 경향이 존재하지만 Morphology 모듈만 적용되었을 때 대비 상대적으로 그 정도는 약하다. Fig. 8의 (g), (i)의 디테일한 수계 경계선은 Edge-enhanced 모듈이 적용된 (v), (vi), (vii), (viii), (ix) 모델에서 잘 탐지하였음을 볼 수 있다. 가장 높은 F1-score을 보여준 (ix) unet_Scharr_LC_conv9이 육안검증상 가장 일관적으로 좋은 성능을 보여준다. Fig. 8의 (a), (g), (i), (j)의 경우 디테일한 수계 경계선 변화를 잘 탐지하고, 다른 모델들이 탐지하지못하거나 과탐지의 경향성이 많이 나타난 (b), (c), (d), (h)에서 가장 안정적으로 높은 정확도를 보여준다.

Fig. 8. Qualitative visualization of 10 dataset (from left to right). (i) input SAR image, (ii) groundtruth label, water segmentation results of (iii) original U-Net, (iv) U-Net with LC Morphology module (conv 9), (v) U-Net with Scharr Edge-enhanced module (conv 9), (vi) U-Net with with LC Morphology module (conv 9) and Sobel Edge-enhanced module (conv 1), (vii) U-Net with with LC Morphology module and Sobel Edge-enhanced module (conv 9), (viii) U-Net with with LC Morphology module (conv 9) and Scharr Edge-enhanced module (conv 1), (ix) U-Net with with LC Morphology module and Scharr Edge-enhanced module (conv 9).

4. 논의

본 연구에서는 CNN 모델을 구성하는 풀링 레이어와 컨볼루션 레이어를 활용하여 형태학적 연산 처리와 경계 탐지가 가능한 Morphology 모듈과 Edge-enhanced 모듈을 제시하였다. 이를 통해 LC버전의 Morphology 모듈과 샤를 필터를 적용한 Edge-enhanced 모듈의 결과가 conv9로 추가 입력되었을 때 기본 U-Net모델 대비 정량적, 정성적으로 모두 높아진 정확도를 보여주었다. 정확도가 높아진 원인을 분석하기 위하여 Morphology 모듈과 Edge-enhanced 모듈의 산출물을 표출하여, 각 모듈의 효과를 확인하였다.

Morphology 모듈을 구성하는 세 가지 풀링 레이어 min-pooling, max-pooling, max-pooling (min-pooling) 각각에 대해 SAR VV 영상을 넣었을 때 효과를 Fig. 9에 제시하였다. 세 풀링 레이어의 결과물은 예상한 것과 같이 Morphology 연산의 침식, 팽창, 열림을 적용했을 때의 효과와 유사하게 나타났다. Max-pooling (min-pooling)은 원본 SAR 영상 대비 블러 효과와 더불어 밝은 노이즈가 억제된 효과를 주었다. Min-pooling과 max-pooling는 각각 원본 영상의 대비를 낮춘 효과와 높인 효과를 보여 준다. LC Morphology 모듈은 이 중 min-pooling과 max-pooling (min-pooling)을 추가 입력자료로 선택하였고, HC Morphology 모듈은 이 중 max-pooling과 max-pooling (min-pooling)의 결과를 추가 입력자료로 선택하였다. Table 4에서 LC 버전이 가장 높은 정확도와 낮은 정확도를 보여준 이유는 영상을 어둡게 함으로써 수계 탐지의 난이도가 높아져 학습이 더욱 세밀하게 이루어져야 했기 때문으로 추측된다. 반면, max-pooling의 결과로 대조가 커지면 육안상 뚜렷해 보이나, 학습이 쉬운 데이터셋을 구성하여 물이 아니나 어둡게 촬영된 높은 난이도의 지역까지 오탐지될 가능성이 높아진다. Morphology 모듈을 구성하는 모든 레이어는 풀링 효과에 의해 경계가 무뎌지고 확대되는 경향성을 보여주어 Fig. 8에서 Unet_LC_conv9이 탐지한 수계의 경계도 매끄럽고 확장되게 탐지됨을 확인할 수 있다.

Fig. 9. Visualization of the output of layers from the Morphology module. SAR VV image is input image of three pooling layers. (a), (b), (c), (d) are showing different topographic features: open water with mountain, open water with beach and port, river in city and reservoir.

Edge-enhanced 모듈의 소벨, 샤를 LoG 필터별 결과물을 Fig. 10에 제시하였다. 그림을 통해 LoG 필터가 소벨과 샤를 필터 대비 평균 정확도가 낮은 이유는 수체와 육지와의 차이, 지형 기복의 변화를 LoG 필터가 가장 약하게 검출하였기 때문으로 추측한다. LoG 필터는 가우시안을 통해 노이즈의 민감도를 낮추고자 하였으나, 그럼에도 밝은 스페클 노이즈 위주의 경계 검출이 이루어져 SAR 영상에 적합하지 않은 경계 검출 알고리즘으로 판단된다. 샤를필터는 소벨 필터 기반으로 경계를 더 뚜렷이 검출하는 알고리즘이므로 육안상으로도 더 뚜렷하며 이러한 차이가 샤를이 소벨보다 더 높은 정확도를 보여준 것으로 추정한다.

Fig. 10. Visualization of the output of layers from the Edge-enhanced Module. For Sobel, and Scharr, from left top to clockwise, horizontal, vertical, diagonal left to right, diagonal right to left. (a), (b), (c) are showing different topographic features: small river in city, reservoir in mountain and river in mountain.

마지막으로 Morphology 모듈과 Edge-enhanced 모듈을 동시에 적용하였을 때 높은 정확도를 보여주는 현상에 대해 분석해보고자 한다. Morphology 모듈은 노이즈를 약화시키고 특히 LC 버전은 어두운 지역을 중점적으로 학습하면서 수체일 확률이 높은 지역을 추출하는 효과가 있지만, 풀링레이어 자체의 블러 효과에 의해 정확한 수체 경계 탐지는 어려워진다. 반면 Edge-enhanced 모듈은 노이즈에 민감하게 반응하지만 수체의 경계를 뚜렷하게 제시한다. 이 두 레이어가 같이 동작함으로써 서로의 단점을 상쇄시키는 학습이 이루어져 최소 5%이상의 정확도 향상이 이루어진 것으로 판단된다.

입력 위치별 정확도의 차이를 고려해볼 때, 두 모듈의 출력물 모두 conv 9의 입력자료로 사용되었을 때 가장 높은 정확도를 보여주었다. 이는 U-Net 모델의 구조와 연결지어 생각해볼 수 있다. U-Net 모델 아키텍처는 인코더에서 국소적이고 세밀한 특징을 추출하고 디코더에서 전반적인 맥락을 추출하며 이 둘을 결합함으로써 효과적인 학습이 가능하다는 특징이 있다. 마찬가지로 Morphology모듈과 Edge-enhanced 모듈은 영상의 국소적인 특징 위주로 추출하는 모듈이기에 이를 동일 크기의 전반적인 특징을 가지고 있는 conv9의 입력자료일 때 가장 높은 정확도를 보여준다고 판단된다. Conv 10도 동일 크기의 디코더 레이어이지만, 해당 레이어는 마지막 이진분류를 위한 레이어로 입력자료와 선형적 관계만 분석할 수 있다. 하지만 conv 9은 이후 3개의 컨 볼루션 레이어가 존재하여 모듈의 결과물과 라벨 데이터 간 비선형적 관계에 대해 충분한 학습이 가능하여 생긴 차이로 추측된다.

5. 결론

수재해 대응을 위한 실시간 범람 모니터링의 필요성이 대두됨에 따라, 주기적으로 촬영이 가능하고 광원의 유무와 상관없이 전천후로 획득이 가능한 인공위성 SAR 영상 기반 수체탐지에 대해 높은 정확도가 요구되고 있다. 하지만 SAR 영상은 자체 신호 처리 알고리즘에 의한 스페클 노이즈가 존재하여 전통적인 분류 알고리즘은 다양한 시기에 촬영된 영상에 일괄적인 적용이 어려운 한계가 존재하였다. 이는 CNN 모델의 등장으로 일부분 극복이 가능하였으나, 여전히 SAR 영상 내 수체탐지의 미탐지 및 오탐지가 발생하는 낮은 정확도를 보여준다. 수체탐지의 정확도를 높이기 위한 방안 중하나인 다양한 입력자료의 융합은 모든 지역의 일관적인 퀄리티의 데이터가 동시에 획득되어야 하는 한계가 존재한다.

본 연구는 별도의 보조자료나 계산량의 급증 없이 모델 내 간단한 레이어 조합을 추가하여, 영상 자체의 특징을 보다 세밀하게 참고하도록 하는 모델을 구성하였다는 점에서 의의가 있다. 수체탐지의 정확도를 높이기 위해 형태학적 연산을 처리하는 효과를 제공하는 풀링레이어의 조합인 Morphology 모듈과 컨볼루션 레이어의 가중치에 기존 경계 검출 알고리즘을 대입하여 경계를 강조하는 Edge-enhanced 모듈을 U-Net 모델에 추가하였다. 두 모듈의 다양한 조합을 테스트하여 최종적으로 min-pooling과 max-pooling (min-pooling) 레이어로 구성된 Morphology 모듈과 샤를 필터 가중치를 적용한 Edge-enhanced 모듈의 산출물을 conv 9에 입력자료로 추가한 케이스가 가장 좋은 성능을 보여주었다.

하지만 본 연구에서 10 m의 해상도를 가진 Sentinel-1 VV 영상을 사용하였지만, 하천 폭이 100 m 이내인 소하천에 대하여 미탐지가 발생한다는 문제점이 존재한다. SAR 영상의 기하학적 왜곡현상인 Fore shortening, Radar shadow 등이 수체탐지에 미치는 영향은 고려하지 않았다는 점에서 이에 대한 추가 연구가 필요하다. 후속 연구에서는 해당 모듈이 Sentinel-1의 SAR VV 영상뿐만 아니라 다른 위성의 편파에도 적용 가능한지, U-Net 외 다른 모델에서도 효과적인 정확도 향상을 보여주는 지에 대해 추가 연구가 필요하다. 마지막으로 개발된 수체 탐지 모델의 결과를 활용하여 실시간 범람 모니터링을 하기 위해서, 실시간 영상 다운로드, 전처리 및 모델 예측 전과정이 자동적으로 이루어지는 시스템구축에 대해 후속 연구가 필요하다.