Korean Journal of Remote Sensing (대한원격탐사학회지)

Korean Society of Remote Sensing (대한원격탐사학회)
권호 표지
DOI QR코드

DOI QR Code

Flood Mapping Using Modified U-NET from TerraSAR-X Images

TerraSAR-X 영상으로부터 Modified U-NET을 이용한 홍수 매핑

  • 유진우 (서울시립대학교 공간정보공학과) ;
  • 윤영웅 (서울시립대학교 공간정보공학과) ;
  • 이어루 (서울시립대학교 공간정보공학과) ;
  • 백원경 (서울시립대학교 공간정보공학과) ;
  • 정형섭 (서울시립대학교 공간정보공학과)
  • Received : 2022.12.01
  • Accepted : 2022.12.16
  • Published : 2022.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

The rise in temperature induced by global warming caused in El Nino and La Nina, and abnormally changed the temperature of seawater. Rainfall concentrates in some locations due to abnormal variations in seawater temperature, causing frequent abnormal floods. It is important to rapidly detect flooded regions to recover and prevent human and property damage caused by floods. This is possible with synthetic aperture radar. This study aims to generate a model that directly derives flood-damaged areas by using modified U-NET and TerraSAR-X images based on Multi Kernel to reduce the effect of speckle noise through various characteristic map extraction and using two images before and after flooding as input data. To that purpose, two synthetic aperture radar (SAR) images were preprocessed to generate the model's input data, which was then applied to the modified U-NET structure to train the flood detection deep learning model. Through this method, the flood area could be detected at a high level with an average F1 score value of 0.966. This result is expected to contribute to the rapid recovery of flood-stricken areas and the derivation of flood-prevention measures.

지구온난화로 인해 발생한 기온 상승은 엘니뇨, 라니냐 현상을 초래하였고, 해수의 온도를 비정상적으로 변화시켰다. 해수 온도의 비정상적인 변화는 특정 지역에 강우가 집중되는 현상을 발생시켜 이상 홍수를 빈번하게 일으킨다. 홍수로 인한 인명 및 재산 피해를 복구하고 방지하기 위해서는 침수피해 지역을 신속하게 파악하는 것이 중요한데 이는 합성개구레이더(synthetic aperture radar, SAR)를 통해 가능하다. 본 연구에서는 멀티 커널(kernel) 기반의 수정된 U-NET과 TerraSAR-X 영상을 활용하여 다양한 특성 맵 추출을 통해 반전 잡음(speckle noise)의 효과를 저감하고, 홍수 전, 후의 두 장의 영상을 입력자료로 활용해 홍수 발생 지역을 직접적으로 도출해내는 모델을 제작하고자 한다. 이를 위해 두 장의 SAR 영상을 전처리하여 모델의 입력자료를 제작하였고, 이를 수정된 U-NET 구조에 적용하여 홍수 탐지 딥러닝 모델을 학습시켰다. 해당 방법을 통해 평균 F1 score 값이 0.966으로 높은 수준으로 홍수 발생 지역을 탐지할 수 있었다. 이 결과는 수해 지역에 대한 신속한 복구 및 수해 예방책 도출에 기여할 것으로 기대된다.

Keywords

1. 서론

화석연료의 지속적인 사용으로 인해 대기 중의 이산화탄소의 농도가 증가하고 있으며, 이는 지구온난화 및 이상 기후 현상을 초래한다(Singh and Singh, 2012). 지구의 온도가 지속적으로 증가함에 따라 수온의 온도 변화 또한 크게 나타나고 있으며, 이는 수온의 온도가 비정상적으로 유지되는 엘니뇨, 라니냐 현상이 초래한다(Philander, 1985). 이러한 현상에 의해 물의 증발량이 증가하게 되고, 이는 물의 대순환 과정을 거쳐 특정 지역을 집중호우를 발생시켜 특정 지역에 큰 홍수를 유발한다(Kiem et al., 2003). 홍수로 인해 전세계적으로 인명 및 재산에 대한 피해가 증가하고 있다(Moel and Aerts, 2011). 홍수에 대한 피해를 방지하고 복구하기 위해서는 침수 피해지역을 신속하게 파악하는 것이 중요한데 이는 위성 영상을 통해 가능하다. 위성 영상은 넓은 범위를 효과적으로 관측할 수 있어 실제로 인재 및 자연 재해를 관측하고 분석하는데 널리 활용되고 있다. 위성 영상 중 synthetic aperture radar (SAR) 영상은 높은 투과율을 가지는 마이크로파를 직접 쏘는 능동형 센서를 이용하기 때문에 시간이나 기상 조건에 상관없이 영상을 취득할 수 있어 기후 및 시간대의 영향을 많이 받는 광학 위성 영상에 비해 홍수 피해 지역을 파악하는데 효과적이다(Schumann et al., 2011).

기존 SAR 영상을 이용한 홍수 탐지에는 홍수가 난 픽셀의 후방산란(back-scattering)값이 다른 픽셀에 비해 현저하게 낮다는 점을 이용해 임계값을 설정하여 두 영상 사이의 변화를 탐지하는 방법을 활용하였다(Bazi et al., 2005). 또한, 레이더 간섭기법(SAR Interferometry)을 통해 긴밀도영상(coherence) 영상을 생성하여 두 영상 사이의 불상관성(decorrelation)의 정도를 통해 홍수를 탐지하는 연구도 진행되었다(Selmi et al., 2014). 또한, Mason et al. (2009)은 고해상 TerraSAR-X 영상과 SAR 이미지 처리 방법인 statistical active contour model (SNAKE)을 활용하여 홍수를 탐지하는 연구도 수행되었다. 최근에는 SAR영상과 딥러닝 기법을 홍수를 탐지하는 연구들이 진행되고 있으며, 이는 기존의 알고리즘 기반의 탐지 성능을 상회하고 있다(Katiyar et al., 2021). 그 중, Xu et al.(2022)은 SAR 영상과 의미적 객체 분할(segmentation) 모델인 U-NET을 활용하여 홍수 발생 면적을 탐지하였다.

U-NET은 인코더(encoder)와 디코더(decoder)를 활용하여 인접 문맥 파악(context)과 객체의 위치 판단(localization) 사이에 발생하는 trade-off를 해결한 모델로 의미적 객체 분할(segmentation)의 대표적인 기법 중 하나이다(Ronneberger et al., 2015). U-NET의 인코더는 각 입력 영상의 특성맵(feature map)을 추출하는 역할을 하고 있으며, 이 특성맵은 딥러닝의 역전파 과정 및 학습 결과에 영향을 준다(Byra et al., 2020). 기존 U-NET의 경우에는 단일의 인코더만을 가지고 있어 단일 크기의 합성곱(convolution) 연산만을 진행한다. SAR 영상은 영상화 과정에서 여러 산란체의 후방산란 값을 하나의 픽셀에 표현하지 못해 반전잡음을 포함한다(Kim et al., 2016). 반전 잡음은 레일리 분포의 특성을 나타내며, 레이더 영상 화질을 저하시켜 특징 추출 등과 같은 컴퓨터 비전 분야의 성능을 저하시키는 요인으로 작용한다(Choi and Jeong, 2019). 이를 단일 크기의 커널을 통해 합성곱 연산을 진행하면 노이즈가 포함된 영상에서 고품질의 특성맵을 추출할 수 없다.

또한, 기존 SAR 영상과 딥러닝 기법을 활용한 홍수 탐지 연구는 수계 영역과 비수계 영역을 탐지한 후, 추가적인 연산을 통해 홍수 발생 지역을 도출한다(Kim et al., 2020). 이는 신속성을 요구하는 홍수 탐지에 대한 속도를 저하시키는 요인으로 작용된다.

이러한 단점들을 보완하기 위해 본 연구에서는 수정된 U-NET 구조를 활용하여 3가지 크기의 커널을 통해 합성곱 연산을 진행하여 다양한 특성맵을 모델 학습에 반영하여 모델의 탐지 성능을 향상시키고, 홍수 전, 후의 영상을 모델의 입력자료로 활용하여 홍수 발생 면적을 직접적으로 도출해내는 모델을 제작하고자 한다. 이를 위해 TerraSAR-X 영상을 통해 모델의 입력 자료 및 정답값 라벨을 제작하였고, 이를 수정된 U-NET 구조에 적용하였다. 모델의 최종 성능은 정밀도(precision), 재현율(recall), F1 score, average precision (AP)와 같은 정량적인 지표들을 통해 분석하였다.

2. 연구 지역 및 연구 자료

1) 연구 지역

Fig. 1은 연구 지역을 나타낸다. 연구지역은 미국의 미시시피강 유역으로 자체 길이가 3,767 km로 미국에서 두번째로 긴 강이며, 미네소타주 북부의 이타스카호와 수많은 호수를 수원으로 하여 멕시코만으로 흘러든다. 강의 길이에 비해 높낮이 차가 적으며, 물의 흐름도 완만하고 수량도 많은 지역이다. 또한, 계절에 따라 수량의 증감이 현저하여 큰 홍수를 자주 일으키는 지역으로 미국의 주요농업지대 및 납 광산과 석유 정제 시설이 위치해 있어 홍수 발생 시 미국뿐만 아니라 국제경제에 영향을 미치는 지역이다.

OGCSBN_2022_v38n6_2_1709_f0001.png 이미지

Fig. 1. Study area.

2) 사용 자료

연구 데이터는 미시시피강 범람에 의한 침수 지역을 탐지하기 위해 홍수 발생 기간 중 해당 일대를 촬영한 TerraSAR-X 위성 영상 두 장을 활용하였다. Fig. 2는 본 연구에 사용된 영상을 나타내며 사용한 영상의 촬영 시기는 2008년 7월 4일의 영상과 7월 15일이며, Box A는 모델의 학습과 평가에 사용된 부분을 Box B는 추가적인 추론에 활용한 지역을 나타낸다. 해당 지역은 2008년 6월 중순부터 7월 말까지 2008년 집중 호우로 인해 홍수가 발생하였다(Shi and Wang, 2009). 7월 4일의 영상은 홍수로 인해 물의 높이가 최고점에 도달한 시기이며, 7월 15일의 영상은 시간이 지나 강의 수위가 낮아졌으며, 육지 지역의 물이 빠진 시기의 영상이다. 따라서 본 연구에서는 해당 영상을 시계열 순서로 사용하여 수계에 비수계로 변한 지역을 탐지하고, 영상의 시계열 순서를 반대로 활용하여 비수계에서 수계로 변한 지역을 탐지하였다. Table 1은 사용된 TerraSAR-X영상의 특성을 나타낸다. 두 영상 모두 Stripmap 모드로 촬영되었으며, pass direction은 ascending이고, VV편파로 촬영되었다.

OGCSBN_2022_v38n6_2_1709_f0002.png 이미지

Fig. 2. Study data: (a) TerraSAR-X Image (2008.07.04), (b) TerraSAR-X Image (2008.07.15). Box A represents the area used for train and test, and Box B represents the area additionally inferenced.

Table 1. Characteristic of images in this study

OGCSBN_2022_v38n6_2_1709_t0001.png 이미지

3. 방법론

Fig. 3는 본 연구의 전반적인 절차를 나타낸다. 연구는 크게 1) 데이터 전처리, 2) 정답값 라벨 제작, 3)모델 학습 및 평가로 구분된다. 데이터 전처리 과정에서 원본 single look complex (SLC) 영상을 통해 시그마넛(sigma nought) 영상을 제작하고, 이를 중앙값 커널로 필터링한 후, 영상 정합(co-registration)을 통해 두 영상의 상대 위치 오차를 보정하였다. 다음으로, 위치 오자를 보정한 시그마넛 영상들의 픽셀 값을 decibel 단위로 변환해주었고, 이상치 제거 및 값의 분포 범위를 줄이기 위해 99% 최대-최소 정규화를 진행하여 0에서 1사이의 값으로 변환하였다. 이를 통해 제작된 영상은 수정된 U-NET 모델의 입력자료로 사용하였다. 그 후, decibel 영상과 해당 지역의 광학 영상을 활용하여 두 장의 영상에 대해 수계, 비수계 영역을 annotation 하였다. 2장의 수계, 비수계 map을 서로 차분하여 모델 학습에 사용될 최종적인 정답값 라벨을 제작하였다. 마지막으로 정규화된 decibel 영상과 정답값 라벨을 패치의 형태로 나눠주었고, 데이터 증강을 통해 학습 자료의 양을 증가시켜 수정된 U-NET에 적용하였다. 최종적으로 평가 데이터와 모델 평가 지표를 통해 학습된 모델의 성능을 평가하였다.

OGCSBN_2022_v38n6_2_1709_f0003.png 이미지

Fig. 3. Detailed workflow of this study.

1) 데이터 전처리

시그마넛 영상은 SAR 안테나로부터 방사된 에너지가 지상 산란체에 의해서 반사되는 특성을 가리키는 후방산란계수 값으로 영상의 픽셀 값을 지구의 물리적인 특성 값으로 변환해준 영상이다. 센서의 영상 획득기하나 입사각과의 상관관계가 적어 서로 다른 센서에서 얻어진 값의 상호 비교가 가능하며, 지상표적 탐지 및 토지피복 분류, 토양수분 산출에 있어 효과적이다(Yang and Jeong, 2018). 두 장의 SLC 영상은 입사각(local incidence angle)이 고려되어 있지 않기 때문에 동일 궤도에서 촬영한 영상일지라도 후방산란 값의 분포가 다르게 나타날 수 있기 때문에 시그마넛 영상을 제작하였다(O’Grady et al., 2013). 시그마넛 영상을 제작하는 수식은 식(1)과 같다.

σ0 = (ks * | DN |2 – NEBN) * sin θloc       (1)

수식에서 ks는 calibration and processor scaling factor, DN은 SAR 영상의 밝기 값, NEBN은 noise equivalent beta naught을 나타내고, θloc은 지역 입사각을 의미한다.

생성된 시그마넛 영상 내에는 스펙클 노이즈가 포함되어 있다. 반전 잡음은 승산 잡음(multiplicative noise) 및 레일리 분포의 특성을 나타내어, SAR 영상 화질을 저하시는 요인으로 작용된다(Choi and Jeong, 2019). 노이즈가 심하게 포함되어 있을 노이즈의 영향이 반영된 특성맵이 모델 학습에 반영되어 성능을 저하시킨다. 노이즈에 대한 영향을 감소시키기 위해 임펄스성 잡음을 제거하는데 효과적인 메디안 필터를 3 × 3의 크기로 적용하였다(Lee and Kim, 2022).

동일한 궤도에서 촬영한 SAR 위성 영상은 입사각 및 다른 요인들로 인해 영상의 위치가 정확하게 맞지 않을 수 있다. 시계열 자료의 사용에 있어 영상 간 상대 위치 오차는 산출물의 정확도에 직접적으로 영향을 미치는 요인이다(Jeong et al., 2014). 이 때문에 위성레이더 영상 간의 정합을 통해 영상의 쌍을 동일한 위치에 놓이게 하였다. 영상 정합을 위해 Bernstein (1983)에 의해 제안된 교차상관 알고리즘 사용하였다. 교차 상관 알고리즘은 두 영상 전체에 대해 커널을 이동시키며 상관 계수(correlation coefficient)를 계산하고 이를 통해 영상 간 변위를 추정하여 영상을 정합한다. 영상 정합을 위해 영상 쌍 내에 있는 모든 픽셀의 정규 강도상관계수를 영상 쌍의 전체 범위에 대하여 커널을 이동시키며 계산하고, 이를 통해 커널의 중심 픽셀과 영상 쌍 내의 정규 강도 상관계수 값이 가장 큰 픽셀을 찾아 모든 픽셀의 변위를 추정한다. 추정된 변위를 통해 영상 내의 지점에서 가로 및 세로 방향의 변위를 구할 수 있는 2차원 다항식 모델을 설정하고, 이를 통해 영상을 매칭한다. 매칭시 기준이 되는 영상(master image)은 2008년 7월 4일의 영상을 활용하였고, 매칭할 영상(slave image)은 2008년7월 15일의 영상을 활용하였다.

레이더 강도 영상은 레일리 분포를 따르며 값의 분포가 크다. 일반적으로 딥러닝 모델 학습 시 입력 데이터의 분포가 정규분포를 따를 때 신경망이 더 잘 최적화된다(Brutzkus and Globerson, 2017). 레이더 영상의 분포를 정규 분포로 바꾸기 위해 영상의 픽셀 값을 decibel 단위로 변환하였으며, 99% 최대-최소 정규화를 적용하여 이상치를 제거한 값을 0에서 1 사이의 값으로 변환하였다.

2) 정답값 라벨 제작

모델의 정답값으로 활용될 정답값 라벨을 제작하기 위해 2장의 SAR 영상에 대해 수계 및 비수계 영역 어노테이션을 진행하였다. 어노테이션 기준 영상으로 decibel 영상을 활용하였으며, 반전 잡음이나 지형에 의한 그림자로 인해 수계 영역과 비슷한 반사율을 가지는 부분을 고려하기 위해 해당 지역의 광학 영상을 함께 활용하였다. 정밀한 어노테이션 진행을 위해 3차례의 정제 및 가공을 진행하여 균질성 있는 수계, 비수계 영역 데이터를 생성하였다. 생성된 2장의 수계, 비수계 영역 데이터를 시계열 순서로 차분, 시계열 순서를 반대로 차분하여 비수계에서 비수계, 수계에서 수계, 수계에서 비수계, 비수계에서 수계의 4가지의 계층을 가지는 최종적인 정답값 라벨을 생성하였다.

3) 모델 학습 및 평가

위성 영상은 일반적인 이미지에 비해 영상의 크기가 매우 커서 학습을 진행할 때 한 장의 영상을 통째로 학습하기 어렵다(Hong, 2020). 따라서, 약 3 m의 공간 해상도를 가지는 (28528, 16468) 크기의 영상을 128 × 128의 크기의 패치로 겹치지 않게 나누어 총 13,528장의 제작하였고, 8,000장을 모델 학습용 데이터(train data) 5,528장을 모델 평가용 데이터(test data)로 나눠주었다. 2장의 SAR 영상을 활용할 경우 데이터의 양이 한정적이며, 모델 학습에 있어 다양한 조건이나 환경을 반영할 수 없다. 또한, 학습 데이터를 과하게 학습하는 과적합(overfitting)이 발생할 수 있으며, 새로운 데이터에 대한 모델의 강건성도 떨어질 수 있다(Shorten and Khoshgoftaar, 2019). 따라서, 데이터의 양과 다양성을 증가시키기 위해 제작한 학습데이터에 아핀 변환(affine transform)과 랜덤 회전의 방법을 적용하여 학습 데이터의 양을 2배로 증가시켰다(Dao et al., 2019).

제작된 학습 데이터를 통해 수정된 U-NET 모델을 학습시켰다. Fig. 4는 본 연구에서 사용된 수정된 U-NET을 나타낸다. 기존 U-NET은 단일의 인코더만을 가지고 있어 단일 크기의 커널로 합성곱 연산을 진행한다. SAR 영상은 영상화 과정에서 여러 산란체의 후방산란 값을 한 픽셀 안에 따로 표현할 수 없기 때문에 반전 잡음이 발생하게 되는데 이는 모델의 학습 성능을 저하시키는 요인으로 작용한다. 이를 단일 크기의 커널을 통해 합성곱 연산을 진행하면 노이즈가 포함된 영상에서 고품질의 특성맵을 추출할 수 없다(Kwak et al., 2018). 일반적으로 커널의 크기가 커질수록 더 넓은 시야(view)에 대해 필터링을 진행하기 때문에 특성맵의 해상도는 저하되지만 넓은 지역에 대한 일반화된 공간적인 특성을 추출할 수 있고, 노이즈가 저감된 값을 획득하는데 효과적이다(Baek, 2022). 반면, 커널의 크기가 작아질수록 필터링 과정에 있어 노이즈의 영향은 크게 받지만 좁은 지역에 대한 특정되고 자세한 공간적 특성을 가지는 고해상의 특성맵을 추출할 수 있다. 또한 필터 확장 방법(dilated filter)은 커널 사이의 간격을 키워 작은 커널의 크기로 넓은 지역의 공간적 특성을 반영하는 방법으로, 작은 크기의 커널로 넓은 크기의 커널과 같은 수용 영역(receptive field)을 가지면서 필터링을 진행하여 다른 공간적 특성을 추출해낼 수 있다(Akhter et al., 2020). 따라서, 커널의 크기에 따른 다앙한 공간적 특성들을 모델 학습에 반영하기 위해 3 by 3, 5 by 5, 3 by 3 dilated의 커널 크기를 가지는 3가지 인코더 구조를 사용하였다. 3 by 3 커널로 좁은 지역에 대한 고해상 정보를, 5 by 5 커널로 좀 더 넓은 지역에 대해 노이즈가 저감된 일반적인 정보를, 3 by 3 dilated 필터로 이와는 다른 새로운 정보를 추출하였다.

OGCSBN_2022_v38n6_2_1709_f0004.png 이미지

Fig. 4. Model structure of modified U-NET.

모델을 학습한 후 평가 데이터를 통해 예측된 결과와 실제 정답 값 간의 혼동 행렬(confusion matrix)을 제작하였다. 이를 통해 정밀도, 재현율, precision-recall (PR) 곡선, F1 score과 같은 모델을 평가하기 위한 지표를 계산하여 모델을 정량적으로 분석하였다. 정밀도는 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율을 나타내며, 재현율은 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율을 나타낸다(Buckland and Gey, 1994). 정밀도와 재현율에 대한 수식은 다음과 같다:

\(\begin{aligned}Precision=\frac{True\;Positive}{True \; Positive+False \; Positive}\end{aligned}\)       (2)

\(\begin{aligned}Recall=\frac{True \; Positive}{True \; Positive+False\; Negative}\end{aligned}\)       (3)

일반적으로 정밀도와 재현율은 서로 trade-off를 가진다(Gordon and Kochen, 1989). 따라서 모델의 성능을 면밀히 비교, 분석하기 위해서는 정밀도와 재현율의 성능변화 전체를 살펴봐야 한다. 이는 PR 곡선을 통해 확인할 수 있다. PR 곡선은 알고리즘의 파라미터의 조절에 따른 정밀도와 재현율의 값의 변화를 표현한 그래프이다. PR 곡선은 평균 정밀도 average precision 값을 가지는데, 이는 모델 분류 성능의 지표로서 활용되며 그래프 선의 하단 면적을 이용하여 계산한다. 일반적으로 AP의 값이 높을수록 모델의 성능이 높음을 의미한다. F1 score는 정밀도와 재현율 사이의 trade-off를 잘 통합하여 모델의 정확성을 하나로 값으로 표현하는 지표로 두 값의 조화 평균을 통해 계산한다(Chicco and Jurman, 2020). F1 score의 수식은 다음과 같다.

\(\begin{aligned}F1\; score=2*\frac{Precision*Recall}{Precision+Recall}\end{aligned}\)       (4)

4. 연구 결과

Fig. 5는 본 연구에 활용한 두 장의 TerraSAR-X 원본 영상(Fig. 5(a–b))과 데이터 전처리 과정을 통해 생성된 정규화 된 decibel 영상(Fig. 5(c–d))을 나타낸다. 원본 영상에 비해 decibel 영상은 값의 범위가 줄고 정규 분포를 따르고 있어 수계 영역과 비수계 영역이 뚜렷하게 나타나고 있다. 또한, 중앙값 필터를 영상에 적용하여 반전 잡음으로 인한 영향도 감소된 것으로 보인다. 7월 4일의 영상과 15일의 영상을 비교했을 때, 강 인근에서 수계였던 영역이 비수계로 변한 지역 확실하게 보이며, 육지영역에서도 물에 잠긴 영역이 저감되었다.

OGCSBN_2022_v38n6_2_1709_f0005.png 이미지

Fig. 5. TerraSAR-X raw data and normalized decibel map: (a) TerraSAR-X raw data (2008.07.04), (b) TerraSAR-X raw data (2008.07.15), (c) Normalized decibel map(2008.07.04), and (d) Normalized decibel map (2008.07.15).

제작된 decibel 영상을 모델의 입력자료로 활용하여 모델을 학습시켰다. Table 2는 모델 학습에 사용된 주요 하이퍼파라미터(hyperparameter)의 값으로, 커널 초기화, 최적화 함수, 학습률, 손실함수, 배치 크기, 에포크(epoch)의 값을 나타낸다. 커널 초기화를 위해 He Normal을 사용하였으며, 모델 최적화 함수로 nesterov-accelerated adaptive momentum Adam(NAdam)을 사용하였다. 모델 최적화 비율인 학습률 값은 에포크 값이 늘어날수록 0.001에서 0.0001까지 변화하게 설정하였으며, 손실함수로는 일반적으로 분류할 클래스가 3개 이상인 U-NET에 활용되는 희소 범주형 교차 엔트로피(sparse categorical cross entropy)를 사용하였다. 1회 역전파에서 gradient를 모을 데이터의 개수를 나타내는 배치크기는 50으로 설정하였으며, 에포크는 1000으로 설정하여 반복 학습을 진행하였다. 모델은 평가 데이터에 대해 약 0.078의 손실 값과 0.987의 정확도에 수렴하였다.

Table 2. The hyperparameters of trained Modified U-NET

OGCSBN_2022_v38n6_2_1709_t0002.png 이미지

Fig. 6는 두 장의 영상을 시계열 순서, 반시계열 순서로 차분하여 제작한 정답값 라벨(Fig. 6(a–b))와 학습한 모델을 통해 도출한 수계, 비수계 변화 탐지 map (Fig.6(c–d))을 나타낸다. 전체 영역에 대해 예측된 변화 탐지 map은 정답값 라벨과 유사한 경향을 나타낸다. 또한, 픽셀의 개수가 상대적으로 적은 수계에서 비수계, 비수계에서 수계 계층에 대해서도 데이터 증강 기법을 적용하여 전반적으로 잘 예측된 것으로 나타난다. 다만 반전잡음이나 지형에 의한 그림자 효과로 인해 비수계에서 비수계의 변화를 나타내는 부분이 비수계에서 수계로 나타난 픽셀들이 존재하였다. 예측된 map에 대한 자세한 내용은 Box A와 Box B를 통해 확인할 수 있다.

OGCSBN_2022_v38n6_2_1709_f0006.png 이미지

Fig. 6. Ground truth and predicted flood map: (a) Ground truth (2008.07.04 to 2008.07.15), (b) Ground truth (2008.07.15 to 2008.07.04), (c) Predicted flood map (2008.07.15 to 2008.07.04), and (d) Predicted flood map (2008.07.15 to 2008.07.04).

Fig. 7은 Fig. 6의 Box A와 Box B에 해당하는 부분을 자세히 표현한 그림이다. Fig. 7(a–d)는 Box A에 해당하는 부분으로 a와 b는 7월 4일과 7월 15일의 정규화된 decibel 영상을 나타내며, c는 정답 값으로 사용된 정답값 라벨, d는 모델이 비수계에서 수계로 변한 지역을 탐지한 결과를 보여준다. e–f는 Box B에 해당하는 부분으로 마찬가지로 e와 f는 정규화된 decibel 영상을 나타내며, g는 정답값 라벨, f는 모델의 탐지 결과를 보여준다. Box A 영역은 15일 영상과 4일 영상의 차이를 모델이 잘 탐지한 것으로 나타나며, 정답값 라벨과도 유사하게 나타난다. 하지만 h의 위쪽 Box는 실제 수계 영역이 아니지만 값이 비슷한 이유로 수계로 예측이 되었다. 이는 해당 지역이 decibel 영상에서 수계 영역과 비슷한 반사도를 가져 나타난 결과로 보인다. 또한, h의 아래 Box는 광학영상과 비교하였을 때 밭에 물이 찬 부분을 나타내는 부분이었으나 어노테이션 과정 중 잘못 라벨링 된 부분이었다. 이는 사람이 라벨 제작 과정에서 오분류한 것을 모델이 적합하게 탐지한 결과이다.

OGCSBN_2022_v38n6_2_1709_f0007.png 이미지

Fig. 7. Box A and Box B images: (a-b) Normalized decibel map of Box A, (c) Ground truth of Box A (2008.07.15 to 2008.07.04), (d) Predicted flood map of Box A(2008.07.15 to 2008.07.04), (e-f) Normalized decibel map of Box B, (g) Ground truth of Box B (2008.07.15 to 2008.07.04), and (h) Predicted flood map of Box B (2008.07.15 to 2008.07.04).

Table 3는 평가 데이터를 통해 도출한 정밀도와 재현율, F1 score, 정확도 등 모델의 정량적 평가 지표를 나타낸다. 정밀도와 재현율 모두 높은 수준으로 나타나고 있으며, 모델의 정확도는 0.987로 높은 수준의 성능을 나타냈다. 비수계에서 비수계, 수계에서 수계, 비수계에서 수계, 수계에서 비수계 클래스에 대한 F1 score는 각각 0.994, 0.984, 0.942, 0.945로 확인되며, 평균 F1 score도 0.966으로 높게 나타난다. 본 연구에서 활용한 학습데이터는 각 클래스에 대한 불균형이 존재하였다. 모든 평가 지표에서 픽셀의 개수가 적은 비수계에서 수계, 수계에서 비수계 클래스가 다른 두 클래스에 비해 탐지 성능이 떨어졌다. F1 score 값이 가장 높은 비수계에서 비수계로 변한 클래스와 값이 가장 낮은 비수계에서 수계로 변한 클래스의 차이는 0.052로 나타났다.

Table 3. Performance indicators of the trained Modified U-NET

OGCSBN_2022_v38n6_2_1709_t0004.png 이미지

Fig. 8은 평가 데이터에 대한 모델의 Precision-recall 곡선과 각 클래스에 대한 평균 정밀도를 나타낸다. 높은 평균 정밀도 값을 가질수록 해당 클래스에 대한 모델의 탐지 성능이 우수하다는 것을 알 수 있다. 해당 모델에 대한 mean Average Precision (mAP)의 값은 0.994로 나타난다. 비수계에서 비수계, 수계에서 수계, 비수계에서 수계, 수계에서 비수계 클래스에 대한 mAP의 값은 0.999, 0.999, 0.993, 0.995로 나타나며 Table 3의 정량적 평가 지표와 마찬가지로 비수계에서 비수계, 수계에서 수계로 변한 클래스의 값이 높게 나타난다, 픽셀의 수가 적은 비수계에서 수계, 수계에서 비수계 클래스의 값이 비교적 낮게 나타나고 있지만 두 클래스 모두 mAP의 값이 0.993 이상으로 높은 수준으로 나타난다.

OGCSBN_2022_v38n6_2_1709_f0008.png 이미지

Fig. 8. Precision-recall curve of trained Modified U-NET.

Fig. 9은 모델의 학습과 평가에 사용된 지역과 별개로 선정한 추가 지역에 대해 모델이 추론한 결과를 나타낸다. a와 b는 각각 7월 15일, 7월 4일의 정규화 된 decibel 영상을 나타내며, c는 a와 b를 입력자료로 사용하여 추론한 홍수 탐지 map을 나타낸다. 그림의 Box 영역을 통해 비수계에서 수계 영역으로 변한 지역을 모델이 잘 탐지하는 것을 확인할 수 있다. 학습 및 평가에 사용된 이외의 지역에 대해서도 홍수 발생 면적을 올바르게 분류하고 있다. 해당 결과는 다중 크기의 커널을 가지는 수정된 U-NET 모델을 통해 높은 수준의 정확도를 가지는 홍수 발생 지역 탐지가 가능하다는 것을 확인할 수 있었다. 또한, 홍수 발생 전·후의 영상을 입력자료로 활용하여 추가적인 연산 없이 빠른 속도로 홍수 발생 지역을 직접적으로 도출할 수 있었다. 해당 모델은 신속한 수해 피해 지역 탐지를 가능하게 하여 홍수로 인한 인명 및 재산 피해를 최소화하는데 기여할 것으로 기대된다.

OGCSBN_2022_v38n6_2_1709_f0009.png 이미지

Fig. 9. Inferenced result for new region: (a-b) Normalized decibel map in 2008.07.15 and 2008.07.04 respectively, and (c) Inferenced result.

5. 결론

지구 온난화로 인한 기온 상승은 해수의 온도를 비정상적으로 유지시켜 특정 지역에 집중 호우를 유발한다. 이로 인해 크고 작은 홍수들이 빈번하게 발생하고 있다. 홍수로 인한 피해를 복구하고 예방하기 위해서는 수해지역에 대한 빠른 감지가 필요하다. 이를 위해 최근 딥러닝 기법과 위성 영상을 활용하여 홍수 피해 지역을 탐지하는 연구가 다수 수행되고 있다. 기존 U-NET을 이용한 홍수 탐지에는 단일 인코더의 구조를 사용하여 반전 잡음이 포함된 SAR 영상에서 고품질의 특성맵을 추출하지 못하였다. 또한, 기존 연구들은 각 영상에 대해 수계, 비수계 면적을 탐지하고 추가적인 연산을 통해 홍수 발생 면적을 탐지하였다. 이러한 단점들을 보완하기 위해 본 연구에서는 U-NET의 구조를 수정하여 다중 크기를 가지는 3갈래의 인코더를 통해 합성곱 연산을 진행하여 모델의 탐지 성능을 향상시키고, 홍수 전, 후의 영상을 모델의 입력자료로 활용하여 홍수 발생 면적을 직접적으로 도출해내는 모델을 제작하고자 하였다.

이를 위해 2장의 TerraSAR-X 원본 데이터에 시그마넛 값 변환, 중앙값 필터링, decibel 값 변환, 99% 최대-최소 정규화 등의 전처리를 진행하여 모델의 입력자료를 생성하고, 정규화 된 decibel 영상과 해당 지역의 광학영상을 통해 정답값으로 사용될 정답값 라벨을 제작하였다. 그 후, 제작된 데이터와 정답값 라벨을 패치의 형태로 자르고, 학습 데이터를 증강하여 수정된 U-NET 모델에 적용하였다. 육안 분석 결과를 통해 모델이 비수계에서 비수계, 수계에서 수계, 비수계에서 수계, 수계에서 비수계로 변한 영역을 잘 탐지하는 것을 확인할 수 있었다. 해당 모델은 평가 데이터에 대해 0.987의 정확도와 0.966의 F1 score, 0.994의 mAP 값을 가졌다. 픽셀 수가 적은 비수계에서 수계, 수계에서 비수계에 대한 탐지는 다른 두 클래스에 비해 값이 낮게 나타났으나 모든 평가 지표에서 0.9 이상의 높은 값을 가졌다. 또한, 학습 및 평가에 사용된 이외의 지역을 모델에 적용했을 때도 비수계에서 수계로 변한 부분을 정확하게 분류하고 있었다. 해당 결과를 통해서 다중 크기의 커널을 가지는 수정된 U-NET 모델을 통해 높은 수준의 정확도를 가지는 홍수 발생 지역 탐지가 가능하다는 것을 확인할 수 있었으며, 홍수 발생 전, 후의 영상을 입력 자료로 활용하여 추가적인 연산 없이 빠른 속도로 홍수 발생 지역을 직접적으로 도출할 수 있었다. 본 연구의 결과를 통해 신속하게 수해 지역을 탐지하여 홍수로 인한 인명 및 재산 피해를 최소화하는데 기여할 것으로 기대된다.

사사

본 연구는 대한민국 정부의 재원으로 민군협력진흥원에서 수행하는 민군겸용기술개발사업(과제명: SAR 영상기반 정밀 지상기준점 생성 시스템 개발 사업(’22–’26))의 연구비 지원으로 수행되었습니다(No. 22-CM-EO-02). 또한, 본 연구는 국토교통부의 「스마트시티 혁신인재육성사업(’19–’23)」으로 지원되었습니다.

References

  1. Akhter, M.P., Z. Jiangbin, I.R. Naqvi, M. Abdelmajeed, A. Mehmood, and M.T. Sadiq, 2020. Document-Level Text Classification Using Single-Layer Multisize Filters Convolutional Neural Network, IEEE Access, 8: 42689-42707. https://doi.org/10.1109/ACCESS.2020.2976744
  2. Baek, W.-K., 2022. Phase Unwrapping Using Modified U-Net Regression Model: Focusing on Network Structure and Training Data Optimization, University of Seoul, Seoul, Korea (in Korean with English abstract).
  3. Bazi, Y., L. Bruzzone, and F. Melgani, 2007. Image Thresholding Based on the EM Algorithm and the Generalized Gaussian Distribution, Pattern Recognition, 40(2): 619-634. https://doi.org/10.1016/j.patcog.2006.05.006
  4. Bernstein, R. and C. Colby, 1983. Image Geometry and Rectification, Manual of Remote Sensing, 1: 873-922.
  5. Brutzkus, A. and A. Globerson, 2017. Globally Optimal Gradient Descent for a Convnet with Gaussian Inputs, Proc. of the 34th International Conference on Machine Learning, Sydney, Australia, Aug. 6-11, 70: 605-614. https://doi.org/10.48550/arXiv.1702.07966
  6. Buckland, M. and F. Gey, 1994. The Relationship between Recall and Precision, Journal of the American Society for Information Science, 45(1): 12-19. https://doi.org/10.1002/(SICI)1097-4571(199401)45:1<12::AID-ASI2>3.0.CO;2-L
  7. Byra, M., M. Wu, X. Zhang, H. Jang, Y.J. Ma, E.Y. Chang, S. Shah, and J. Du, 2020. Knee Menisci Segmentation and Relaxometry of 3D Ultrashort Echo Time Cones MR Imaging Using Attention U-Net with Transfer Learning, Magnetic Resonance in Medicine, 83(3): 1109-1122. https://doi.org/10.1002/mrm.27969
  8. Chicco, D. and G. Jurman, 2020. The Advantages of the Matthews Correlation Coefficient (MCC) over F1 Score and Accuracy in Binary Classification Evaluation, BMC Genomics, 21(1): 1-13. https://doi.org/10.1186/s12864-019-6413-7
  9. Choi, H. and J. Jeong, 2019. Speckle Noise Reduction Technique for SAR Images Using Statistical Characteristics of Speckle Noise and Discrete Wavelet Transform, Remote Sensing, 11(10): 1184. https://doi.org/10.3390/rs11101184
  10. Dao, T., A. Gu, A. Ratner, V. Smith, C. De Sa, and C. Re, 2019. A Kernel Theory of Modern Data Augmentation, Proc. of the 36th International Conference on Machine Learning, Long Beach, CA, USA, Jun. 9-15, vol. 97, pp. 1528-1537.
  11. De Moel, H. and J.C.J.H. Aerts, 2011. Effect of Uncertainty in Land Use Damage Models and Inundation Depth on Flood Damage Estimates, Natural Hazard, 5(1): 407-425. https://doi.org/10.1007/s11069-010-9675-6
  12. Gordon, M. and M. Kochen,1989. Recall-Precision Trade-Off: A derivation, Journal of the American Society for Information Science, 40(3): 145-151. https://doi.org/10.1002/(SICI)1097-4571(198905)40:3<145::AID-ASI1>3.0.CO;2-I
  13. Hong, S.J., W.-K. Baek, and H.-S. Jung, 2020. Ship Detection from X-Band SAR Images Using M2Det Deep Learning Model, Applied Sciences, 10(21): 7751. https://doi.org/10.3390/app10217751
  14. Jeong, J., J. Kim, and T. Kim, 2014. Analysis of Geolocation Accuracy of KOMPSAT-3 Imagery, Korean Journal of Remote Sensing, 30(1): 37-45 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2014.30.1.4
  15. Katiyar, V., N. Tamkuan, and M. Nagai, 2021. Near-Real-Time Flood Mapping Using Off-the-Shelf Models with SAR Imagery and Deep Learning, Remote Sensing, 13(12): 2334. https://doi.org/10.3390/rs13122334
  16. Kiem, A.S., S.W. Franks, and G. Kuczera, 2003. Multi-Decadal Variability of Flood Risk, Geophysical Research Letters, 30(2). https://doi.org/10.1029/2002GL015992
  17. Kim, D.-S., H.-S. Jung, and W.-K. Baek, 2016. Comparative Analysis among Radar Image Filters for Flood Mapping, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 34(1): 43-52 (in Korean with English abstract). https://doi.org/10.7848/ksgpc.2016.34.1.43
  18. Kim, J., H. Jeon, and D. J. Kim, 2020. Extracting Flooded Areas in Southeast Asia Using SegNet and U-Net, Korean Journal of Remote Sensing, 36(5-3): 1095-1107 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2020.36.5.3.8
  19. Kwak, Y., W.J. Song, and S.E. Kim, 2018. Speckle-Noise-Invariant Convolutional Neural Network for SAR Target Recognition, IEEE Geoscience and Remote Sensing Letters, 16(4): 549-553. https://doi.org/10.1109/LGRS.2018.2877599
  20. Lee, J.H. and J.H. Kim, 2022. Improving the Accuracy of Deep Learning SAR Image According to Various Filter, Proc. of the Korean Institute of Communication Sciences Conference, Pyeongchang, Korea, Sep. 9-11, pp. 767-768.
  21. Mason, D.C., R. Speck, B. Devereux, G.J.P. Schumann, J.C. Neal, and P.D. Bates, 2009. Flood Detection in Urban Areas Using TerraSAR-X, IEEE Transactions on Geoscience and Remote Sensing, 48(2): 882-894. https://doi.org/10.1109/TGRS.2009.2029236
  22. O'Grady, D., M. Leblanc, and D. Gillieson, 2013. Relationship of Local Incidence Angle with Satellite Radar Backscatter for Different Surface Conditions, International Journal of Applied Earth Observation and Geoinformation, 24(1): 42-53. https://doi.org/10.1016/j.jag.2013.02.005
  23. Philander. S.G.H., 1985. El Nino and La Nina, Journal of Atmospheric Sciences, 42(23): 2652-2662. https://doi.org/10.1175/1520-0469(1985)042<2652:ENALN>2.0.CO;2
  24. Ronneberger, O., P. Fischer, and T. Brox, 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv preprint arXiv:1505.04597. https://doi.org/10.48550/arXiv.1505.04597
  25. Schumann, G.J.-P., J.C. Neal, D.C. Mason, and P.D. Bates, 2011. The Accuracy of Sequential Aerial Photography and SAR Data for Observing Urban Flood Dynamics a Case Study of the UK Summer 2007 Floods, Remote Sensing of Environment, 115(10): 2536-2546. https://doi.org/10.1016/j.rse.2011.04.039
  26. Selmi, S., W.B. Abdallah, and R. Abdelfatteh, 2014. Flood Mapping Using InSAR Coherence Map, The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 40(7): 161. https://doi.org/10.5194/isprsarchives-XL-7-161-2014
  27. Shi, W. and M. Wang, 2009. Satellite Observations of Flood-Driven Mississippi River Plume in the Spring of 2008, Geophysical Research Letters, 36(7): 1-5. https://doi.org/10.1029/2009GL037210
  28. Shorten, C. and T. M. Khoshgoftaar, 2019. A Survey on Image Data Augmentation for Deep Learning, Journal of Big Data, 6(1): 1-48. https://doi.org/10.1186/s40537-019-0197-0
  29. Singh. B.R. and O. Singh, 2012. Global Trends of Fossil Fuel Reserves and Climate Change in the 21st Century, In: Shahriar, K. (eds), Fossil Fuel and the Environment, InTech, Rijeka, Croatia, vol. 8, pp. 167-192.
  30. Xu, C., S. Zhang, B. Zhao, C. Liu, H. Sui, W. Yang, and L. Mei, 2022. SAR Image Water Extraction Using the Attention U-Net and Multi-Scale Level Set Method: Flood Monitoring in South China in 2020 as a Test Case, Geo-spatial Information Science, 25(2): 155-168. https://doi.org/10.1080/10095020.2021.1978275
  31. Yang, D. and H. Jeong, 2018. Verification of Kompsat5 sigma naught equation, Korean Journal of Remote Sensing, 34(6-3): 1457-1468 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2018.34.6.3.11