DOI QR코드

DOI QR Code

Detection of Wildfire Burned Areas in California Using Deep Learning and Landsat 8 Images

딥러닝과 Landsat 8 영상을 이용한 캘리포니아 산불 피해지 탐지

  • Youngmin Seo (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University) ;
  • Youjeong Youn (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University) ;
  • Seoyeon Kim (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University) ;
  • Jonggu Kang (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University) ;
  • Yemin Jeong (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University) ;
  • Soyeon Choi (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University) ;
  • Yungyo Im (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University) ;
  • Yangwon Lee (Department of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University)
  • 서영민 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) ;
  • 윤유정 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) ;
  • 김서연 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) ;
  • 강종구 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) ;
  • 정예민 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) ;
  • 최소연 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) ;
  • 임윤교 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) ;
  • 이양원 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공)
  • Received : 2023.12.02
  • Accepted : 2023.12.13
  • Published : 2023.12.31

Abstract

The increasing frequency of wildfires due to climate change is causing extreme loss of life and property. They cause loss of vegetation and affect ecosystem changes depending on their intensity and occurrence. Ecosystem changes, in turn, affect wildfire occurrence, causing secondary damage. Thus, accurate estimation of the areas affected by wildfires is fundamental. Satellite remote sensing is used for forest fire detection because it can rapidly acquire topographic and meteorological information about the affected area after forest fires. In addition, deep learning algorithms such as convolutional neural networks (CNN) and transformer models show high performance for more accurate monitoring of fire-burnt regions. To date, the application of deep learning models has been limited, and there is a scarcity of reports providing quantitative performance evaluations for practical field utilization. Hence, this study emphasizes a comparative analysis, exploring performance enhancements achieved through both model selection and data design. This study examined deep learning models for detecting wildfire-damaged areas using Landsat 8 satellite images in California. Also, we conducted a comprehensive comparison and analysis of the detection performance of multiple models, such as U-Net and High-Resolution Network-Object Contextual Representation (HRNet-OCR). Wildfire-related spectral indices such as normalized difference vegetation index (NDVI) and normalized burn ratio (NBR) were used as input channels for the deep learning models to reflect the degree of vegetation cover and surface moisture content. As a result, the mean intersection over union (mIoU) was 0.831 for U-Net and 0.848 for HRNet-OCR, showing high segmentation performance. The inclusion of spectral indices alongside the base wavelength bands resulted in increased metric values for all combinations, affirming that the augmentation of input data with spectral indices contributes to the refinement of pixels. This study can be applied to other satellite images to build a recovery strategy for fire-burnt areas.

기후변화로 인한 대형 산불의 빈도가 증가함에 따라 극심한 인명 및 재산상의 피해를 초래하고 있다. 이로 인해 많은 식생이 소실되며, 그 강도와 발생 형태에 따라 생태계 변화에 영향을 끼친다. 생태계 변화는 다시 산불 발생을 유발하여 2차 피해를 야기한다. 따라서 산불 피해지에 대한 정확한 탐지 및 면적 산정의 중요성이 지속적으로 제기되고 있다. 효율적인 산불 피해지 모니터링을 위해 산불 발생 후 실시간 지형 및 기상정보는 물론 피해지역의 영상을 대규모로 취득할 수 있는 위성영상이 주로 활용되고 있다. 최근, 합성곱 신경망(convolution neural network, CNN) 기반 모델부터 고성능 트랜스포머(Transformer) 기반 모델에 이르기까지 딥러닝 알고리즘이 빠르게 발전하면서 산림원격탐사에서 이를 적용한 연구가 활발히 이루어지고 있다. 하지만 현재까지 적용된 딥러닝 모델은 제한적이며 현업에서의 합리적인 활용을 위한 정량적 성능평가에 대한 보고가 부족한 상황이다. 따라서 본 연구에서는 모델에 따른 성능향상과 데이터 설계에 따른 성능향상을 중점적으로 비교 분석하였다. 미국 캘리포니아 지역을 대상으로 CNN 기반 모델의 U-Net, High Resolution Network-Object Contextual Representation (HRNet-OCR)을 활용하여 산불 피해지 모델을 구축하였다. 또한, 기본 파장대역과 함께 식생활력도 및 지표의 수분함량 정도를 고려하고자 normalized difference vegetation index (NDVI), normalized burn ratio (NBR)와 같은 산불 관련 분광지수를 산출하여 입력 이미지로 사용하였다. U-Net의 mean intersection over union (mIoU)이 0.831, HRNet-OCR이 0.848을 기록하여 두 모델 모두 우수한 영상분할 성능을 보였다. 또한, 밴드 반사도뿐 아니라 분광지수를 추가한 결과 모든 조합에서 평가지표 값이 상승하여 분광지수를 활용한 입력 데이터 확장이 픽셀 세분화에 기여함을 확인하였다. 이와 같은 딥러닝 방법론을 발전시킨다면 우리나라의 산불 피해지에 대한 신속한 파악 및 복구 계획 수립의 기초자료로 활용될 수 있을 것으로 기대된다.

Keywords

1. 서론

최근, 전 세계적으로 지구온난화로 인해 산불의 발생 빈도와 규모가 증가하고 있다(Djalante, 2019). California Department of Forestry and Fire Protection의 2020 Incident Archive (https://www.fire.ca.gov/incidents/2020)에 따르면 2020년 발생한 캘리포니아 산불은 8,648건이며, 이로 인해 약 4백 3십만 에이커(Acre) 면적이 소실되었다. 이는 한반도 면적의 80%에 달하는 매우 큰 면적으로 산불의 심각성을 보여준다. 뿐만 아니라 국내 산불의 경우 2022년 산불 발생 건수는 10년(2010~2020년) 평균 대비 41%, 피해면적은 597%가 증가했다(Korea Forest Service, 2023). 이러한 산불은 심각한 인명 및 재산상의 피해를 끼칠 뿐만 아니라 수목 고사와 산사태 등의 2차 피해를 야기하는 범국가적 재난으로 부각되고 있다(Marlon et al., 2008).

산불 피해의 공간적 패턴은 강도와 발생형태에 따라 달라진다(McLauchlan et al., 2020). 이는 생태계 피해 정도 및 회복에 영향을 끼쳐 산불 발생 후 생태계 변화양상을 파악하는 것은 미래의 산불 위험을 추정하고, 식생 회복 전략 수립에 있어 중요한 요인이다(Collins et al., 2020; Eidenshink et al., 2007). 따라서, 피해를 최소화하고 체계적인 생태계 복원을 위해 신속 정확한 산불 피해지 탐지가 필수적이다.

인력을 투입하여 피해지의 규모와 정도를 수기로 기입하는 현장조사는 많은 사회 경제적 비용이 수반될 뿐만 아니라 현장 접근이 어렵고 조사기간이 길어 신속 정확한 탐지에 대해 한계가 있다(Youn and Jeong, 2020). 이에 광역에 걸친 피해지 탐지를 자동화할 수 있는 원격탐사 기법이 활용되고 있다(Chuvieco et al., 2019). 현재 다양한 기술과 방법론이 개발되었으며 방법론은 크게 두가지로 구분된다.

먼저 식생의 분광특성을 활용한 방법론이다. 일반적으로 위성영상을 활용한 산불 피해지 탐지는 피해지와 비피해지의 화소 값 차이를 바탕으로 이루어진다(Choi et al., 2006). 영상처리 단계에서 화소 값 차이를 극대화하기 위해 산불 전후 시기의 분광지수비를 산출해 피해지의 변화를 탐지하는 고전적 기법이다. 대표적인 분광지수비로는 normalized difference vegetation index (NDVI), normalized differencewaterindex (NDWI), normalized burn ratio (NBR), burn area index (BAI), fire burn index (FBI), composite burn index (CBI) 등이 있다. 그 중 NDVI는 근적외선(near infrared, NIR) 파장대역의 반사율을 사용해 식생 활력도를 감지하는 지수로 피해지 탐지에서 널리 사용되고 있다(Carvajal-Ramírez et al., 2019; Domenikiotis et al., 2002; Fernández et al., 1997). 모든 식생을 고려한 정규화지수 뿐만 아니라 NBR, BAI, FBI와 같이 산불의 특성을 고려해 산림 피해 정도를 정량화하는 다양한 산불 관련 지수들이 개발되었다. 주로 지표의 수분함량을 고려한 단파적외선(short wave infrared, SWIR) 파장대역을 포함한 조합에 따라 산출된다(Pleniou and Koutsias, 2013). NBR은 산불로 인해 전소된 지역의 피해가 클수록 식생의 엽록소 양과 수분이 감소하는 것에서 착안한 지수로, 국내외에서 NBR과 그 변위인 dNBR이 폭넓게 활용되고 있다(Kim et al., 2022; Loboda et al., 2007; Escuin et al., 2008).

하지만 분광특성만을 기반으로 한 산불 피해지 탐지는 환경적 요인에 의해 타 지역에서는 지수를 적용하기 어렵거나 계절 및 지역적 특성에 따라 적합한 임계치를 설정해야 한다(Yeom et al., 2010). 이때 연구자의 주관적인 편향이 반영될 수 있어 일관된 결과를 얻기 힘들며 객관적인 탐지가 어렵다는 한계가 존재한다. 이를 보완하고자 다양한 인공지능 기법을 적용하여 산불 피해지를 탐지하는 연구가 등장하였다. 초기에는 support vector machine (SVM), random forest (RF), artificial neural network (ANN) 등의 분류(classification)와 같은 고전적 기계학습 기반 알고리즘을 사용하였다. 하지만 느린 연산 속도 및 위성영상과 같은 고차원데이터셋 처리에 따른 성능저하가 발생하였다. 특히 위성영상에서 나타나는 비선형적인 데이터패턴을 학습하는데 한계를 보였으며 공간적 맥락을 반영하지 못해 일반화 성능이 떨어지는 경향을 보였다(Zhu et al., 2017).

최근, 컴퓨팅 파워와 가용데이터의 증대로 컴퓨터 비전(computer vision) 분야에서 데이터의 특징을 자동으로 추출하고 학습하는 딥러닝(deep learning) 기술이 빠르게 발전함에 따라 원격탐사에서도 이를 적용하는 연구가 활발히 진행되고 있다(Ma et al., 2019; Chen et al., 2015; Marmanis et al., 2016). 딥러닝은 깊은 층을 가진 신경망을 학습시키는 구조로 고전적 접근 방식에 비해 위성영상 간 더 높은 공간 및 시간적 연관성을 고려하여 예측 성능을 향상시킬 수 있다(Zhu et al., 2017). 합성곱신경망(convolution neural network, CNN) 기반 모델부터 고성능 트랜스포머 기반 모델에 이르기까지 딥러닝은 계속해서 진화하고 있으며 많은 state of the art (SOTA) 모델이 개발되고 있다(Zhang et al., 2021).

국내에서도 원격탐사 기법과 최신 딥러닝 기술을 접목하여 산불 피해지 탐지 모델을 개발하려는 시도가 활발히 이루어지고 있다(Park et al., 2018; Cha et al., 2022). 주로 영상 내에 있는 객체들을 화소 단위로 분류하는 의미론적 분할(semantic segmentation)을 활용하여 피해를 탐지한다. 영상 내에 존재하는 모든 화소에 대해 클래스를 부여하는 것으로 광범위한 영역에 대해 데이터를 분석하기에 적합한 task이다. 하지만 현재까지 적용된 딥러닝 모델은 제한적이며 센서 특성에 맞는 입력데이터 설계, 하이퍼파라미터(hyperparameter) 최적화 등에 따라 분할 정확도가 다르게 나타나 이에 대한 정형화된 보고가 부족한 상황이다.

따라서, 본 연구에서는 원격탐사 기법과 최신 딥러닝 기술을 접목하여 Landsat 8 기반 산불 피해지 탐지 모델을 제안하고 모델과 데이터 설계에 따른 성능 향상을 중점적으로 비교 분석하였다. 산불 피해지에 대한 분광특성 지수를 산출해 훈련데이터로 사용함으로써 탐지 정확도와 효율성을 높일 수 있는 기초를 마련하고 현업에서의 응용 가능성을 높이고자 하였다.

2. 연구자료

연구지역은 미국 캘리포니아주에서 발생한 산불피해지역을 대상으로 하였다. 캘리포니아는 연중 건조한 기후, 산악 지형과 저지대가 섞여 있는 지형적 특성으로 산불이 발생하면 매우 빠르게 확산하여 대형 산불이 빈번하게 발생하고 그 심각성이 매우 높은 지역으로 알려져 있다(Westerling and Bryant, 2007). 또한, 산악지형, 숲 등 다양한 지형적 조건이 존재하며, 이로 인한 산불 발생과 피해 유형이 복잡하게 연관되어 있다. 이러한 지리적 다양성과 복잡성을 딥러닝 알고리즘에 적용해 피해지 탐지 일반화가 용이하도록 해당 지역을 선정하였으며 2013년부터 2019년까지 발생한 산불 152건에 대해 실험을 진행하였다. Unite States Geological Survey에서 제공하는 Landsat 8 Collection 2 Level-2 OLI 자료를 취득하였으며 구름이나 연기와 같은 방해요소가 사라진 산불 발생 후 영상을 선별하였다.

Landsat 8은 2013년 2월 11일 발사되었으며 현재까지도 운용되고 있는 지구관측위성이다(Roy et al., 2014). 16일의 재방문 주기를 가지며 operational land imager와 thermal infrared sensor가 탑재되어 visible and nearinfrared, SWIR, thermal infrared (TIR) 대역의 위성영상을 제공한다. 다중 스펙트럼 대역은 기존의 Landsat ETM+에서 제공하는 공간해상도(30 m)와 동일하며 TIR 대역은 100 m의 공간해상도를 가지고 있다(Table 1).

Table 1. Landsat 8 OLI/TIRS specifications

OGCSBN_2023_v39n6_1_1413_t0001.png 이미지

3. 연구방법

본 연구에서는 다종 딥러닝 모델과 다양한 입력변수 조합에 대해 산불 피해지 탐지 성능을 비교분석 하는 것을 목표로 한다. 크게 산불피해지 입력자료 구축, 모델 생성, 피해지 비교 분석으로 이루어져 있으며 전반적인 단계는 Fig. 1과 같다.

OGCSBN_2023_v39n6_1_1413_f0001.png 이미지

Fig. 1. Flow chart of this study.

3.1. 입력자료 생성

본 연구에서는 Landsat 8 위성영상 파장 대역 중 Green (520–600 nm), Red (630–680 nm), NIR (840–890 nm) 세가지 파장대역을 활용하였다. 비피해지 산림의 경우 Fig. 2와 같이 Red 파장대역에서 낮은 반사율을 보이는 반면, NIR 파장대역에서 높은 반사율을 보인다(Choi et al., 2006). 이러한 극명한 반사율 차이를 활용하여 산불 피해지가 강조되는 이미지를 얻기 위해 위색합성(false color composites, FCC)하여 R-G-B 순서의 true color 영상이 아닌 R-NIR-G 순서의 위성영상을 생성해 입력자료로 활용하였다.

OGCSBN_2023_v39n6_1_1413_f0002.png 이미지

Fig. 2. Spectral characteristics of healthy and stressed vegetation.

위성영상의 기본 파장대역과 함께 식생활력도 및 지표의 수분함량 정도를 반영하고자 NDVI, dNDVI, NBR, dNBR을 산출하여 모델의 훈련 및 검증 과정에 추가하였다. dNDVI와 dNBR은 산불이 발생하기 전, 후 영상의 변위를 사용하였다. 사용된 4가지의 분광지수 식은 아래와 같다.

\(\begin{aligned}N D V I=\frac{N I R-R e d}{N I R+R e d}\end{aligned}\)       (1)

\(\begin{aligned}NBR=\frac{N I R-SWIR}{N I R+SWIR}\end{aligned}\)       (2)

dNDVI = NDVIpre – NDVIpost       (3)

dNBR = NBRpre – NBRpost       (4)

딥러닝 모델 학습에 필요한 레이블의 경우 실측데이터에 기반한 정확한 레이블 구축이 중요하다. 특정 데이터에 대해 레이블링(labeling)된 이미지를 확보하는 것은 어려울 수 있으며 제공받더라도 실측데이터와 정합도가 낮을 수 있다(Pise and Kulkarni, 2008). 특히 산불 피해지는 산불 발생 후 경과시간에 영향을 많이 받아 폐합된 폴리곤(polygon) 형태가 아닌 식생회복에 따른 정도를 구분한 레이블 제작이 중요하다. 따라서 본 연구에서는 정확한 피해정도를 반영하고자 캘리포니아 산불에 대해 직접 레이블링하여 정답 레이블을 구축하였다.

3.2. 사용 모델

CNN은 대표적인 딥러닝 영상 인식 구조이다. 입력 이미지에 대해 특징을 추출하는 합성곱층(convolutional layer)과 풀링층(pooling layer), 추출된 특징을 바탕으로 결과를 추론하는 완전연결층(fully connected layer)으로 이루어진다. 이동창 방식의 합성곱층에서 이미지의 공간정보를 유지하며 특징을 추출하고 풀링층에서 추출된 특징을 강조해 특징맵(feature map)을 생성한다. 이러한 특징맵을 완전연결층에서 입력으로 받아 이미지의 전역적인 특징을 학습하고 최종적으로 클래스 간 분류를 수행한다(LeCun et al., 1989). 본 연구에서는 화소 단위의 분류를 수행하는 CNN 기반 U-Net과 High Resolution Network-Object Contextual Representation (HRNet-OCR) 모델을 사용해 산불 피해지 탐지 모델을 구축하였다.

3.2.1. U-Net

U-Net은 “U” 모양의 신경망 구조 형태를 띠고 있으며, 이미지의 다운샘플링(downsampling)이 일어나는 수축 경로(contracting path)와 업샘플링(upsampling)이 일어나는 확장 경로(expanding path)가 대칭으로 구성되어 있다(Fig. 3). 다운샘플링 과정에서는 합성곱층과 풀링층이 반복되며 특징맵을 추출하고 업샘플링 과정에서는 기존 CNN 모델과 달리 skip-connection 기법을 적용하였다(Ronneberger et al., 2015). 이는 확장 경로의 각 단계마다 수축 경로의 같은 층에 있는 특징맵을 붙이는 기법으로 저차원적, 의미론적 지역 정보를 고차원 정보에 융합함으로써 공간 정밀도를 개선하고 정확한 지역화(localization)를 수행할 수 있다.

OGCSBN_2023_v39n6_1_1413_f0003.png 이미지

Fig. 3. The architecture of U-Net.

3.2.2. HRNet-OCR

기존 CNN 아키텍처는 encoder-decoder 구조로 입력 이미지를 저해상도로 압축 후 다시 고해상도로 복원하는 네트워크를 형성한다. 이 과정에서 공간 정보가 유실되며 semantic segmentation과 같이 position-sensitive task의 경우 고해상도 정보를 지속적으로 유지하는 것이 중요하다. HRNet은 이러한 조건을 충족시키기 위해 설계된 아키텍처로 고해상도 하위 네트워크에 다중스케일 서브 네트워크를 병렬적으로 연결해 정보를 교환함으로써 멀티스케일 융합(multi-scale fusion)을 수행한다(Fig. 4; Sun et al., 2019). 이를 통해 고해상도를 유지하며 해상도 변환에 따른 공간정보 손실을 최소화해 정교한 특징 맵 추출이 가능하다. 본 연구에서는 HRNet을 backbone으로 사용하였으며 OCR을 결합해 실험을 수행하였다.

OGCSBN_2023_v39n6_1_1413_f0004.png 이미지

Fig. 4. The architecture of High-Resolution Network (HRNet).

OGCSBN_2023_v39n6_1_1413_f0005.png 이미지

Fig. 5. The architecture of Object Contextual Representation (OCR).

3.3. 모델 학습

딥러닝 모델에 적용하기 위해 산불의 규모를 고려하여 이미지 및 레이블의 크기는 256 × 256의 크기로 설정하였고, 전체 산불 피해지 152건에 대해 235장의 변환된 산불 피해지 영상을 생성하였다(Table 2). 이때, 산불 피해지 화소가 10%이상 및 90% 이하일 경우만 영상을 생성해 클래스 간 불균형을 방지하였다. 모델의 암맹평가를 위해 235장의 산불 피해지 영상을 랜덤 셔플링(shuffling)하여 k폴드(fold) 교차검증을 적용하였다(k=5). k폴드 교차검증은 데이터를 k개로 분할한 뒤, k-1개를 훈련세트(train set)로, 1개를 시험세트(test set)로 사용해 모든 데이터에 대해 평가함으로써 데이터의 편향을 막고 모델의 일반화 성능을 높일 수 있다. 특히, 데이터의 수가 부족한 경우 과적합(overfitting)을 방지하는 모델을 구축할 수 있다. 각 폴드마다 훈련세트 141장, 검증세트 47장, 시험세트 47장을 생성하였다.

Table 2. Information on the number of images used to train the model

OGCSBN_2023_v39n6_1_1413_t0002.png 이미지

모델의 일반화 성능을 높이고 과적합을 방지하기 위해 학습을 위한 충분한 양과 다양성을 가진 데이터세트가 필요하다. 이러한 데이터의 양적인 한계를 극복하기 위해 각 폴드의 학습세트에 대해 자료 증강(data augmentation)을 수행하였다. 자료증강은 데이터의 양을 늘리기 위해 원본에 대해 다양한 기법을 적용해 개수를 증강하는 기법으로 본 연구에서는 입력 이미지의 특성을 고려해 horizon flip, vertical flip, random rotate와 같은 기하학적 변형과 random brightness, shift HSV, Gaussian filter와 같은 화소 값 변형을 적용하였다(Fig. 6). 각각의 기법에 확률 값을 부여해 원본 이미지에 대해 4배 증강하였으며, 변형된 이미지를 다른 이미지로 인식하고 학습하여 모델의 성능 향상을 기대할 수 있다.

OGCSBN_2023_v39n6_1_1413_f0006.png 이미지

Fig. 6. Example of data augmentation with geometric and pixel-level transformation.

모델 학습은 딥러닝 오픈 프레임워크인 mmsegmentation (https://github.com/open-mmlab/mmsegmentation)을 사용하였다. 손실함수(loss function)는 focal Loss를 사용하였다. focal Loss는 모든 클래스에 같은 가중치를 동등하게 두는 교차엔트로피손실(cross entropy loss)을 개선한 것으로 background와 같이 예측하기 쉽다고 판단되는 example의 가중치를 줄이고 경계와 같이 오분류 하기 쉬운 hard example의 학습에 초점을 맞춘다(Lin et al., 2020). 산불 피해지 영상의 경우 피해지 화소에 비해 배경인 비피해지 화소가 적게 분포하기 때문에 클래스 불균형 문제를 개선하기 위해 focal Loss를 적용해 background에 대해 과도하게 학습되는 것을 보정하고자 했다. 옵티마이저(optimizer)는 adaptive moment estimatio 사용하였다. Iteration을 기준으로 반복 훈련하며 훈련 중 설정된 간격마다 검증 세트에 대해 mean Intersection over union(mIoU) 값을 계산한다. 본 연구에서는 1,000으로 설정하였으며 이를 기준으로 가장 성능이 좋은 모델을 선정하고 시험세트로 성능을 평가한다.

3.4. 모델 평가

시험세트는 학습 및 검증 과정과 분리하여 오직 모델 성능 시험에만 사용하였다. 예측 값은 피해지 여부에 대한 이진영상으로 산불 피해지는 1, 비피해지는 0으로 표현된다. 실제 값과 예측 값에 대해 true positive (TP), false positive (FP), false negative (FN), true negative (TN)로 구성된 혼동행렬(confusion matrix)을 생성하여 평가를 수행하였다(Fig. 7). 생성된 혼동행렬을 사용하여 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score, mIoU와 같은 다양한 분류지표를 산출하여 모델의 성능을 평가하였다(Fig. 8).

OGCSBN_2023_v39n6_1_1413_f0007.png 이미지

Fig. 7. Confusion matrix and the test measures for image segmentation.

OGCSBN_2023_v39n6_1_1413_f0008.png 이미지

Fig. 8. IoU and mIoU calculation.

4. 결과 및 고찰

4.1. 딥러닝 모델에 대한 성능 결과

U-Net, HRNet 모델 각각의 하이퍼파라미터 설정은 경험적 적정치를 부여하며 결과를 갱신하는 과정을 반복하며 산불 피해지 탐지에 가장 적합한 최적의 조합을 찾고자 하였다. 그 결과, U-Net은 iteration 15,000, batch size 4, learning rate 1e-03으로 설정하였으며 HRNet-OCR은 iteration 5,000, batch size 8, learning rate 1e-04로 모델을 훈련시켰다. 각 모델 별 5 fold 교차 검증 수행 결과는 Table 3과 같다. HRNet-OCR은 U-Net에 비해 전반적인 평가지표에서 우수한 성능을 보였으며 특히 의미론적 분할의 가장 중요한 척도인 mIoU에서 U-Net 83.03, HRNet-OCR 84.87로 유의미한 향상을 보였다. 또한 U-Net은 정밀도 87.42에 비해 재현율이 80.45로 낮게 나타났지만 HRNet-OCR은 정밀도 86.46, 재현율 85.35로 균형적으로 높은 성능을 보였다. 이는 고해상도를 지속적으로 유지하며 모델 학습을 수행하는 HRNet의 특성에 따른 것으로 사료된다. 정성적 평가의 경우 두 모델 모두 실제 산불 피해지와 예측된 피해지 위치 비교 시 전반적으로 일치하는 양상을 보였다(Fig. 9). 특히 (a), (b), (c)와 같이 피해지와 비피해지의 경계가 뚜렷한 case 뿐만 아니라 (d)와 같이 패치 크기에 따라 피해지가 여러장의 영상으로 분할되어 경계가 불분명한 case도 피해지에 둘러싸인 비피해지를 정교하게 예측하는 것을 보여주었다. (e), (f), (g), (h)와 같이 피해지의 분광특성과 혼동될 수 있는 논, 밭, 도로 등 주변환경이 포함된 사례의 경우 U-Net은 오탐지하는 경향을 보였으며 HRNet-OCR은 주변 지형과 구분하여 피해지를 정확하게 예측하였다.

Table 3. 5-fold cross-validation results of the models with the test set

OGCSBN_2023_v39n6_1_1413_t0003.png 이미지

OGCSBN_2023_v39n6_1_1413_f0009.png 이미지

Fig. 9. Comparison of segmentation results for U-Net and HRNet models. (a–h) Images in the test set for each fold.

4.2. 입력변수 구분에 따른 결과

분광특성 지수의 민감도를 평가하기 위해 R-NIR-G 파장대역과 분광지수를 사용하여 입력데이터를 생성하고 앞서 높은 성능을 보였던 HRNet-OCR 모델을 활용해 피해지 분할에 미치는 영향을 비교 분석하였다. 사용된 모델의 입력데이터 형태는 Table 4와 같다.

Table 4. Composition of the spectral band

OGCSBN_2023_v39n6_1_1413_t0004.png 이미지

입력 데이터 구분에 따른 정량적 결과는 Table 5와 같다. mIoU의 경우 NDVI와 NBR을 추가한 scheme1은 85.11, dNDVI와 dNBR을 추가한 scheme2는 85.23, 모든 분광특성 지수를 추가한 scheme3이 85.36으로 가장 높았다. 밴드 확장시 기본 R-NIR-G파장대역(mIoU=84.87)에 비해 전반적으로 성능이 향상했지만, scheme1~3이 유사한 성능을 보여 적은 파라미터를 활용한 조합도 충분히 잘 학습함을 알 수 있다. 마찬가지로 정성적 평가에서도 기본 파장대역에 비해 분광지수를 포함한 조합이 산불 피해지 픽셀 세분화에 더욱 기여함을 알 수 있었다. Fig. 10의 (a)~(e)는 각각 다른 산불 피해지 사례이며 첫 번째 행은 입력 이미지, 두 번째 행은 정답 레이블이며 두 행을 제외한 모든 행은 입력 데이터가 다른 산불 피해지 탐지 결과이다. (a), (b)와 같이 피해지의 형태가 명확하고 쉬운 case는 모든 조합에서 효과적으로 예측하였으며, (c)와 같이 피해지와 혼동될 수 있는 수체가 포함된 경우도 모든 조합에서 정확하게 구분하여 예측하였다. 입력 데이터 구분에 따른 성능차이는 (d), (e)와 같이 피해지의 형태가 비교적 어려운 경우 확연하게 드러났다. R-NIR-G를 입력변수로 사용한 경우 피해지는 예측하였으나 오탐지 픽셀이 많은 것으로 확인되었다. 그에 반해 scheme1~3는 앞서 기본 조합에 의해 식별할 수 없었던 픽셀에 대해 오탐지를 완화해 정답 레이블과 가장 유사하게 예측하였다. 이는 식생활력도 및 수분함량 정도를 반영한 지수들이 기본 파장대역에서는 나타나지 않는 정보를 제공하여 모델이 특징 추출을 보다 정확하게 수행한 것으로 해석할 수 있다.

Table 5. Results based on input variable combinations

OGCSBN_2023_v39n6_1_1413_t0005.png 이미지

OGCSBN_2023_v39n6_1_1413_f0010.png 이미지

Fig. 10. Comparison of segmentation results of different bands combination. (a–e) Images in the test set for each fold.

분광특성 지수들을 학습에 추가하는 것이 기본 파장대역에서 일어난 오탐지 문제를 어느정도 보정하는 유의미한 결과를 도출하였으나 여전히 일부 지역에서는 미탐지 및 오탐지 사례가 발견되어 이에 대한 개선이 필요할 것으로 보인다

5. 결론

본 연구에서는 2013년부터 2019년까지의 캘리포니아 산불에 대해 Landsat 8 위성영상과 U-Net, HRNet-OCR 모델을 활용하여 산불 피해지 탐지를 수행하였다. 산불 피해지 분할 정확도 향상을 위해 기본 R-NIR-G 파장대역의 입력 이미지에 식생활력도 및 지표의 수분함량을 반영한 4가지의 분광특성 지수를 활용하였고 해당 지수들이 피해지 분할 결과에 미치는 영향을 비교분석하기 위해 3가지 조합으로 나누어 정확도를 평가하였다.

먼저 딥러닝 모델 간 비교에서는 두 모델 모두 높은 성능을 보였으며 각각 mIoU U-Net 84.03, HRNet-OCR 84.87로 HRNet-OCR이 근소하게 높은 성능을 보였다. 이는 고해상도를 유지하며 학습을 지속하는 모델 특성에 기인한 것으로 보인다. 또한 데이터 설계에 따른 결과 비교 시 R-NIR-G 파장대역에 비해 전반적으로 성능이 향상했으며 오분류를 개선하였다.

Scheme 1~3이 유사한 성능을 보여 한정적인 컴퓨팅 자원을 고려한다면 적은 파라미터를 활용한 조합이 가장 효율적일 것으로 사료된다. 전반적으로 높은 정확도 향상을 보였지만 Landsat 8 영상의 해상도 한계로 인해 일부 지역에서 여전히 미탐지 및 오탐지가 일어나 개선이 필요할 것으로 보인다. 높은 시공간해상도를 가지는 위성을 사용해 산불 피해지에 대한 상세한 시계열적 변화를 관측한다면 수목의 2차 피해까지 고려할 수 있는 정교한 탐지 모델 구축이 가능할 것으로 보인다. 향후 연구에서는 산불 발생에 영향을 미치는 기후 및 지형적 요소와 같은 보조자료를 추가하여 더 정밀한 탐지 모델을 구축하기 위한 알고리즘 고도화가 이루어질 예정이다. 또한 트랜스포머 계열의 모델을 백본으로 사용하는 최신 SOTA 모델을 적용한다면 탐지 정확도가 더욱 향상될 것이다. 본 연구는 최신 딥러닝 기법을 통해 위성 원격탐사를 활용한 산불 피해지 탐지의 가능성을 확인한 연구로 캘리포니아 산불 사례를 바탕으로 훈련시킨 모델이지만 이러한 방법론은 국내 산불 피해지 탐지 및 복구 계획 수립에 있어 기초자료로 활용될 수 있을 것으로 기대된다.

사사

본 연구는 행정안전부 지능형 상황관리 기술개발사업의 지원을 받아 수행되었으며(2021-MOIS37-002), 이에 감사드립니다.

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

References

  1. Carvajal-Ramirez, F., Marques da Silva, J. R., Aguera-Vega, F., Martinez-Carricondo, P., Serrano, J., and Moral, F. J., 2019. Evaluation of fire severity indices based on pre- and post-fire multispectral imagery sensed from UAV. Remote Sensing, 11(9), 993. https://doi.org/10.3390/RS11090993
  2. Cha, S., Won, M., Jang, K., Kim, K., Kim, W., Baek, S. et al., 2022. Deep learning-based forest fire classification evaluation for application of CAS500-4. Korean Journal of Remote Sensing, 38(6-1), 1273-1283. https://doi.org/10.7780/KJRS.2022.38.6.1.22
  3. Chen, Y., Zhao, X., and Jia, X., 2015. Spectral-spatial classification of hyperspectral data based on deep belief network. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 8(6), 2381-2392. https://doi.org/10.1109/JSTARS.2015.2388577
  4. Choi, S. P., Kim, D. H., and Tateishi, R., 2006. Analysis of forest fire damage areas using spectral reflectance of the vegetation. Journal of Korean Society for Geospatial Information Science, 14(2), 89-94.
  5. Chuvieco, E., Mouillot, F., van der Werf, G. R., San Miguel, J., Tanasse, M., Koutsias, N. et al., 2019. Historical background and current developments for mapping burned area from satellite Earth observation. Remote Sensing of Environment, 225, 45-64. https://doi.org/10.1016/J.RSE.2019.02.013
  6. Collins, L., McCarthy, G., Mellor, A., Newell, G., and Smith, L., 2020. Training data requirements for fire severity mapping using Landsat imagery and random forest. Remote Sensing of Environment, 245, 111839. https://doi.org/10.1016/J.RSE.2020.111839
  7. Djalante, R., 2019. Key assessments from the IPCC special report on global warming of 1.5℃ and the implications for the Sendai framework for disaster risk reduction. Progress in Disaster Science, 1, 100001. https://doi.org/10.1016/j.pdisas.2019.100001
  8. Domenikiotis, C., Dalezios, N. R., Loukas, A., and Karteris, M., 2002. Agreement assessment of NOAA/AVHRR NDVI with Landsat TM NDVI for mapping burned forested areas. International Journal of Remote Sensing, 23(20), 4235-4246. https://doi.org/10.1080/01431160110107707
  9. Eidenshink, J., Schwind, B., Brewer, K., Zhu, Z.-L., Quayle, B., and Howard, S., 2007. A project for monitoring trends in burn severity. Fire Ecology, 3, 3-21. https://doi.org/10.4996/FIREECOLOGY.0301003
  10. Escuin, S., Navarro, R., and Fernandez, P., 2008. Fire severity assessment by using NBR (Normalized Burn Ratio) and NDVI (Normalized Difference Vegetation Index) derived from LANDSAT TM/ETM images. International Journal of Remote Sensing, 29(4), 1053-1073. https://doi.org/10.1080/01431160701281072
  11. Fernandez, A., Illera, P., and Casanova, J. L., 1997. Automatic mapping of surfaces affected by forest fires in Spain using AVHRR NDVI composite image data. Remote Sensing of Environment, 60(2), 153-162. https://doi.org/10.1016/S0034-4257(96)00178-2
  12. Kim, S., Youn, Y., Jeong, Y., Kwon, C., Seo, K. W., and Lee, Y.-W., 2022. Analysis of burned areas in North Korea using satellite-based wildfire damage indices. Korean Journal of Remote Sensing, 38(6-3), 1861-1869. https://doi.org/10.7780/kjrs.2022.38.6.3.10
  13. Korea Forest Service, 2023. 2022 Wildfire statistics annual. Available online: https://www.forest.go.kr/kfsweb/cop/bbs/selectBoardList.do?bbsId=BBSMSTR_1008&mn=NKFS_06_09_05 (accessed on Apr. 17, 2023).
  14. LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W. et al., 1989. Backpropagation applied to handwritten zip code recognition. Neural Computation, 1(4), 541-551. https://doi.org/10.1162/NECO.1989.1.4.541
  15. Lin, T. Y., Goyal, P., Girshick, R., He, K., and Dollar, P., 2020. Focal loss for dense object detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2), 318-327. https://doi.org/10.1109/TPAMI.2018.2858826
  16. Loboda, T., O'Neal, K. J., and Csiszar, I., 2007. Regionally adaptable dNBR-based algorithm for burned area mapping from MODIS data. Remote Sensing of Environment, 109(4), 429-442. https://doi.org/10.1016/J.RSE.2007.01.017
  17. Ma, L., Liu, Y., Zhang, X., Ye, Y., Yin, G., and Johnson, B. A., 2019. Deep learning in remote sensing applications: A meta-analysis and review. ISPRS Journal of Photogrammetry and Remote Sensing, 152, 166-177. https://doi.org/10.1016/J.ISPRSJPRS.2019.04.015
  18. Marlon, J. R., Bartlein, P. J., Carcaillet, C., Gavin, D. G., Harrison, S. P., and Higuera, P. E., 2008. Climate and human influences on global biomass burning over the past two millennia. Nature Geoscience, 1, 697-702. https://doi.org/10.1038/ngeo313
  19. Marmanis, D., Datcu, M., Esch, T., and Stilla, U., 2016. Deep learning earth observation classification using ImageNet pretrained networks. IEEE Geoscience and Remote Sensing Letters, 13(1), 105-109. https://doi.org/10.1109/LGRS.2015.2499239
  20. McLauchlan, K. K., Higuera, P. E., Miesel, J., Rogers, B. M., Schweitzer, J., Shuman, J. K. et al., 2020. Fire as a fundamental ecological process: Research advances and frontiers. Journal of Ecology, 108(5), 2047-2069. https://doi.org/10.1111/1365-2745.13403
  21. Park, S. W., Kim, H. W., Lee, S. J., Yun, Y. S., Kim, E. S., Lim, J. H., and Lee, Y. W., 2018. Detection of forest disaster areas using high-resolution satellite images with fully convolutional network. Landscape and Geography, 28(4), 87-101. http://doi.org/10.35149/jakpg.2018.28.4.006
  22. Pise, N. N., and Kulkarni, P., 2008. A survey of semi-supervised learning methods. In Proceedings of the 2008 International Conference on Computational Intelligence and Security, Suzhou, China, Dec. 13-17, pp. 30-34. https://doi.org/10.1109/CIS.2008.204
  23. Pleniou, M., and Koutsias, N., 2013. Sensitivity of spectral reflectance values to different burn and vegetation ratios: A multi-scale approach applied in a fire affected area. ISPRS Journal of Photogrammetry and Remote Sensing, 79, 199-210. https://doi.org/10.1016/J.ISPRSJPRS.2013.02.016
  24. Ronneberger, O., Fischer, P., and Brox, T., 2015. U-Net: Convolutional networks for biomedical image segmentation. In: Navab, N., Hornegger, J., Wells, W., Frangi, A. (eds.), Medical image computing and computer-assisted intervention - MICCAI 2015, Springer, pp. 234-241. https://doi.org/10.1007/978-3-319-24574-4_28
  25. Roy, D. P., Wulder, M. A., Loveland, T. R., Woodcock, C. E., Allen, R. G., Anderson, M. C. et al., 2014. Landsat-8: Science and product vision for terrestrial global change research. Remote Sensing of Environment, 145, 154-172. https://doi.org/10.1016/J.RSE.2014.02.001
  26. Sun, K., Xiao, B., Liu, D., and Wang, J., 2019. Deep high-resolution representation learning for human pose estimation. In Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, June 15-20, pp. 5686-5696. https://doi.org/10.1109/CVPR.2019.00584
  27. Westerling, A. L., and Bryant, B. P., 2007. Climate change and wildfire in California. Climatic Change, 87, 231-249. https://doi.org/10.1007/s10584-007-9363-z
  28. Yeom, J.-M., Han, K.-S., and Kim, I.-H., 2010. The study of land surface change detection using long-term SPOT/vegetation. Journal of the Korean Association of Geographic Information Studies, 13(4), 111-124. https://doi.org/10.11108/kagis.2010.13.4.111
  29. Youn, H. J., and Jeong, J. C., 2020. Classification of forest fire damage grade using machine learning and Sentinel-2. The Korea Spatial Planning Review, 106, 107-117. https://doi.org/10.15793/kspr.2020.106..006
  30. Zhang, Y., Liu, H., and Hu, Q., 2021. TransFuse: Fusing transformers and CNNs for medical image segmentation. In: de Bruijne, M., Cattin, P. C., Cotin, S., Padoy, N., Speidel, S., Zheng, Y., Essert, C. (eds.), Medical image computing and computer assisted intervention - MICCAI 2021, Springer, pp. 14-24. https://doi.org/10.1007/978-3-030-87193-2_2
  31. Zhu, X. X., Tuia, D., Mou, L., Xia, G. S., Zhang, L., Xu, F. et al., 2017. Deep learning in remote sensing: A comprehensive review and list of resources. IEEE Geoscience and Remote Sensing Magazine, 5(4), 8-36. https://doi.org/10.1109/MGRS.2017.2762307