Deep Learning for Remote Sensing Applications

원격탐사활용을 위한 딥러닝기술

Abstract

Recently, deep learning has become more important in remote sensing data processing. Huge amounts of data for artificial intelligence (AI) has been designed and built to develop new technologies for remote sensing, and AI models have been learned by the AI training dataset. Artificial intelligence models have developed rapidly, and model accuracy is increasing accordingly. However, there are variations in the model accuracy depending on the person who trains the AI model. Eventually, experts who can train AI models well are required more and more. Moreover, the deep learning technique enables us to automate methods for remote sensing applications. Methods having the performance of less than about 60% in the past are now over 90% and entering about 100%. In this special issue, thirteen papers on how deep learning techniques are used for remote sensing applications will be introduced.

이제는 딥러닝 없는 원격탐사 데이터 처리는 상상하기도 어려운 시대가 되었다. 원격탐사의 활용기술 개발을 위해서는 먼저 인공지능(artificial intelligence, AI)을 위한 데이터를 설계 및 구축하고, AI모델을 학습시키는 과정을 거친다. AI모델은 빠르게 발전하여 모델 정확도가 나날이 높아지고 있지만, 모델을 훈련시키는 사람에 따라 정확도의 편차가 발생하고 있다. 결국 AI모델을 훈련시킬 수 있는 숙련도 높은 전문가가 더욱 더 필요한 시대가 되어가고 있다. 특히, 딥러닝기술은 원격탐사활용에 있어 자동화라는 키워드를 제공하고 있다. 예전에는 60% 이하의 정확도만 있었던 기술도 이제는 90%를 넘어 100%의 시대로 가고 있다. 이 특별호에서는 딥러닝기술이 원격탐사에 어떻게 활용되고 있는지에 관한 13편의 논문을 소개한다.

1. 서론

최근 대부분의 원격탐사기술이 딥러닝기법을 적용하는 방향으로 진행되고 있다. 특히, 수식으로 표현할 수 있는 기술을 제외한 탐지 및 분류기법들은 딥러닝기술로 대체되고 있다. 이러한 이유는 다른 방법에 비해 딥러닝기술의 성능이 월등하기 때문이다. 이제 원격탐사 데이터처리에 있어서 딥러닝기술을 빼고서는 상상하기도 어려운 시대가 되었다. 그러나 아직까지 어떤 사람들은 성능이 우수하다고 하고, 다른 사람들은 딥러닝이라고 다를 게 없다고 한다. 그 이유는 AI데이터와 AI모델의 훈련에서 찾을 수 있다. AI데이터를 얼마나 잘 설계해서 AI모델을 훈련시켰느냐에 따라서 AI모델의 성능이 좌지우지된다. AI데이터는 품질 좋은 데이터를 만드는 것이 중요한 것이 아니라 활용될 분야의 데이터가 어떤 것에 의존성을 지니는 지를 찾아 이에 맞게 AI 데이터를 설계하고 구축한 후에 데이터 의존성을 최대한 유사하게 만들어서 AI모델을 학습시켜야 한다. 이것이 어떤 AI모델을 사용했느냐 보다 훨씬 중요한 문제이다. 테스트를 해보면, AI모델에 따른 성능향상보다 AI데이터 설계에 따른 성능향상이 더욱 중요한 것을 느끼게 한다. 결국, AI모델을 훈련시키는 사람에 따라 성능의 편차가 크게 발생한다. 이는 우리가 AI모델을 훈련시킬 수 있는 숙련도 높은 전문가를 요구하는 시대에 살아가고 있다는 것을 알게 해준다. 또한, 딥러닝기술은 원격탐사활용에 있어 자동화라는 키워드를 제공하고 있다. 예전에는 60%이하의 정확도만 있었던 기술도 이제는 90%를 넘어 100%의 시대로 가고 있다. 이것은 원격탐사활용에 있어 딥러닝을 사용할 수밖에 없는 이유를 제공한다.

2020년부터 2021년까지 우리나라에서도 딥러닝에 관한 연구를 많이 진행한 바 있다: 위성영상을 활용한 토지피복 분류에 있어서 딥러닝 활용(Lee and Lee, 2020), Gaofen-1 WFV영상을 이용한 딥러닝기반의 대형 부유 조류의 분류(Kim et al., 2020a), 잘피 서식지를 모니터링하기 위한 딥러닝기반의 드론영상 분할(Jeon et al., 2020), 핵 활동의 분석을 위하여 다시기 및 다종의 위성영상으로부터 딥러닝 모델기반의 객체탐지(Seong et al., 2021a), 무인항공기 영상으로부터 딥러닝을 적용한 야적퇴비 분할(Kim et al., 2021b), 월동작물분류를 위한 AI학습데이터 공간해상도 분석(Chung and Lee, 2021), 다중시기 영상으로부터 U-Net을 이용한 토지피복분류 정확도 분석(Kim et al., 2021a), 수원시와 대구광역시에서 딥러닝 기반 도시열섬 분석(Lee et al., 2021), 다중분광밴드 위성 영상으로부터 Attention Gated FC-DenseNet을 이용한 작물재배지역 추출(Seong et al., 2021b), UNet++모델에서 손실함수의 특성을 고려한 변화탐지 분석(Jeong et al., 2020), 전이학습을 이용한 도시건물객체의 변화탐지(Mo et al., 2021), SegNet과 U-Net을 이용한 동남아시아 지역에서의 홍수탐지(Kim et al., 2020b), RapidEye 위성 영상으로부터 딥러닝을 이용한 작물재배지역 추정(Seong et al., 2020), 드론 광학영상 및 LiDAR 자료로부터 인공신경망을 이용한 임분단위 식생층위구조의 추정(Cha et al., 2020), 시계열 기계학습을 이용한 우리나라 남해 해수면 고수온 예측(Jung et al., 2020), 딥러닝을 이용한 KOMPSAT-3A 위성영상의 융합 기법개발(Choi et al., 2020a), Landsat-8 위성영상으로부터 U-Net을 이용한 구름탐지(Kang et al., 2021), 원격탐사영상을 활용한 Convolutional Neural Network (CNN) 기반의 Super-resolution 기법 연구(Choi et al., 2020b), 딥러닝기법을 이용한 위성영상으로부터 도시의 변화탐지(Song et al., 2020), 기상 데이터로부터 LSTM 기반의 해양 혼합층에서의 수온변화 예측(Ko et al., 2021), 정지궤도 기상위성 영상과 수치예보모델의 융합을 통한 딥러닝기반 태풍 강도 추정 및 예측(Lee et al., 2021).

본 특별호에서는 딥러닝기반의 원격탐사활용에 대하여 13편의 논문이 게재되었다. 이 논문들에 대한 간단한 설명을 다음 장에서 표현한다.

2. 원격탐사활용을 위한 딥러닝 기법

Baek and Jung (2022)은 딥러닝기반 위상언래핑에 대한 논문들을 리뷰하였다. 위상 언래핑은 위성레이더 간섭기법의 필수적인 자료처리 중 하나이다. 이 논문에서 저자들은 딥러닝기반 위성레이더 언래핑 기법과 관련된 최근 연구 동향을 소개한다. 언래핑된 위상을 예측하는 방법은 모호 정수 분류방법, 위상 단절 구간 탐지 방법, 위상 예측 방법, 딥러닝과 전통적인 언래핑 기법의 연계 방법에 따라 다시 세분화하여 연구 동향을 파악했다.

Baek et al. (2022)은 데이터확장기법에 의한 성능향상에 대하여 설명하였다. 이 연구에서는 데이터 확장기법의 적용을 통한 토지피복 분류의 성능 향상을 설명하고 있다. 저자들이 사용한 분류 모델은 U-Net이었고, AI Hub에서 제공하는 토지피복 위성 이미지 자료를 연구 자료로 활용하였다. 원본 데이터로 학습한 모델과 데이터 확장 기법이 적용된 데이터로 학습한 모델의 픽셀 정확도는 각각 0.905와 0.923이었으며 평균 F1 스코어는 각각 0.720과 0.775로 데이터 확장기법을 적용하였을 때가 보다 우수한 성능을 나타냈다. 특히 모든 클래스에서 데이터확장시 성능향상이 있다는 것을 확인하였다. 모델의 성능향상을 위해서는 데이터 확장기법을 얼마나 잘 사용하느냐도 매우 중요한 것으로 보인다.

Park and Jung (2022)은 수목개체의 감지에 대해서 다루었으며, 수목 개체에 대하여 고해상도 항공영상으로 부터 YOLOv5 모델을 이용하여 도심수목을 감지하는 연구결과를 보였다. 수목 AI학습데이터셋의 구축을 위한 라벨링 가이드라인을 생성하고, 이를 기준으로 AI학습데이터셋을 구축하였다. 구축된 데이터셋으로부터 다양한 Scale의 YOLOv5 모델들을 테스트한 후, 최적의 모델을 채택한 결과 성능은 mAP가 약 0.663이었다. 데이터의 개수가 모자라 높은 성능을 보이지 않았으나, 더 많은 데이터를 구축한다면, 더 좋은 결과를 기대할 수 있을 것으로 보인다.

Yoon et al. (2022)은 굴뚝감지에 관한 연구결과를 보였다. 이 연구에서는 대기오염을 발생시키는 굴뚝을 YOLOv5로 감지하는 연구를 진행하였다. 데이터는 중국 베이징, 톈진 허베이 성에 위치한 발전소를 대상으로 구축된 BUAA-FFPP60 오픈 데이터 세트를 활용하였고, 모델은 YOLOv5를 활용하였다. 탐지모델의 성능을 향상시키기 위하여 데이터 분할과 데이터 증강기법을 적용하였다. 결과성능은 mAP가 0.869였다.

Lee et al. (2022)은 Landsat 위성영상으로부터 딥러닝 기법을 이용하여 얼음변화도의 정량적 관측에 대해서 다루었다. 이 연구는 Landsat 광학위성영상으로부터Modified U-Net 회귀모델을 이용하여 이상지역내의 얼음변화도를 정량적으로 관측하였다. 1985년 1월 22일 부터 2020년 12월 8일까지 이상지역을 갖는 83장의 Landsat 영상의 Visible and Near infrared (VNIR) 대역에서 수체와 얼음과의 상대적인 분광반사도를 활용한 영상을 만들고, 이를 2개의 인코더를 가진 U-Net에 적용하여 얼음변화도를 제작하였다. 이 때 얼음변화도의 상관계수는 0.99였다.

Yu et al. (2022)은 변형된 UNet을 이용한 홍수매핑 결과를 보였다. 이 연구에서 멀티커널기반 U-NET모델과 TerraSAR-X 영상을 활용하여 홍수를 탐지하였을 때 모델의 성능은 평균 F1 score가 약 0.966이었다.

Cho et al. (2022)은 도시폭염 저감을 위한 기법인 쿨루프를 연구지역에 적용하여 토지피복 객체 간 지표온도와 흡수일사 간 공간적 상관관계 분석으로 실질적 효과를 파악하였다. 이 연구 결과를 기반으로 효율적인 도시열섬 저감기법 적용이 가능할 수도 있다.

Gong et al. (2022)은 픽셀기반 Deep Neural Network(DNN) 모델과 CNN 모델을 이용하여 산사태 취약성을 분석하였다. 이 연구에서는 정량적인 지표를 통해 모델과 산사태 취약성도에 대한 검증을 진행하였으며, 검증 결과 패치기반의 CNN 모델에서 픽셀기반의 DNN 모델에 비해 3.4% 향상된 성능을 보였다.

Park et al. (2022a)은 고해상도 드론영상으로부터 YOLOv7을 이용하여 활성산불 객체탐지를 수행하였고, Precision은 0.936을 F1-score는 약 0.941을 보였다.

Park et al. (2022b)은 해양침적쓰레기의 탐지를 다뤘다. 해양침적쓰레기는 음파탐지기, 인양틀 및 잠수부를 통해 탐지되고 있으나, 시간과 비용을 고려하여 수중영상으로부터 딥러닝기법을 이용하여 관측하고 있다. 이 연구에서는 YOLOv5와 YOLOv7을 수중영상으로부터 제작한 AI데이터를 학습시키고 비교평가를 수행하였다. 유리, 금속, 어망, 타이어, 나무, 플라스틱 등의 객체탐지를 하였고, 두 모델에서 모두 0.85 이상의 성능을 보였다.

Park et al. (2022c)은 천리안위성 2A호 1일 평균 표층수온영상을 대상으로 합성곱신경망(Convolutional Neural Network) 딥러닝 기법을 적용하여 냉수대 발생 여부를 분류하는 연구를 수행하였다. 연구결과의 성능은 약 82.5%의 POD와 약 54.4%의 FAR 값을 지녔다.

Kang et al. (2022a)은 딥러닝기술을 이용한 Sentinel-2 영상의 구름탐지를 수행하였다. DeepLabV3+와 Swin Transformer를 이용한 구름탐지를 수행하였다. Swin Transformer 모델의 정밀도는 0.886이었다.

Kang et al. (2022b)은 오일스필의 의미론적 분할에 관한 연구결과를 보였다. 오일스필의 피해 최소화를 위하여서는 기름유출지역의 신속한 매핑이 중요하다. 그래서 이 연구에서는 PlanetScope 광학영상을 활용하여 오일스필지역을 DeepLabV3+ 딥러닝모델을 적용하여 분할하였다. 그 결과 정확도는 0.885, 정밀도는 0.888, 재현율은 0.886, F1점수는 0.883, mIOU는 0.793 등의 결과를 얻었다.

3. 결론 및 제언

본 특별호에서는 영상레이더(SAR), 광학(Optical), 열적외(Thermal) 영상까지 대부분의 원격 탐사 자료에 대해 딥러닝기술 적용이 가능하며 이를 통한 다양한 활용이 가능함을 연구를 통해 제시하였다. 기존 전통적인 원격탐사기술에서는 각 센서 특성과 활용 목적에 따라 자료 처리가 달라지며 그 결과에 따른 오차 분석과 해석이 상이하여 원격탐사 기술을 적용하고 활용하는데 제한이 있었다. 하지만 딥러닝기술의 발전에 따라 어렵고 복잡한 알고리즘 없이도 원격탐사 자료를 쉽게 가공하여 원하는 목적을 달성할 수 있게 도움을 준다면 기존의 원격탐사기술의 한계를 벗어나 더욱 다양하고 많은 활용이 가능해질 것으로 기대된다. 딥러닝기술의 원격 탐사 자료 적용을 위해 다양한 주제에 대해 신뢰도가 높은 많은 데이터가 축적이 필요하며, 딥러닝기술의 발전과 더불어 자료 공유와 신뢰성에 대한 지속적 연구가 필요할 것으로 판단된다.