A Study on the Cloud Detection Technique of Heterogeneous Sensors Using Modified DeepLabV3+

DeepLabV3+를 이용한 이종 센서의 구름탐지 기법 연구

Abstract

Cloud detection and removal from satellite images is an essential process for topographic observation and analysis. Threshold-based cloud detection techniques show stable performance because they detect using the physical characteristics of clouds, but they have the disadvantage of requiring all channels' images and long computational time. Cloud detection techniques using deep learning, which have been studied recently, show short computational time and excellent performance even using only four or less channel (RGB, NIR) images. In this paper, we confirm the performance dependence of the deep learning network according to the heterogeneous learning dataset with different resolutions. The DeepLabV3+ network was improved so that channel features of cloud detection were extracted and learned with two published heterogeneous datasets and mixed data respectively. As a result of the experiment, clouds' Jaccard index was low in a network that learned with different kind of images from test images. However, clouds' Jaccard index was high in a network learned with mixed data that added some of the same kind of test data. Clouds are not structured in a shape, so reflecting channel features in learning is more effective in cloud detection than spatial features. It is necessary to learn channel features of each satellite sensors for cloud detection. Therefore, cloud detection of heterogeneous sensors with different resolutions is very dependent on the learning dataset.

위성영상에서의 구름 탐지 및 제거는 지형관측과 분석을 위해 필수적인 과정이다. 임계값 기반의 구름탐지 기법은 구름의 물리적인 특성을 이용하여 탐지하므로 안정적인 성능을 보여주지만, 긴 연산시간과 모든 채널의 영상 및 메타데이터가 필요하다는 단점을 가지고 있다. 최근 활발히 연구되고 있는 딥러닝을 활용한 구름탐지 기법은 4개 이하의 채널(RGB, NIR) 영상만을 활용하고도 짧은 연산시간과 우수한 성능을 보여주고 있다. 본 논문에서는 해상도가 다른 이종 데이터 셋을 활용하여 학습데이터 셋에 따른 딥러닝 네트워크 성능 의존도를 확인하였다. 이를 위해 DeepLabV3+ 네트워크를 구름탐지의 채널 별 특징이 추출되도록 개선하고 공개된 두 이종 데이터 셋과 혼합 데이터로 각각 학습하였다. 실험결과 테스트 영상과 다른 종류의 영상으로만 학습한 네트워크에서는 낮은 Jaccard 지표를 보여주었다. 그러나 테스트 데이터와 동종의 데이터를 일부 추가한 혼합 데이터로 학습한 네트워크는 높은 Jaccard 지표를 나타내었다. 구름은 사물과 달리 형태가 구조화 되어 있지 않아 공간적인 특성보다 채널 별 특성을 학습에 반영하는 것이 구름 탐지에 효과적이므로 위성 센서의 채널 별 특징을 학습하는 것이 필요하기 때문이다. 본 연구를 통해 해상도가 다른 이종 센서의 구름탐지는 학습데이터 셋에 매우 의존적임을 확인하였다.

1. 서론

위성영상을 활용하는 분야가 늘어남에 따라, 구름과 구름의 그림자는 지형관측과 분석을 방해하는 장애물로 여겨져 구름을 탐지하여 제거하는 많은 연구가 이루어지고 있다. 지금까지 연구된 구름탐지 기법은 크게 두 가지로 나눌 수 있다. 첫 번째 기법은 임계값 기반 기법으로 구름의 물리적 특성을 활용하여 탐지하는 것을 말한다. 위성영상의 각 채널은 서로 다른 파장대역의 반사 신호도를 나타내므로, 모든 채널을 사용하여 구름의 “흰색”, “밝음”, “차가움”, “높음”의 특성에 맞는 픽셀을 임계값을 설정하여 탐지하는 것이다. 대표적인 알고리즘으로는 Landsat 위성영상을 위해 개발된 Fmask와 Sentinel 위성영상을 위해 개발된 Sen2Cor가 있다. Fmask는 2012년 Landsat 4-7의 구름탐지를 위해 개발된 알고리즘으로 지속적인 보완을 통해 2019년 4.0버전에서 Landsat 8 위성영상까지 확대되어 탐지 정확도를 높인 공개 소프트웨어이다(Qui et al., 2019). Fmask는 높이와 같은 보조데이터를 포함하여 모든 채널의 영상이 요구되며, 수십 분의 연산 시간이 소요된다는 단점을 가지고 있어 대용량의 위성영상에 활용하는데 어려움이 있다. 두번째 기법은 학습기반 기법으로 데이터를 학습하여 구름을 탐지하는 기법을 말한다. 학습기반 기법은 기계학습 기반 기법과 딥러닝 기반 기법으로 분류가 가능하다. 기계학습 기반 기법은 SVM, Decision tree와 같은 기법을 활용하여 비슷한 특성을 갖는 픽셀을 분류하여 구름을 탐지하는 기법을 말한다. Li는 대량의 위성영상에서 구름을 효율적으로 탐지하기 위해 영상을 하위 블록으로 나누어 SVM 분류기를 활용하였다(Li et al., 2015). 그러나 속도는 빠른 반면 정확도가 높지 않은 단점을 보여주었다. 딥러닝 기반 기법은 CNN, U-Net, ResNet과 같은 네트워크를 한 쌍의 데이터 셋(영상과 라벨)으로 이루어진 대량의 데이터로 학습시켜 이용하는 것을 말한다. 최근 인공지능 분야가 발달함에 따라 구름탐지 기법은 딥러닝 기반 기법으로 많은 연구가 이루어지고 있다. 딥러닝 기반 기법은 모든 채널의 영상이 아닌 4개 이하의 채널만을 이용하지만 연산 속도가 빠르고 높은 정확도를 보여준다. Jeppesen은 U-Net을 기반으로 한 RS-Net을 고안하여 Fmask보다 높은 정확도를 보여주었다(Jeppesen et al., 2019). Mohajerani는 U-Net과 ResNet을 결합하여 Cloud-Net을 개발하여 Fmask보다 높은 정확도를 보여주었다(Mohajerani, 2019). 그러나 딥러닝 기반 기법은 학습에 사용하는 데이터 셋과 다른 종류의 데이터 셋으로 테스트한 경우 구름탐지가 거의 어려워 여러 종류의 데이터에 대해 일관성 있는 결과를 보여주지 못한다(Kim and Ko, 2022). 또한 학습한 데이터 셋에 따라 같은 네트워크에서 다른 결과가 도출되기도 한다(López-Puigdollers et al., 2021). 이러한 문제점으로 인해 다양한 출처의 위성영상을 통합하여 구름탐지를 수행하는 경우 동일한 네트워크를 사용하기 어렵다.

본 논문에서는 이종의 데이터 셋에 대해 일관성 있는 결과를 얻을 수 있는 네트워크를 구현하기 위해 필요한 요소에 대해 고찰하였다. 2장에서는 구름탐지를 위한 다양한 공개 데이터 셋과 네트워크에 대해 다루었다. 3장에서는 선정된 데이터 셋과 네트워크에 대해 동종의 데이터 셋과 이종의 데이터 셋으로 실험한 결과를 비교 토의하였다. 4장에서는 실험결과를 통해 도출된 결과를 제시하고 개선사항과 향후 연구방향에 대해 기술하였다.

2. 관련 연구

1) 구름탐지 데이터 셋

Table 1과 같이 Landsat 8 위성의 공개 학습데이터 셋은 L8-Biome, L8-SPARCS, L8-95Cloud 데이터 셋 등이 있다. L8-Biome 데이터 셋은 USGS에서 제공하는 구름 탐지 검증 데이터로 Landsat 8 위성영상의 학습데이터를 식생별로 나누어 제공하고 신뢰도가 높아 Landsat 8 위성영상 데이터 셋 가운데 가장 많이 논문연구에 사용된다. L8-SPARCS 데이터 셋은 2013–2014년 Landsat 8 영상 가운데 무작위로 선정되어, 개인이 포토샵을 통해 수작업으로 라벨을 생성한 것이다(Hughes and Daniel, 2014). L8-95Cloud는 Cloud-Net의 저자가 연구를 위해 공개한 학습데이터로 Fmask 결과를 기반으로 개인이 수작업한 데이터 셋이다(Mohajerani, 2019). KOMPSAT-3 데이터셋은 아리랑 위성영상의 활용을 위해 한국 정부에서 운영하는 AIHub 사이트에서 제공하는 데이터 셋으로, 작업자간 검수작업을 통해 데이터 셋의 객관성을 유지하였다. 이러한 주요 공개 데이터 셋은 구름탐지 논문연구에 활발히 활용되고 있다.

Table 1. Characteristics of Satellite Sensors

2) 구름탐지 네트워크

구름 탐지는 일반적인 사물과 달리 구조가 불명확하므로 영상분할에서 이용된 기법들이 활용되어 픽셀단위로 라벨을 부여한다. 딥러닝 연구의 개발 추세에 따라 구름 탐지의 학습 네트워크도 영상분할의 초기 학습 기법인 CNN에서 시작하여 ResNet, U-Net 등 다양한 기법 등이 적용되었다. 구름은 형태의 특성을 구체화하기 어려워 구름탐지 기법에서는 파라미터의 개수가 많은 깊은 네트워크를 활용한 연구가 좋은 결과를 보여주는데, CPNet과 DeepLabV3+가 대표적이다.

CPNet은 U-Net을 기반으로 하고 기울기 소실과 특징점 추출에 강점을 가진 ResNet을 혼합하여 인코더-디코더 구조로 설계된 네트워크로, 구름 탐지를 위해 고안되어 Cloud-Net으로도 불린다(Mohajerani, 2019). Deep LabV3+는 영상분할 네트워크 중 성능이 우수하여 많이 사용되는 네트워크이다. DeepLabV3+는 DeepLabV3의 인코더를 ResNet에서 Xception으로 대체하였다. Xception 모듈은 inception의 기본 가정인 ‘채널 상관관계와 공간 상관관계는 분리하여 생각할 수 있다’는 것을 극대화한 것으로 채널 간의 연관관계를 공간 연관 관계와 같이 고려하지 않는 특성을 가지고 있다. 또한 DeepLabV3+의 디코더 부분은 기존의 단순한 bilinear upsampling이 아닌 U-Net과 유사한 디코더 구조로 변경되었고, Atrous Spatial Pyramid Pooling (ASPP)을 적용하여 다중정보를 통합할 수 있도록 하였다(Chen et al., 2018). 이 외에 변형된 네트워크들도 구름탐지에 일부 활용되나, 모두 기본적으로 인코더-디코더 구조를 유지하고 있다.

3. 연구 설계 및 실험 결과

1) 데이터 셋

본 논문에서 사용한 데이터 셋은 Landsat 8 위성의 L8-Biome 데이터 셋과 KOMPSAT 3 위성의 KOMPSAT-3 데이터 셋이다. L8-Biome 데이터 셋은 총 96장의 8000 * 8000 영상을 Fig. 1과 같이 청천(128), 얇은 구름(192), 구름 그림자(64), 구름(255) 4개의 클래스로 나누어 라벨을 제공한다. KOMPSAT-3 데이터 셋은 KOMPSAT 3 위성 영상 중 구름이 20–50% 수준으로 존재하는 영상을 식생에 따라 고르게 선정하여 제공하는 데이터 셋으로 KOMPSAT 3 구름 탐지 학습데이터로 유일하다. KOMPSAT-3 데이터 셋은 총 162장의 6000 * 6000영상을 Fig. 2와 같이 청천(검은색), 얇은 구름(초록색), 구름 그림자(노란색), 구름(빨간색) 4개의 클래스로 나누어 라벨을 제공한다. Table 1에 나타난 바와 같이 두 위성은 파장대역의 차이뿐만 아니라 15배의 해상도 차이를 보여주고 있다. 따라서 L8-Biome 데이터 셋으로 학습된 네트워크를 KOMPSAT-3 데이터 셋으로 테스트한 결과는 의미 있는 결과를 도출하기 어렵다(Kim and Ko, 2022). 본 논문에서는 기존 학습데이터 셋 외에 두 데이터 셋을 혼합하여 추가로 학습데이터를 구성하였다. 이때, 혼합 데이터는 기존 학습데이터의 50%를 랜덤하게 선정하여 섞어서 구성하였다. 두 데이터 셋의 해상도 차이로 인해 얇은 구름과 구름 그림자에 대한 라벨 기준이 불분명하여 Fig. 1과 2의 (c)와 같이 청천과 구름의 두개의 클래스로 단순화하여 정답지를 구성하였다. (c)는 (b)의 구름 부분만을 1로 하고 나머지는 0으로 하여 생성하였다. 각 학습데이터는 총 약 2만여장의 512 * 512 4채널 데이터로 20%를 검증 단계에 사용하고 80%를 학습에 활용하였다. 단일 종류 데이터로 학습하는 경우는 해상도 차이를 반영하기 위해 입력영상의 전처리 과정에서 데이터 증강 중 확대/축소를 적용하였다.

Fig. 1. L8-Biome Data Set: (a) Band 5 Image, (b) 4 class Ground Truth, (c) 2 class Ground Truth.

Fig. 2. KOMPSAT-3 Data Set: (a) RGB Image, (b) 4 class Ground Truth, (c) 2 class Ground Truth.

2) 네트워크

본 논문에서는 많은 논문에서 성능이 입증된 Deep LabV3+ 기반으로 네트워크를 구성하였다. 인코더 부분은 구름 픽셀의 채널 간 의존성을 고려하여 Xception 모듈 대신 Fig. 3과 같이 DeepLabV3의 ResNet50으로 변경하였다. 구름 픽셀은 채널을 종합하여 특성을 판단해야 하기 때문에 채널과 공간의 연관성을 독립적으로 구분하는 Xception 모듈은 구름 픽셀의 특징을 추출하기에 적합하지 않기 때문이다.

Fig. 3. ResNet50 Structure.

ResNet50은 네트워크가 깊어짐에 따라 기울기가 소실하는 문제를 해결하기 위해 잔여 학습방법을 도입한 네트워크이다. 잔여 학습은 Fig. 3의 identity block과 같이 기준 네트워크에 skip connection 과정을 더해 입력을 출력에 더해 주는 기법을 말한다. 이때, 1 * 1 컨볼루션의 병목 구조를 활용하여 파라미터의 개수를 줄여주었다. 본 논문에서는 ResNet50을 Fig. 3과 같이 Conv_block과 Identity_Block을 나열하여 구성하였다.

디코더 부분은 Fig. 4와 같이 DeepLabV3+를 이용하여 구성하였다.DeepLabV3에서는 단순히 bilinear upsampling만 하였으나 DeepLabV3+에서는 인코더의 최종 출력에 1 * 1 컨볼루션을 하여 채널을 줄이고 bilinear upsampling을 한 후 합치는 과정이 추가되었다. 이를 통해 디코더 과정에서 효과적으로 객체의 디테일을 유지할 수 있게 되었다. 또한 인코더와 디코더의 중간에 ASPP를 적용하였다. 이는 컨볼루션의 간격을 다르게 하여 병렬로 컨볼루션을 적용하여 다시 합쳐주는 기법으로 다중 정보를 추출할 수 있게 해준다. Fig. 4의 구름 탐지 네트워크의 총 파라미터는 약 2,000만개이다.

Fig. 4. Cloud Detection Network.

3) 실험 준비

실험에 사용한 손실함수는 영역기반의 Jaccard 손실함수이며 이는 식(1)과 같다. Jaccard 지표는 두 집단이 얼마나 유사한지를 나타내 주는 것으로 본 논문에서는 정답지와 예측치의 유사도를 얻기 위해 사용하였다. 그러나 이 식에서는 구름이 거의 없는 맑은 영상은 분모가 0에 가까워 맑은 영상을 학습하기 어렵다. 따라서 맑은 영역에 대해서는 식(2)를 적용하여 학습하도록 Jaccard 손실함수를 개선하였다.

\(\begin{aligned}\begin{array}{l}\text { Jaccard Index }(y, \hat{y})=\frac{T P}{T P+F P+F N} \\ =\frac{|y \cap \hat{y}|}{|\mathrm{y} \cup \hat{y}|} \\ =\frac{|y \cap \hat{y}|}{|y|+|\widehat{y}|-|y \cap \hat{y}|} \text {, } \\ \operatorname{Jaccard} \operatorname{Loss}(y, \hat{y})=1-\frac{\sum y_{y} * \hat{y}+\alpha}{\sum y+\sum \widehat{y}-\sum y * \hat{y}+\alpha} \\ 1-\frac{\sum(1-y) *(1-\hat{y})+\alpha}{\sum(1-y)+\sum(1-\widehat{y})-\sum(1-\mathrm{y}) *(1-\widehat{y})+\alpha} \text {, } \\\end{array}\\\end{aligned}\)       (1)

\(\begin{aligned}wher \;\sum y=0\\\end{aligned}\)       (2)

Batch 크기는 12, Epoch는 200으로 하여 실험한 결과 한 개의 Epoch는 학습에 약 30분 정도 소요되었다. 검증용 데이터의 Jaccard 손실함수 변화는 Fig. 5와 같다. Fig. 5에서 보는 바와 같이 Epoch가 증가함에 따라 손실이 작아지며, Epoch 150 이상에서는 손실의 차이가 크게 유의미하지 않다.

Fig. 5. Validation loss according to Epoch number.

Fig. 4의 네트워크는 KOMPSAT-3, L8-Biome, KOMPSAT-3+L8-Biome 데이터로 각각 학습되어 3개의 best weights 파일을 확보하였다.

4) 실험 결과 및 토의

각 best weights 파일을 KOMPSAT-3 테스트 영상으로 실험한 결과는 Fig. 6와 같다.

Fig. 6. KOMPSAT-3 Test Image Experiment Results: (a)RGB image, (b) 4 class GT, (c) 2 class GT, (d) Test result applying network learned by KOMPSAT-3, (e) Test result applying network learned by L8-Biome, (f) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.

Fig. 6의 KOMPSAT-3 테스트 영상 (a)는 (b)의 정답지를 제공하고 있으나, (c)와 같이 청천과 구름의 2개의 라벨로 나누어 정답지를 생성하였다. (d)는 테스트 영상과 같은 종류의 KOMPSAT-3 영상으로 학습한 네트워크에 (a)를 적용한 결과이다. (e)는 테스트 영상과 다른 종류의 L8-Biome 영상으로 학습한 네트워크에 (a)를 적용한 결과이다. (f)는 KOMPSAT-3 영상 일부와 L8-Biome 영상 일부를 혼합하여 학습한 네트워크에 (a)를 적용한 결과이다. Fig. 6의 (d), (f)와 같이 학습과정에서 KOMPSAT-3 영상이 활용된 경우는 육안으로 확인 결과 (c)의 라벨과 유사하며, 빨간색 원 안의 디테일에서 일부 차이가 있으나 전체 영상에서 구름 탐지의 영역을 인식하는데 큰 영향이 없음을 확인하였다. 이는 Table 2를 통해 정량적으로 확인할 수 있다. (e)와 같이 구름 탐지를 거의 하지 못하는 경우는 실제 구름 중 구름으로 탐지하는 부분이 적어 낮은 재현율(Recall)을 갖는다. 그러나 구름인 부분의 탐지가 적지만 옳은 값이므로 높은 정밀도(Precision)와 정확도(Accuracy)를 갖는다. Table 2의 지표 가운데 육안으로 구름 탐지 결과를 판단하는 것과 가장 비슷한 지표는 Jaccard 지표이다. Jaccard 지표를 통해 학습데이터에 테스트 영상과 같은 종류의 KOMPSAT-3 영상이 일부라도 포함한 경우는 구름 탐지가 가능함을 확인하였다.

Table 2. Test Results of KOMPSAT-3 image

Fig. 7에서는 L8-Biome 테스트 영상으로 실험한 결과를 나타내 주고 있다. Fig. 7의 L8-Biome 테스트 영상 (a)는 (b)의 정답지를 제공하고 있으나, (c)와 같이 청천과 구름의 2개의 라벨로 나누어 정답지를 생성하였다. (d)는 테스트 영상과 같은 종류의 L8-Biome 영상으로 학습한 네트워크에 (a)를 적용한 결과이다. (e)는 테스트 영상과 다른 종류의 KOMPSAT-3 영상으로 학습한 네트워크에 (a)를 적용한 결과이다. (f)는 KOMPSAT-3 영상 일부와 L8-Biome 영상 일부를 혼합하여 학습한 네트워크에 (a)를 적용한 결과이다. Fig. 7의 (d), (f)와 같이 학습과정에서 L8-Biome 영상이 활용된 경우는 육안으로 확인한 결과가 (c)의 라벨과 유사하여, 차이점을 발견하기 어려웠다. 이는 Table 3을 통해 정량적으로 확인할 수 있다. Table 3에서는 Fig. 7(d)의 Jaccard 지표가 (f)의 Jaccard 지표보다 약간 낮다. 이는 구름이 엷게 퍼진 새털구름의 경우 구름 탐지에 오차가 발생하기 쉬워 나타난 것으로 전체 구름의 형상은 동일하다. Table 3의 (e)와 같이 구름 탐지를 거의 하지 못하는 경우는 실제 구름 중 구름으로 탐지하는 부분이 적어 낮은 재현율을 갖는다. Fig. 6와 다르게 Fig. 7에서는 구름 탐지 부분이 거의 없어 낮은 정밀도와 정확도를 갖는다. Table 3의 Jaccard 지표를 통해 학습데이터에 테스트 영상과 같은 종류의 L8-Biome 영상이 일부라도 포함한 경우는 구름 탐지가 용이함을 확인하였다.

Fig. 7. L8-Biome Test Image Experiment Results: (a) NIR image, (b) 4 class GT, (c) 2 class GT, (d) Test result applying network learned by L8-Biome, (e) Test result applying network learned by KOMPSAT-3, (f) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.

Table 3. Test Results of L8-Biome image

Fig. 8은 구름의 양에 따른 L8-Biome 테스트 영상의 실험결과를 보여준다. 첫 번째 행은 구름이 90% 이상인 테스트 영상의 실험결과이고, 두 번째 행은 구름이 50%인 테스트 영상의 실험결과이고, 세 번째 행은 맑은 날인 테스트 영상의 실험결과를 보여준다. 첫 번째 열 (a)는 테스트 영상, (b)는 정답지, (c)는 L8-Biome 데이터로 학습한 네트워크에 적용한 (a)를 적용한 결과이고 (d)는 KOMPSAT-3 영상 일부와 L8-Biome 영상 일부를 혼합하여 학습한 네트워크에 (a)를 적용한 결과이다.

Fig. 8. L8-Biome Test Image Experiment Results: (a) Band5 image, (b) 2 class GT, (c) Test results applying network learned by L8-Biome, (d) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.

L8-Biome 데이터만을 사용하여 학습한 네트워크 (c)열은 구름의 양과 관계없이 정답지인 (b)와 육안으로 거의 유사하다. KOMPSAT-3 영상 일부와 L8-Biome 영상 일부를 혼합하여 학습한 네트워크 (d)열도 (c)와 육안상 유사하나, 디테일에서 차이가 보인다. 특히, Fig. 8의 구름이 많은 첫번째 행에서 혼합 데이터 네트워크 결과인 (d)가 정답지 (b)와 일부 다름을 확인할 수 있으나 전체적으로 구름이 많다는 것은 파악할 수 있다.

Fig. 9는 KOMPSAT-3 데이터의 실험결과를 보여준다. KOMPSAT-3의 공개 데이터 셋은 구름의 양이 20–50%인 영상만 제공하므로 구름이 잔뜩 끼거나 맑은 영상을 비교하기 어려워 서로 다른 3장의 영상을 각 행에 나타내었다. 첫 번째 열 (a)는 테스트 영상, (b)는 정답지, (c)는 KOMPSAT-3 데이터로 학습한 네트워크에 적용한 (a)를 적용한 결과이고 (d)는 KOMPSAT-3 영상 일부와 L8-Biome 영상 일부를 혼합하여 학습한 네트워크에 (a)를 적용한 결과이다.

Fig. 9. KOMPSAT-3 Test Image Experiment Results: (a) NGR image, (b) 2 class GT, (c) Test results applying network learned by KOMPSAT-3, (d) Test result applying network learned by a mixture of KOMPSAT-3 and L8-Biome.

KOMPSAT-3 데이터만을 사용하여 학습한 네트워크 (c)는 정답지인 (b)와 거의 유사하다. L8-Biome 데이터와 KOMPSAT-3 데이터를 혼합하여 학습한 네트워크 (d)는 미세한 차이는 있지만 (b)와 유사함을 육안으로 확인하였다. L8-Biome 데이터로 학습한 네트워크에서는 구름 탐지된 픽셀이 거의 없어 그림에 추가하지 않았다.

4. 결론

본 논문에서는 학습 데이터에 따른 구름탐지 네트워크의 성능에 대해 확인하였다. 테스트 데이터와 동종의 영상을 일부라도 포함하여 학습한 네트워크는 학습데이터가 적더라도 구름탐지가 가능하다. 그러나 테스트 데이터와 다른 이종의 영상만을 활용하여 학습한 네트워크는 학습과정에서 해상도 차이를 고려하여 데이터 증강을 수행하고 깊은 네트워크를 구성하더라도 구름 탐지를 수행하기 어렵다. 구름은 물체와 달리 구체적인 형태가 없어 일반화된 공간적 특성을 정의하기 어렵고 공간적인 특성보다 채널 별 특성이 중요하므로 다른 위성에서는 다른 특성을 보여주기 쉽기 때문이다. 소량의 데이터 셋을 학습에 포함하는 것만으로도 이종 센서의 네트워크 성능을 크게 향상시키므로, 네트워크 종류보다 데이터 셋의 확보와 신뢰성이 구름탐지 기능을 향상 시키는데 더 중요하다는 것을 확인하였다. 그러나 위성마다 데이터 셋을 확보하기는 어려우므로 소량의 데이터가 정량적으로 얼마나 추가되어야 구름탐지가 가능한지 추가 연구가 필요하다. 또한 해상도가 유사한 이종 데이터 셋의 네트워크 성능에 대해 추가 확인함으로써 데이터셋의 의존도를 줄일 수 있는 방안에 대해 연구할 필요가 있다.