Sentinel-1 A/B 위성 SAR 자료와 딥러닝 모델을 이용한 여름철 북극해 해빙 분류 연구

A Study on Classifying Sea Ice of the Summer Arctic Ocean Using Sentinel-1 A/B SAR Data and Deep Learning Models

Abstract

북극항로의 개척 가능성과 정확한 기후 예측 모델의 필요성에 의해 북극해 고해상도 해빙 지도의 중요성이 증가하고 있다. 그러나 기존의 북극 해빙 지도는 제작에 사용된 위성 영상 취득 센서의 특성에 따른 데이터의 취득과 공간해상도 등에서 그 활용도가 제한된다. 본 연구에서는 Sentinel-1 A/B SAR 위성자료로부터 고해상도 해빙 지도를 생성하기 위한 딥러닝 기반의 해빙 분류 알고리즘을 연구하였다. 북극해 Ice Chart를 기반으로 전문가 판독에 의해 Open Water, First Year Ice, Multi Year Ice의 세 클래스로 구성된 훈련자료를 구축하였으며, Convolutional Neural Network 기반의 두 가지 딥러닝 모델(Simple CNN, Resnet50)과 입사각 및 thermal noise가 보정된 HV 밴드를 포함하는 다섯 가지 입력 밴드 조합을 이용하여 총 10가지 케이스의 해빙 분류를 실시하였다. 이 케이스들에 대하여 Ground Truth Point를 사용하여 정확도를 비교하고, 가장 높은 정확도가 나온 케이스에 대해 confusion matrix 및 Cohen의 kappa 분석을 실시하였다. 또한 전통적으로 분류를 위해 많이 활용되어 온 Maximum Likelihood Classifier 기법을 이용한 분류결과에 대해서도 같은 비교를 하였다. 그 결과 Convolution 층 2개, Max Pooling 층 2개를 가진 구조의 Convolutional Neural Network에 [HV, 입사각] 밴드를 넣은 딥러닝 알고리즘의 분류 결과가 96.66%의 가장 높은 분류 정확도를 보였으며, Cohen의 kappa 계수는 0.9499로 나타나 딥러닝에 의한 해빙 분류는 비교적 높은 분류 결과를 보였다. 또한 모든 딥러닝 케이스는 Maximum Likelihood Classifier 기법에 비해 높은 분류 정확도를 보였다.

The importance of high-resolution sea ice maps of the Arctic Ocean is increasing due to the possibility of pioneering North Pole Routes and the necessity of precise climate prediction models. In this study,sea ice classification algorithms for two deep learning models were examined using Sentinel-1 A/B SAR data to generate high-resolution sea ice classification maps. Based on current ice charts, three classes (Open Water, First Year Ice, Multi Year Ice) of training data sets were generated by Arctic sea ice and remote sensing experts. Ten sea ice classification algorithms were generated by combing two deep learning models (i.e. Simple CNN and Resnet50) and five cases of input bands including incident angles and thermal noise corrected HV bands. For the ten algorithms, analyses were performed by comparing classification results with ground truth points. A confusion matrix and Cohen's kappa coefficient were produced for the case that showed best result. Furthermore, the classification result with the Maximum Likelihood Classifier that has been traditionally employed to classify sea ice. In conclusion, the Convolutional Neural Network case, which has two convolution layers and two max pooling layers, with HV and incident angle input bands shows classification accuracy of 96.66%, and Cohen's kappa coefficient of 0.9499. All deep learning cases shows better classification accuracy than the classification result of the Maximum Likelihood Classifier.

요약

북극항로의 개척 가능성과 정확한 기후 예측 모델의 필요성에 의해 북극해 고해상도 해빙 지도의 중요성이 증가하고 있다. 그러나 기존의 북극 해빙 지도는 제작에 사용된 위성 영상 취득 센서의 특성에 따른 데이터의 취득과 공간해상도 등에서 그 활용도가 제한된다. 본 연구에서는 Sentinel-1 A/B SAR 위성자료로부터 고해상도 해빙 지도를 생성하기 위한 딥러닝 기반의 해빙 분류 알고리즘을 연구하였다. 북극해 Ice Chart를 기반으로 전문가 판독에 의해 Open Water, First Year Ice, Multi Year Ice의 세 클래스로 구성된 훈련자료를 구축하였으며, Convolutional Neural Network 기반의 두 가지 딥러닝 모델(Simple CNN, Resnet50)과 입사각 및 thermal noise가 보정된 HV 밴드를 포함하는 다섯 가지 입력 밴드 조합을 이용하여 총 10가지 케이스의 해빙 분류를 실시하였다. 이 케이스들에 대하여 Ground Truth Point를 사용하여 정확도를 비교하고, 가장 높은 정확도가 나온 케이스에 대해 confusion matrix 및 Cohen의 kappa 분석을 실시하였다. 또한 전통적으로 분류를 위해 많이 활용되어 온 Maximum Likelihood Classifier 기법을 이용한 분류결과에 대해서도 같은 비교를 하였다. 그 결과Convolution 층 2개, Max Pooling 층 2개를 가진 구조의 Convolutional Neural Network에 [HV, 입사각] 밴드를 넣은 딥러닝 알고리즘의 분류 결과가 96.66%의 가장 높은 분류 정확도를 보였으며, Cohen의 kappa 계수는 0.9499로 나타나 딥러닝에 의한 해빙 분류는 비교적 높은 분류 결과를 보였다. 또한 모든 딥러닝 케이스는 MaximumLikelihood Classifier 기법에 비해 높은 분류 정확도를 보였다.

1. 서론

북극해 해빙 면적을 나타내는 보다 정확한 북극 해빙 지도는 기존의 항로보다 경제적이라 여겨지는 북극항 로의 개척(Inoue et al., 2015)과 기후변화 관련 연구에서 북극해의 빙권으로서의 역할과 해빙 규모 변화 파악에 필수적인 자료이다(Notz and Stroeve, 2016). 특히 두께가 두꺼운 다년빙(Multi Year Ice, 이하 MYI)과 두께가 얇은 초년빙(First Year Ice, 이하 FYI)을 분류한 북극 해빙지도는 쇄빙선의 항로개척과 기후모델 연구에서 해빙의 상태를 보다 정확히 반영해 예측모델의 정확도를 향상시킨다. 이러한 이유들로 인해 북극해를 MYI, FYI, 및 해빙이 아닌 영역, 즉 바닷물(Open Water, 이하 OW) 로 분류한 지도가 제작되고 있다.

원격탐사에 의한 해빙연구는 많은 경우에서 북극해 해빙의 extent(해빙의 분포 범위)를 해빙의 면적을 나타내는 지표로 사용하고 있다. Extent 지표는 해빙의 실면적을 의미하는 area와 달리 대상 지역을 격자로 나눈 후 격자에서 해빙이 차지하는 비율이 15% 이상이면 그 지역을 해빙이 있는 지역으로 본다(Parkinson et al., 1999). 현재 폭넓게 활용되고 있는 해빙지도는 미국의 National Snow and Ice Data Center(NSIDC)에서 AMSR-2 수동 마이크로파 위성 및 MODIS 광학 위성을 사용해 제작한 지도이다. 수동 마이크로파 위성은 대상지역에서 자연적으로 발생하는 마이크로파를 사용하므로, 상대적으로 약한 신호 세기와 위상정보가 없어 SAR와 같이 합성구경을 만들 수 없기 때문에 해상도가 수 km에 달할 만큼 저해상도인 문제점이 있다. 또한 광학센서는 영상의 취득에서 광량과 기상상태에 큰 영향을 받는 한계가 있다.

합성개구레이더, 즉 SAR(Synthetic Aperture Radar)는 수동 마이크로파 위성과 광학위성의 영상취득과 자료 갱신의 한계를 극복할 수 있다. SAR는 영상취득을 위해 능동 센서(active microwave sensors)를 사용하여 대상지역에 직접 마이크로파를 방출하며, 합성개구기술을 사용하기 때문에 거대한 안테나 및 렌즈를 사용한 것과 같은 효과가 생겨 고해상도의 영상을 획득할 수 있다. 또한 대기의 창 효과에 의해 지구의 대기에 의해 흡수되지 않으므로 주/야 및 기상 상태와 관계없이 북극해를 촬영할 수 있다. 하지만 이러한 영상취득의 장점에도 불구하고 북극해는 대상영역이 광대하므로 육안 판독에 의한 수작업(manual visual interpretation)으로 북극해 전 체에 대해 SAR 영상 기반의 해빙지도를 만드는 것에는 많은 인력과 시간이 소요된다. 따라서 SAR 영상을 기반 으로 하는 북극 해빙지도의 제작은 자동 분류방법 (digital classification)의 활용을 필요로 한다.

자동 분류 알고리즘 중 원격탐사 분야에서 인공지능의 활용이 증가함에 따라 머신러닝(machine learning)을 활용해 해빙의 분류를 시도한 사례가 있다(see Liu et al., 2014; Hong and Yang, 2018). 머신러닝은 샘플과 기댓값이 주어졌을 때, 데이터 처리 작업을 위한 실행 규칙을 찾는 것이다. 전통적인 프로그래밍에서는 규칙과 규칙에 따라 처리된 데이터를 입력하면 해답이 출력되나, 머신러닝에서는 데이터와 데이터로부터 기대되는 해답을 입력하면 규칙이 출력된다. 따라서 머신러닝은 명시적으로 프로그래밍 되는 것이 아니라 훈련(training) 된다(Chollet, 2017). 또한 최근에는 머신러닝의 한 부류인 딥러닝(deep learning)을 이용한 SAR 영상 기반의 해빙 분류 또한 시도되고 있다(e.g. Wang et al., 2016; Chi and Kim, 2017). 딥러닝은 연속된 층에서 점진적으로 의미 있는 표현을 배우는 데 강점이 있으며, 데이터로부터 표현을 학습하는 새로운 방식이다. 딥러닝에서는 기본 층을 겹겹이 쌓아 올려 구성한 신경망을 사용하여 표현 층을 학습한다. 신경망에서는 정보가 연속된 필터를 통과 하면서 순도 높게 정제되는 다단계 정보 추출 작업을 수행한다. 즉, 딥러닝을 기술적으로 표현하면 데이터 표현을 학습하기 위한 다단계 처리 방식이라고 말할 수 있다(Chollet, 2017). 기존의 딥러닝 기법들은 원격탐사 관련 연구에서 이미지 분류와 융합, 구름의 제거 등을 목적으로 주로 테스트되었으며(Li et al., 2018; Ma et al., 2019), 아직까지 북극해를 촬영한 SAR 위성 영상을 분류 하기 위해 딥러닝의 어떠한 알고리즘을 사용해야 하고, SAR 위성의 4개 밴드와 입사각 밴드 중 어떠한 조합을 입력 데이터로 넣어야 하며, 위성 영상의 노이즈에 대 한 노이즈 제거는 어떻게 해 주어야 하는지에 대한 명확한 합의가 없어 추가적인 연구가 필요한 상태이다. 최신 연구에서는 Convolutional Neural Network(CNN)이 좋은 결과를 낸다고 결과가 보고되었지만, 아직 어떠한 구조의 CNN이 최적인지에 대해서는 더 많은 연구가 필요하다(Cooke and Scott, 2019).

따라서 본 논문에서는 해빙 지도 제작의 전 단계로 SAR 위성 영상과 머신러닝의 한 종류인 딥러닝 기법 중 CNN의 두 가지 구조를 사용하여 여름철 북극해의 주어진 영역들을 OW, FYI, MYI로 분류한 북극해 해빙 분류 연구를 수행하였다. 그에 따라 딥러닝 모델 및 훈련 자료로 사용될 입력 밴드들을, thermal noise를 제거한 경우를 포함하여 변화시켜 가며 최적의 결과를 보이는 조합을 탐색하였다.

2. 연구 자료

본 연구에서는 유럽우주국(European Space Agency, 이하 ESA)에서 제공하는 Sentinel-1 A/B 위성의 Extra Wide (EW) 모드의 Ground Range Detected Medium Resolution (GRDM) 형태의 자료를 사용하였다. Sentinel-1 위성은 최초로 고해상도의 SAR 자료를 무료로 제공하며, 위성 2대가 동일 궤도를 180도의 위상 차이로 12일의 주기로 돌고 있기 때문에 6일 이내에 북극해 전 지역에 대하여 영상을 확보할 수 있어 본 연구를 위한 최적의 SAR 위성 자료라 판단되었다(Kim et al., 2018). 본 연구를 위해 사용한 Sentinel-1 위성자료의 형태는 range 방향으로 93 m, azimuth 방향으로 87 m의 해상도를 가지며, pixel spacing 및 number of looks는 각각 40×40 m와 6×2 m이다.

딥러닝 기반의 해빙 분류 알고리즘 평가를 위한 훈련 자료 제작과 검증을 위해, 32개의 여름철 Sentinel-1 위성영상이 사용되었다(Table 1). 마지막으로 본 연구에 사 용된 위성영상의 위치를 Fig. 1에 표시하였다.

Fig. 1. 32 scenes of Sentinel-1 A/B SAR data used in this study.

Table 1. Sentinel-1 A/B images used to train the models

3. 연구 방법

1) 전처리

본 연구에서는 ESA에서 제공하는 SNAP 프로그램 (7.0버전)을 사용하여 위성영상에 대해 전처리를 진행하였다. Sentienl-1 위성 영상은 Ground Range Detected – Level 1 영상에 대해 테두리에 노이즈가 생기며(Ali et al., 2018), Calibration을 하지 않으면 후방산란계수를 얻을 수 없다. 따라서 Ground Range Detected(GRD) 단계의 영상의 테두리 노이즈를 제거하는 함수를 활용하여 위성영상의 테두리 노이즈를 제거하였으며, “Calibration” 을 수행하여 후방산란계수를 계산하였다.

Sentinel-1 A/B 위성 영상은 Extra Wide 모드에서 HH (또는 VV)와 HV 같은 이중편파 위성영상을 제공한다. HH(또는VV)밴드는 같은 물성을 가지는 지역에 대해 근거리(Near Range)의 후방산란계수가 높고 원거리(Far Range)의 후방산란계수가 낮은 문제가 있기에 이러한 효과를 고려할 수 있도록 입사각(incident angle,INC)을 계산하여 하나의 밴드로 생성하였다(Mladenova et al., 2012).

또한, HV 밴드는 거리(Range) 방향으로의 후방산란 계수 문제는 적으나, 각 subswath 별로 thermal noise가 심하게 발생한다(Kim et al., 2018). 이를 해결하기 위해 본 논문에서는 선행연구를 토대로 HV 밴드의 thermal noise를 제거한 corrected HV(이하 HVC) 밴드를 만들 었다. Thermal noise 제거는 Azimuth 방향의 descalloping 및 noise scaling, interswath의 power balancing 그리고 잔여 noise power 보정으로 이루어졌다(Park et al., 2017). 그 후 thermal noise가 제거된 밴드를 딥러닝에 사용될 훈련 자료의 제작 및 참고자료로 사용하였다.

2) 훈련자료 제작 및 딥러닝 코드 개발

본 연구에서는 HH, HV뿐만 아니라 입사각 및 HVC 영상을 포함한 밴드 조합으로 SAR 위성영상에서 질감, 모양, 밝기에 따라 다른 값을 가지는 OW, FYI, MYI의 3개 클래스로 훈련자료를 제작하였다. OW는 매끄러운 질감과 평탄한 모양, 어두운 밝기를 가진다. FYI는 거친 질감과 울퉁불퉁한 모양, 중간 정도의 밝기를 가진다. MYI는 OW보다는 거칠고 FYI보다는 매끄러운 질감과 균열이 있는 모양, 밝은 밝기를 가진다. NSIDC에서 제공하는 Ice Chart 정보만을 사용하여 학습자료를 판단한다면 보다 객관적일 수 있지만, SAR 영상과의 공간해상도 차이로 인해 실제로 비교를 하는 것에 어려움이 있다. 오히려 고해상도 SAR 영상의 경우 NSIDC 자료는 참고는 하되 육안으로 판독하여 학습자료를 생성하는 것이 실질적인 정확도 측면에서 도움이 된다. 본 연구에서 해 빙 클래스의 분류는 NSIDC의 Sea Ice Concentration 및 Canadian Ice Service(CIS)의 Ice Chart 정보를 토대로, 위성 원격탐사와 해빙 전문가의 육안판독(expert’s visual interpretation)으로 수행하였다(Fig. 2).

Fig. 2. Selection of training Sets based on Ice Chart (2017/07/06). Training sets, which are shown as red boxes in the image above, are located within black, gray, and white regions in the Ice Chart. denoting OW, FYI and MYI, respectively.

Table 1에 제시된 총 32개의 Senitnel-1 A/B 영상에서 OW 500개, FYI 500개, MYI 500개의 훈련자료를 제작하였다. 총 1,500개의 훈련자료는 32×32 화소의 패치로 분할되어 최종적으로 약 8만개의 패치가 딥러닝 알고리즘에 입력자료로 사용되었다.

본 연구를 위해 training time을 포함하는 processing time을 최소화해 대용량 SAR영상 분류에 최적화된 GPU 기반의 딥러닝 framework를 제시하였다. 딥러닝 코드는 Python의 Keras 딥러닝 모듈을 기반으로, GeoTiff 파일 형태의 훈련자료를 받아들일 수 있도록 개발하였다. 또한 클래스별로 취득된 훈련자료들이 32×32 화소의 크기를 가지는 패치로 잘라져 딥러닝 알고리즘 훈련에 입력 자료로 들어가도록 하였으며, 위성영상이 가지는 밴드들의 특성이 딥러닝 알고리즘의 훈련과 분석과정에서 최적화되어 반영될 수 있도록 하였다.

3) 딥러닝 모델과 입력 밴드 조합

본 연구에서는 해빙 분류와 결과 비교를 위해 대표적인 딥러닝 모델인 Convolutional Neural Network(CNN) 중 각각 2개씩의 convolution층과 max pooling층을 가지는 단순한 형태의 CNN(Simple CNN)과 Resnet50을 사용하였다. 첫 번째 딥러닝 모델인 Simple CNN은 입력 층 – 합성곱 신경망층 – Max pooling 연산층 – 합성곱 신 경망층 – Max pooling 연산층 – 완전 연결층 – 활성화 함 수층– 출력층으로 구성되어 있다. 두 번째 딥러닝 모델 인 Resnet50의 기본 개념은 마이크로소프트 팀이 개발 한 Resnet 네트워크로, 합성곱 신경망이 반복되나 6층마 다 입력 데이터를 합성곱 계층을 건너뛰어 출력에 연결 하는 구조를 가지고 있다(He et al., 2016)(Fig. 3).

Fig. 3. Structure of Resnet Deep Learning Models (He et al., 2016).

입력 밴드 조합은 ([HH, HVC], [HH, HV], [HH, INC], [HV, INC], [HH, HV, INC])를 이용하였으며, 결과적으로 두 가지 딥러닝 모델에 대한 5가지 밴드의 조합인 총 10개의 경우에 대해 OW, FYI, MYI 분류 결과를 비교하였다. 딥러닝 모델과 밴드 조합에 따른 10가지 조합은 다음과 같다(Table 2). 또한 Deep Learning 기법을 이용한 해빙 분류의 유용성을 살펴보기 위해 전통적으로 분류 를 위해 많이 활용되어 온 Maximum Likelihood Classifier (MLC) 기법을 이용한 분류 결과와 비교를 하였다.

Table 2. List of Used Deep Learning Models and combination ofinputbands. CNN is Convolutional Neural Network and Resnet50 is Residual Network with 50 layers

4) 검증 지역 및 Ground Truth Point 설정

본 연구에서는 Fig. 4의 위성자료의 HVC 영상을 기준으로 OW, FYI, MYI에 대해 Ground Truth Point를 추출하였다. 이때 본 연구에서 Ground Truth Point의 수를 정한 방법은, 아래와 같다.

\(N=\frac{Z^{2} P(1-P)}{E^{2}}\)         (1)

여기서, N: 한 클래스당 필요한 최소한의 샘플 수, Z: 신뢰도에서의 Z값, P: 기대하는 정확도, E: 허용 오차이며, 사용될 샘플 수는 N보다 클 수 있다(Wulder et al., 2006; Nusser and Klaas, 2003; Stehman and Czaplewski, 2003).

이에 따라 95% 신뢰도(Z=1.96), 기대하는 정확도 95%, 허용 오차 5%로 계산한 결과 N = 72.99가 도출되 어 한 클래스 당 100개씩의 Ground Truth Point를 설정하였다. 이때, 육지를 Ground Truth Point로 잡는 오류를 피하기 위해 육지 부분을 마스킹 한 후 Ground Truth Point를 설정하였다.

Ground Truth Point를 설정한 지역은 OW, FYI, MYI 가 뚜렷하게 구별되는 지역으로 설정하였으며, 이 지역에 대해 Ground Truth Point를 설정하였다(Fig. 4). 그 후 Ground Truth Point를 기반으로 정확도를 비교하고, 실제로 가장 높은 정확도가 나온 case에 대해 confusion matrix 및 Cohen의 kappa 분석을 실시하였다.

Fig. 4. Original satellite imagery used to test the accuracies of Deep Learning Cases(a) (ID of satellite Images: S1B_EW_GRDM_1SDH_20170701T035350_20170701T035450_006289_00B0E6_7AA1), and Ground Truth Points (b: OW, c: FYI, d: MYI). Blue crosses are Ground Truth Points (Visual). Satellite image to make Ground Truth Points was land masked to prevent error.

4. 결과

본 연구에서는 제작한 훈련자료에 대해 총 10가지 경우에 대해 각각 딥러닝 알고리즘을 훈련시켰다. 이 알고리즘들을 평가하기 위해 OW, FYI, MYI 당 100개씩 총 300개의 Ground Truth Points들을 설정하였으며, Ground Truth Points의 값과 딥러닝 알고리즘에 의해 분류된 영상의 Ground Truth Points와 같은 위치의 픽셀값을 비교하였다.

Fig. 5는 OW, FYI, MYI가 뚜렷하게 나타나는 지역에 대해 10가지 경우의 딥러닝 알고리즘을 이용하여 분류한 결과이다. 또한 Table 2의 10개 케이스와 MLC를 Ground Truth Point 기반으로 분석한 결과는 Table 3과 같다.

Fig. 5. Classified images derived from ten Deep Learning Algorithms.

Table 3. Results of comparison between Deep Learning Classified Images and Ground Truth Points. In OW, FYI, MYI rows each row shows how many points have same values with ground truth points. In accuracy row it shows percentage of accuracy based on ground truth point analysis

분석 결과 Input Band가 HV, INC이며 사용된 딥러닝 모델은 Simple CNN인 case4의 분류 정확도가 가장 높은 것으로 나타났다. HH HVC와 HH HV를 비교한 결과, HV가 입력 밴드로 들어갔을 때의 분류 정확도가 더 높은 것을 확인할 수 있었다. 또한 전반적으로 Simple CNN을 이용하여 분류했을 때의 정확도가 Resnet50 모델로 분류했을 때의 정확도에 비해 높았다.

case4에 대해 confusion matrix를 제작한 결과, 정확도는 96.66%로 나타났다(Table 4). 여러 개의 클래스에 대한 Cohen의 kappa 계수를 분석한 결과는 다음과 같다. Po, 즉 Ground Truth Point와 case4의 결과가 일치할 확률은 0.9666이다. Pc, Ground Truth Point와 case4의 결과가 우연히 일치할 확률은 0.3333이다. 따라서 kappa 통 계량 k = 0.9499이다. kappa 통계량이 0.801 ~ 1.000 사이에 있으므로, 딥러닝 분류 결과와 Ground Truth Point와 높은 일치도를 보인다고 할 수 있다.

Table 4. Confusion matrix for case 4

5. 토의 및 결론

지금까지의 북극해 해빙 지도 제작은 넓은 영역에 대해서는 수동 마이크로파를 사용하여 저해상도의 해빙 지도가 제작되고 있으며, 좁은 지역에 대한 보다 상세한 해빙 지도나 Ice Chart의 제작은 NSIDC나 CIS 등에 소속된 Ice Expert들에 의해 수작업으로 이루어지는 한계가 있었다. 이러한 한계를 극복하기 위해 SAR 인공위성을 사용하여 머신러닝 기법을 이용한 선행연구들이 있었으나, 머신러닝 중 여러 가지 딥러닝 기법과 입사각 및 thermal noise가 보정된 SAR 영상을 입력 자료로 넣었을 때의 경우들에 대해 어떠한 결과가 나오는지에 대해서는 연구가 이루어지지 않았다.

본 연구에서는 Sentinel-1 A/B SAR 인공위성 자료에 대해 딥러닝 모델 중 CNN에 관해 4개의 층을 가진 모델(Simple CNN)과 Resnet50이라는 딥러닝 기법을 사용 하였으며, 기존의 HH, HV편파 자료 뿐만 아니라 추가 적으로 입사각 및 보정된 HV 영상도 포함하여 최적의 딥러닝-입력 영상 조합을 탐구하였다. 그 결과 Simple CNN과 [HV, INC] 조합이 본 연구에서 학습된 알고리즘에서 가장 높은 정확도의 분류 결과를 보였다. HV밴 드의 경우 thermal noise가 포함되어 있어 HVC로 보정한 자료를 입력 자료로 했을 때 더 나은 분류 결과를 예상했지만, HV밴드와 입사각 정보가 동시에 입력 자료로 쓰임에 따라 딥러닝 모델자체에서 thermal noise의 특성을 반영하여 해빙 분류가 이루어졌기 때문인 것으로 추측된다. 또한 층의 개수가 적은 Simple CNN이 층이 더 많은 모델인 Resnet50보다 분류 결과가 좋게 나왔는 데, 이는 현재 본 연구에 사용된 훈련 자료의 양이 50개층을 학습할 정도로 충분하지 않았거나 또는 잔차를 이용하여 학습하는 Resnet의 알고리즘이 클래스 간 의존성이 상대적으로 약한 해빙 분류에 적합하지 않은 것으로 추정된다. 그럼에도 불구하고 입력 자료와 모델에 관계없이 딥러닝 알고리즘은 기존의 MLC를 이용한 해빙 분류결과보다는 좋은 성능을 보였다(Fig. 6, Table 5).

Fig. 6. Machine Learning Training sets (Left), Result of the MLC (Right).

Table 5. Comparison between results of deep learning case4 and MLC

본 연구에서 딥러닝 훈련 자료는 해빙 영상에 대해 경험이 많은 전문가의 도움 및 Ice Chart 기반으로 제작되었으나 육안 판독 자체의 오류 및 Ice Chart의 낮은 해상도 때문에 훈련자료에 불일치하는 해빙 종류가 포함되었을 수 있었다는 점과, 딥러닝 모델을 훈련하는 데에 있어 8만개의 훈련자료가 충분하지 않을 수 있다는 한계점이 있다. 앞으로 보다 많은 훈련자료를 생성하고 해빙의 종류 구분에 대한 객관성을 확보할 방안을 마련하여 추가연구가 필요하다.