Water Temperature Prediction Study Using Feature Extraction and Reconstruction based on LSTM-Autoencoder

Abstract

In this paper, we propose a water temperature prediction method using feature extraction and reconstructed data based on LSTM-Autoencoder. We used multivariate time series data such as sea surface water temperature in the Naksan area of the East Sea where the cold water zone phenomenon occurred, and wind direction and wind speed that affect water temperature. Using the LSTM-Autoencoder model, we used three types of data: feature data extracted through dimensionality reduction of the original data combined with multivariate data of the original data, reconstructed data, and original data. The three types of data were trained by the LSTM model to predict sea surface water temperature and evaluated the accuracy. As a result, the sea surface water temperature prediction accuracy using feature extraction of LSTM-Autoencoder confirmed the best performance with MAE 0.3652, RMSE 0.5604, MAPE 3.309%. The result of this study are expected to be able to prevent damage from natural disasters by improving the prediction accuracy of sea surface temperature changes rapidly such as the cold water zone.

본 논문에서는 LSTM-Autoencoder 기반 특징추출과 재구성 데이터를 이용한 수온 예측 방법을 제안한다. 냉수대 현상이 발생한 동해 낙산 지역의 해수면 수온과 수온에 영향을 미치는 풍향, 풍속 등 다변량 시계열 데이터를 이용하고, LSTM-Autoencoder 모델을 이용하여, 원본 데이터의 차원 축소를 통해 추출된 특징 데이터를 원본 데이터의 다변수 데이터로 결합한 데이터, 복원 데이터, 원본 데이터 총 3가지를 사용한다. 수온 예측을 위해 LSTM 모델에 3가지 데이터를 학습하고, 정확도를 평가한 결과 MAE 0.3652, RMSE 0.5604, MAPE 3.309%으로 LSTM-Autoencoder의 특징추출을 이용한 수온 예측 정확도가 가장 우수한 성능을 보이는 것을 확인하였다. 본 연구의 결과는 냉수대와 같이 해수면 수온 변화가 급변하는 구간의 예측 정확도를 높여, 자연재해의 피해를 예방할 수 있을 것으로 기대한다.

I. Introduction

연안용승이란 연안에서 바람이나 해류로 인하여 바다 표면층의 따뜻한 해수가 밀려나면, 그 공간으로 저층의 차가운 해수가 위로 올라와 바다 표면층 해수 온도가 내려가는 현상을 말한다. 우리나라에서는 매년 5~8월 사이에 동해 연안 표층 바다 수온이 주변 수온보다 3~5℃ 이상 급격하게 낮아지는 현상이 나타나는데, 이를 냉수대라고 한다[1]. 냉수대 해역은 급격한 수온 하강으로 인해 양식생물의 대사 활동이 감소하고, 면역력 저하로 질병 발생 가능성이 커져, 양식 어류의 집단 폐사를 유발한다[2].

우리나라는 동해 연안 냉수대 예측 시스템을 국립수산과학원에서 동해 연안의 냉수대 발생으로 인한 피해 예방을 위해 인공위성, 실시간 해상부이, 선박 관측 등을 통해 수온변화를 중점적으로 관찰하고, 주변 해역보다 수온이 5℃ 이상 낮아지는 경우 냉수대 주의보, 10℃ 이상 낮아지면 냉수대 경보를 발령하는 시스템을 구축하여 시험 운영 중이다[1].

냉수대 판별을 위해서는 수온의 예측이 중요한 연구 주제이지만, 수온은 계절적인 변동을 하면서 시간에 따라 변화하는 종속성을 가지는 대표적인 시계열 데이터이다[3].

기존에는 수치모델, 기상모델을 이용하여 수온 변화를 관찰, 예측하는 연구가 진행되었으나, 최근에는 신경망 기반의 LSTM(Long Short-Term Memory) 모델을 이용한 수온 예측 모델 연구가 활발하게 진행되고 있다. 이어도 해양과학기지에서 2016~2020년 기상 데이터와 수심별 수온 자료를 이용하여 LSTM을 이용한 수온 예측 연구가 진행되었고[4], ECMWF(Europe Centre for Medium-Range Weather Forecasts) 자료와 LSTM 모델을 이용하여 한반도 근해 해수면 온도를 예측하는 연구가 진행되었다[5].

수온 예측의 성능 향상을 위해서 수온에 영향을 주는 요소들의 심층적인 분석을 통해 단일 변수가 아닌 다변수의 시계열 데이터를 활용하는 것이 중요하다. 다변수 시계열 데이터는 시간적인 정보와 각 변수 간의 특징들을 고려하여 예측 모델에 적용하는 연구가 필요하다.

본 연구에서는 냉수대 현상이 발생한 동해 낙산 지역의 해상관측부이에서 2019~2021년 데이터 수집 및 전처리와 제안하는 모델에 대한 실험과 결과를 확인하는 방향으로 구성되어 있다. 2장에서는 본 연구의 주제와 관련된 논문을 소개하고, 본 연구에서 사용하는 신경망 모델에 대해 설명한다. 3장에서는 해수면 수온 데이터의 결측치 보간방법과 상관관계분석을 이용하여, 수온과 상관관계가 높게 나온 기온과 수온에 영향을 미치는 풍향, 풍속의 다변량 시계열 데이터를 이용하는 방법을 소개한다. 또한, 본 논문에서 제안하는 다변량의 시계열 데이터의 노이즈 제거와 특징추출(Feature extraction)이 가능한 비지도 학습 기반의 LSTM-Autoencoder 모델을 적용하는 방법을 소개한다. 4장에서는 원본 데이터, 원본 데이터의 차원 축소를 통해 추출된 특징 데이터, 복원된 데이터(노이즈 제거) 총 3가지를 사용하여, 해수면 수온 예측을 위해 LSTM 모델에 생성한 데이터를 학습하고, 데이터별 예측 정확도와 성능 평가에 관한 결과를 비교하고, 해석한다. 마지막으로 5장에서는 실험 결과를 바탕으로 결론 및 향후 연구 방향에 관해 서술한다.

II. Preliminaries

1. Related works

1.1 Water Temperature Prediction

수온 예측은 수치모델, 딥러닝 기법을 활용한 수온을 예측하는 연구가 활발히 진행되고 있다. 수치모델을 이용한 수온 예측은 한국해양과학기술원(Korea Institute of Ocean Science Technology, KIOST)에서 해양순환모델(MOM5)에 HYCOM(HYbrid Coordinate Ocean Model) 해양 수치모델 자료, ARGO(The Array for Real-time Geostrophic Oceanography), World Ocean Database로부터 수집되는 다양한 현장 자료와 OISST(Optimal Interpolated Sea Surface Temperature) 등을 입력자료를 통해 산출한다[6]. 또한, 3차원 해수 유동 모델 ROMS(Regional Ocean Modeling System)과 WRF(Weather Research & Forecasting)을 이용하여 실시간 해상부이, 인공위성 수온 관측 자료를 활용하여, 수온 예측을 하였고, 9개 관측 정점 평균 RMSE 값이 0.54℃의 결과를 보여주고 있다[1]. 수치모델에 따른 수온 예측은 계산과정이 복잡하고, 연산량이 많아 고성능의 컴퓨터를 요구하고 시간이 오래 걸리는 단점이 있다.

최근에는 딥러닝을 이용한 수온을 예측하는 연구가 활발히 진행되고 있다. 기상 데이터를 활용한 LSTM 기반의 해양 혼합층 수온 예측연구에서는 해수면 온도, 중층 수온, 기온, 기압, 일조량을 조합하여 총 7개의 모델을 만들어 실험을 진행하였으며, 표층수온 데이터에 기상 데이터를 다수 입력변수로 활용한 표층수온 예측 정확도가 높은 결과가 나왔다[4]. LSTM을 이용한 한반도 근해 해수면 온도 예측을 통해 이상 수온 현상을 예측하는 연구가 진행되었고, 해수면 온도 데이터로 ECMWF, ERA5 자료를 사용하고, 학습모델로 LSTM을 이용하여, 고수온과 저수온 현상을 예측하여 1일 예측 결과 기준 RMSE 0.063 MAPE 0.646%의 결과를 얻어, 기존보다 예측이 정확해졌음을 확인하였다[5]. LSTM, ConvLSTM 딥러닝 모델을 활용하여 남해지역의 중단기 해수면 수온 예측과 고수온 해역 탐지를 시도하였으며, ConvLSTM 모델의 RMSE 0.33℃로 기존보다 향상된 것을 확인하였으며, 중단기 모델에서 LSTM은 약 2일전, ConvLSTM은 5일전 탐지가 가능함을 확인하였다[6]. 해양관측부위 자료를 기반으로 딥러닝 기술을 활용한 해양 혼합층 수온 예측하는 연구가 진행되었고, 딥러닝 기술로는 LSTM, Bi-LSTM, GRU 기술을 사용하였으며, Bi-LSTM의 오차율이 가장 낮게 나왔으며, GRU의 성능 대비 학습시간이 가장 빠르게 나타난 결과를 보여, 기존 LSTM 모델보다 수온 예측 성능이 향상된 것을 확인하였다[7].

1.2 Autoencoder Approach

Autoencoder(AE)를 이용하여 딥러닝 모델에서 특징 추출, 노이즈 제거(데이터 복원), 이상치 감지 총 3가지를 위해 사용한다. AE를 이용하여 특징추출 정보를 활용한 연구는 비선형적이고 긴 간격의 다변량의 시계열 예측 문제에서 LSTM-SAE(Stacked AutoEncoder)를 이용하여, 중국의 미세먼지 농도 데이터에 대해 상관 변수의 특징추출을 통해 기존 LSTM 모델 오차율이 RMSE 기준 약 6%의 성능이 향상된 것을 확인하였다[8,11]. 인도의 루치 대두 재고 예측에서는 AE를 통해 다변수의 시계열 데이터에서 시간적 종속성과 패턴을 모두 파악하여, 정확한 예측이 가능한 것을 확인하였다[9]. 골격 기반 이상 보행 인식에서 AE를 통해 추출된 특징을 원본 데이터와 추출된 특징 데이터를 이용하여 인식정확도 성능을 향상하는 연구 결과를 확인하였다[10].

AE의 복원된 데이터를 활용한 연구는 교통 흐름 데이터에서 누락률이 높은 데이터는 AE를 통해 누락 데이터를 효과적으로 대체하여 정확도가 향상한 것을 확인하였다[12]. AE의 이상치 감지에서는 실제 선박 운항 데이터를 활용하여 시계열성을 고려하여 LSTM-AE를 통해 특징추출과 이상치 검출을 통해 선박 고장 진단 및 유지보수 시점 예측이 가능한 것을 확인하였고[13], 스마트팜에 설치된 온도 센서의 이상을 탐지하기 위해 LSTM-AE에 온도 센서의 정상 데이터를 기반으로 학습하여 임계값 설정을 통해 이상치 탐지에 적합한 모델임을 확인하였다[14].

이처럼 기존 연구는 LSTM, Bi-LSTM 등 딥러닝 기술을 이용한 수온 예측이 있었지만, LSTM-AE를 이용하여 다변량 시계열 데이터 예측에서 우수한 성능을 보인 LSTM-AE를 이용하여 다변량의 시계열 데이터의 시간적인 정보와 각 변수 간의 특징추출을 통한 수온 예측 연구가 필요하다.

2. Technical Algorithms

2.1 LSTM

LSTM(Long Short-Term Memory)은 순환 신경망(RNN)의 한 종류로, RNN의 학습 과정에서 Parameter의 업데이트 문제를 해결하여, 장기적인 의존성을 학습할 수 있는 신경망 모델로, 시계열 데이터와 순차적인 정보를 처리하는데 특화되어있다. LSTM 모델의 구조는 Fig 1과 같이 입력 게이트(Input gate), 삭제 게이트(Forget gate), 셀 상태(Cell state), 출력 게이트(Output gate), 역전파 알고리즘으로 이루어져 있다[15].

Fig. 1. LSTM Network Structure

2.2 Autoencoder(AE)

AE는 입력 데이터의 표현을 차원 축소를 통해 효율적으로 학습할 수 있는 비지도 학습 신경망 모델이다[8]. Fig 2와 같이 입력(input) 레이어, 히든(hidden) 레이어, 출력(output) 레이어로 구성되어 있으며, encoder 단계에서는 입력의 압축된 표현(잠재 변수)으로 변환하고, decoder 단계에서는 encoder 단계 동안 압축된 표현으로부터 입력 데이터를 복원한다. AE는 입력과 복원된 출력과의 차이를 계산하여, 손실값을 최소화하도록 학습한다. AE는 노이즈 제거, 특징추출, 이상치 감지 등에 주로 사용되고 있다.

Fig. 2. Autoencoder Structure

2.3 LSTM based Autoencoder(LSTM-AE)

LSTM 기반 AE는 AE와 유사한 구조로 되어 있으나, Fig 3과 같이 LSTM 레이어를 사용하는 것이 특징이다. LSTM-AE 모델은 긴 입력 sequence 데이터를 기억할 수 있는 메모리 셀을 이용하여, 인접한 기간의 복잡하고, 동적인 입력 sequence 데이터를 학습할 수 있는 특징이 있다[9].

Fig. 3. LSTM based Autoencoder Structure

III. The Proposed Method

1. Research Data

냉수대 현상이 발생한 Fig 4의 동해 낙산지역의 해상관측 부이에서 2019~2021년 30분 단위로 수온(wtem), 풍속(wspd), 풍향(wdir), 기온(atem), 기압(pres), 염분(salt), 유의파고(wsgn), 유의파주기(wprd), 최대파고(hmax), 최대파 주기(tmax) 총 10가지의 다변량 시계열 데이터를 한국해양과학기술원(KIOST)로부터 제공받아 연구를 진행하였다.

Fig. 4. Data Resources from Naksan Buoy

해상관측부이에서 측정한 데이터는 측정 센서, 통신 오류 등 다양한 원인으로 측정되지 않은 관측치가 없는 상태의 결측 데이터가 약 2,500건이 존재한다. 시계열 데이터 특성상 결측값 대체하는데, 주로 사용하는 방법은 결측 이전값과 이후값의 평균 또는 선형보간법을 이용한다. 수온은 계절의 영향을 받으며, 수온 연구에서 결측치를 처리하는 선형보간법을 사용하여 결측값을 대체하였다[4]. Fig 5는 결측값을 처리하기 전 수온 데이터 그래프이며, Fig 6는 결측값을 처리한 후 수온 데이터 그래프이다.

Fig. 5. Before correction of Water temperature Data Graph

Fig. 6. After correction of Water temperature Data Graph

해수면 수온 변화를 예측하기 위해 수온과의 상관관계 분석을 위해 Pearson 상관관계분석을 이용하여, 수온과 상관관계가 있는 특징을 선별한 결과 기온이 0.79로 가장 높게 나타난 것을 Fig 7에서 확인하였다. 수온 예측을 위해 기온을 특성으로 추가하였다.

Fig. 7. Feature-correlation Analysis with Water Temperature

또한, 동해 냉수대 장기 변동성 분석을 통해 냉수대 현상이 풍향과 풍속에 영향이 있다는 연구 결과에 따라[2], 수온, 기온, 풍향, 풍속 총 4가지의 다변량 시계열 데이터를 선정하였다. 풍향은 sin과 cos 함수를 사용하여, 풍향 각도를 연속적이고, 주기적인 표현으로 변환하였고, 총 5가지의 다변량 시계열 데이터를 활용하였다. Fig 9는 학습과 평가를 위해 사용할 다변량 시계열 데이터이다.

2. LSTM-AE Water Temperature Prediction Model

해상관측 부이에서 관측된 데이터가 30분 단위로 데이터가 수집되므로, sequence 길이를 96(24(시간) x 2(30분간격) x 2(일수))으로 설정하였다. Fig 8과 같이 수온을 포함한 5가지 특성의 시계열 데이터를 LSTM-AE 모델에 넣게 된다. LSTM-AE는 인코더에서 3개의 layers(128, 64, 32), Latent Space, 디코더(32, 64, 128)에서 3개의 레이어들로 구성되어 있다. 디코더는 수온을 포함한 5개의 데이터를 입력받아, Latent Space에서 특징을 추출하기 위해 차원을 축소하는 작업을 수행한다. 디코더는 인코더에서 차원 축소를 통해 특징 추출된 데이터를 기반으로 원본 데이터와 유사하게 복원된 데이터를 출력하게 된다. Fig 10은 LSTM-AE 모델의 구조를 상세하게 나타내며, 입력 데이터와 복원된 데이터가 같은 데이터 구조로 복원된 것을 확인할 수 있다.

Fig. 8. LSTM Sea Surface Water Temperature Prediction Model using LSTM-AE

Fig. 9. Multivariate Time Series Data for Water Temperature Prediction

Fig. 10. Structure of LSTM-AE Model

IV. Experiment

해수면 수온 학습과 예측을 위해 2019~2020년의 데이터를 학습 데이터로 사용하였으며, 데이터의 건수는 35,088건이고, 2021년 데이터를 테스트 데이터로 사용하였으며, 데이터 건수는 17,472건이다. 실험을 위해서 총 3가지의 데이터(원본, 원본+특징추출, 복원)을 같은 LSTM 모델에 데이터를 넣어 학습과 테스트를 진행하였다. 시계열 예측 문제에서 예측 정확도와 예측 성능 평가를 위해 주로 사용하는 평균절대오차(Mean Absolute Error, MAE), 평균 제곱근 오차(Root Mean Squared Error, RMSE), 평균 절대 비율 오차(Mean Absolute Percentage Error, MAPE) 3가지를 사용하고[8], 이에 관한 수식은 수식 1, 2, 3과 같다.

\(\begin{aligned}M A E=\frac{\sum|y-\hat{y}|}{n}\end{aligned}\)       (1)

\(\begin{aligned}R M S E=\sqrt{\frac{\sum_{i=1}^{n}(y-\hat{y})^{2}}{n}}\end{aligned}\)       (2)

\(\begin{aligned}M A P E=\frac{100}{n} \sum_{i=1}^{n}\left|\frac{y-\hat{y}}{y}\right|\end{aligned}\)       (3)

데이터별 해수면 수온 예측을 실험한 결과는 Table 1과 같다. AE+LSTM(Feature Extraction)이 MAE 0.3652, RMSE 0.5604, MAPE 3.309%의 결과로, 가장 성능이 높게 나왔다. AE+LSTM(Feature Extraction)은 다변량의 시계열 데이터에서 AE를 이용하여 각 변수 간의 특징정보를 추출하고, LSTM으로 학습할 때, 특징정보가 반영된 데이터를 시계열 데이터의 입력변수로 적용함에 따라, LSTM 모델의 학습이 적합하게 되어, 우수한 성능을 보이는 것을 확인할 수 있다. AE+LSTM(Reconstruction)은 원본 데이터에 있는 이상치를 제거하기 위해 실험을 하였고, MAE 1.0678, RMSE 1.4461, MAPE 9.635%의 결과가 나와서 원본 데이터보다 결과가 낮아, 수온 예측에서 이상치 제거를 위해 사용하기에는 부적합해 보였다.

Table 1. Result of Water Temperature Prediction

Fig 12에서는 데이터별 해수면 수온 예측을 실제 데이터와 예측 데이터를 그래프로 비교한 것이다. (a), (b), (c)는 AE+LSTM(Reconstruction)의 결과이며, (d), (e), (f)는 원본 데이터를 LSTM 모델을 통해 예측한 결과이며, (g), (h), (i)는 AE+LSTM(Feature Extraction)의 결과를 나타낸 것이다. (a), (d), (g)는 데이터별 실제 데이터에 대한 예측 데이터이고, (b). (e), (h)는 데이터별 실제 데이터와 예측 데이터를 비교하기 위해 동시에 표시한 것이다. (c), (f), (i)는 특정 시점으로부터 약 30일간의 실제 데이터와 예측 데이터를 동시에 표시하여, 짧은 구간에서 예측 결과를 확인하기 위함이다. Fig 12의 그래프에서 보듯이 AE+LSTM(Feature Extraction)의 (g), (h), (i)의 그래프가 실제 데이터에 가장 유사하게 예측되는 것을 확인할 수 있다.

Fig. 11. Structure of LSTM Model(Feature Extraction)

Fig. 12. Comparison of Actual Data vs Predicted Data for each data

V. Conclusions

본 연구에서는 AE의 비지도 학습 기반의 노이즈 제거와 특징추출이 가능하다는 점에 주목하여, 해상관측부이에서 수집된 다변량의 시계열 데이터를 이용하여 LSTM을 이용한 수온 예측에 관한 연구를 진행하였다. LSTM-AE 모델에서 원본 데이터의 차원 축소를 통해 특징을 추출한 데이터를 원본 데이터와 결합하여 LSTM 모델의 학습 데이터로 적용한 결과 MAE 0.3652, RMSE 0.5604, MAPE 3.309%의 결과가 나와 원본 데이터, 노이즈 제거를 위해 복원한 데이터를 적용한 것보다 높은 성능을 보였다. 실제 데이터와 예측 데이터를 비교한 그래프에서도 수온의 변화가 급변하는 구간에서도 실제 데이터와 가장 유사하게 예측되는 것을 확인할 수 있었다. 따라서, 다변량의 시계열 데이터인 수온 예측에서 AE의 특징추출을 통한 수온 예측 모델이 성능이 더 좋다는 결론을 내릴 수 있었다. 한편, 다변량의 시계열 데이터의 노이즈 제거를 위해 입력 데이터 대비 복원된 데이터를 사용한 결과가 가장 낮은 성능을 보여서 원하는 결과가 도출되지 않았다. 이번 연구에서는 동해 낙산지역의 해상관측부이의 데이터만을 활용하였으나, 향후, 다른 지역의 해상관측부이에서 수집된 데이터를 활용하여 수온을 예측하는 연구를 진행할 예정이다. 또한, CNN-LSTM, Bi-LSTM 등 다변량 시계열 예측에서 우수한 성능을 보이는 모델들을 적용하여 비교, 분석하는 연구를 진행할 것이다.