• 대기
• /
• 제31권1호
• /
• pp.73-83
• /
• 2021

Numerical weather prediction (NWP) models play an essential role in predicting weather factors, but using them is challenging due to various factors. To overcome the difficulties of NWP models, deep learning models have been deployed in weather forecasting by several recent studies. This study adapts long short-term memory (LSTM), which demonstrates remarkable performance in time-series prediction. The combination of LSTM model input of meteorological features and activation functions have a significant impact on the performance therefore, the results from 5 combinations of input features and 4 activation functions are analyzed in 9 Automated Surface Observing System (ASOS) stations corresponding to cities/islands/mountains. The optimized LSTM model produces better performance within eight forecast hours than Local Data Assimilation and Prediction System (LDAPS) operated by Korean meteorological administration. Therefore, this study illustrates that this LSTM model can be usefully applied to very short-term weather forecasting, and further studies about CNN-LSTM model with 2-D spatial convolution neural network (CNN) coupled in LSTM are required for improvement.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.226-226
• /
• 2023

하천유량, 댐유입량 등을 예측하기 위해 다양한 Long Short-Term Memory (LSTM) 방법들이 활발하게 적용 및 개발되고 있다. 최근 연구들은 s2s (sequence-to-sequence), Attention 기법 등을 통해 LSTM의 성능을 개선할 수 있음을 제시하고 있다. 이에 따라 본 연구에서는 LSTM-s2s와 LSTM-s2s에 attention까지 첨가한 모델을 구축하고, 시간 단위 자료를 사용하여 유입량 예측을 수행하여, 이의 실제 댐 운영에 모델들의 활용 가능성을 확인하고자 하였다. 소양강댐 유역을 대상으로 2013년부터 2020년까지의 유입량 시자료와 종관기상관측기온 및 강수량 데이터를 학습, 검증, 평가로 나누어 훈련한 후, 모델의 성능 평가를 진행하였다. 최적 시퀀스 길이를 결정하기 위해 R², RRMSE, CC, NSE, 그리고 PBIAS을 사용하였다. 분석 결과, LSTM-s2s 모델보다 attention까지 첨가한 모델이 전반적으로 성능이 우수했으며, attention 첨가 모델이 첨두값 예측에서도 높은 정확도를 보였다. 두 모델 모두 첨두값 발생 동안 유량 패턴을 잘 반영하였지만 세밀한 시간 단위 변화량 패턴 모의에는 한계가 있었다. 시간 단위 예측의 한계에도 불구하고, LSTM-s2s에 attention까지 추가한 모델은 향후 댐유입량 예측에 활용될 수 있을 것으로 판단한다.

• 한국컴퓨터정보학회논문지
• /
• 제28권1호
• /
• pp.17-26
• /
• 2023

본 연구논문에서는 LSTM 기반의 학습 모델 적용과 그 효용성을 높일 수 있도록 몇 가지 평활 기법을 비교, 적용하고자 한다. 적용된 평활 기법은 Savitky-Golay, 지수 평활법, 가중치 이동 평균 등이다. 본 연구를 통해 비트코인 데이터에 LSTM모델 적용 시 보여준 결과 값보다 전처리 과정에서 적용된 Savitky-Golay 필터가 적용된 LSTM 알고리즘이 예측 성능에 유의미한 좋은 결과를 보였다. 예측 성능 결과를 확인하기 위해 비트코인 가격 예측에 따른 복잡 요인을 제거하는데 사용된 LSTM의 경우와 Savitzky-Golay LSTM 모델에 따른 학습 손실율과 검증 손실율을 비교하고 그 신뢰성을 높일 수 있도록 20회 평균값으로 실험하였다. 그 결과 (3.0556, 0.00005), (1.4659, 0.00002)의 값을 얻을 수 있었다. 결과적으로는 비트코인과 같은 암호화폐가 주식보다 더한 변동성을 가지는 만큼 데이터 전처리 과정에서 평활 기법(Savitzky-Golay)을 적용하여 잡음(Noise)을 제거하였으며, 전처리 후의 데이터는 LSTM 신경망 학습을 통해서 비트코인 예측률을 높이는데 가장 유의미한 결과를 얻을 수 있었다.

• 한국항행학회논문지
• /
• 제21권4호
• /
• pp.365-370
• /
• 2017

본 연구는 전력수요 패턴이 다른 평일과 특수일 데이터가 가지는 상관관계를 분석하여, 별도의 데이터 셋을 구축하고, 각 데이터 셋에 적합한 딥 러닝 네트워크를 이용하여, 전력수요예측 오차를 감소하는 방안을 제시하였다. 또한, 기본적인 전력수요 예측요소인 기상요소에 환경요소, 구분요소 등 다양한 예측요소를 추가하여 예측율을 향상하는 방안을 제시하였다. 전체데이터는 시계열 데이터 학습에 적합한 LSTM을 이용하여 전력수요예측을 하였으며, 특수일 데이터는 DNN을 이용하여 전력수요예측을 하였다. 실험결과 기상요소 이외의 예측요소 추가를 통해 예측율이 향상되었다. 전체 데이터 셋의 평균 RMSE는 LSTM이 0.2597이며, DNN이 0.5474로 LSTM이 우수한 예측율을 보였다. 특수일 데이터 셋의 평균 RMSE는 0.2201로 DNN이 LSTM보다 우수한 예측율을 보였다. 또한, 전체 데이터 셋의 LSTM의 MAPE는 2.74 %이며, 특수 일의 MAPE는 3.07 %를 나타냈다.

• 한국빅데이터학회지
• /
• 제5권1호
• /
• pp.1-9
• /
• 2020

이 연구는 2018년도 정부(농림축산식품부)의 재원으로 농림식품기술기획평가원 지원을 받아 수행된 연구이다. 최근 시계열 및 텍스트 마이닝에서 활발히 사용되는 모델은 딥러닝(Deep Learning) 모델 구조를 활용한 LSTM(Long Short-Term Memory models) 모델이다. LSTM 모델은 RNN의 BPTT(Backpropagation Through Time) 과정에서 발생하는 Long-Term Dependency Problem을 해결하기 위해 등장한 모델이다. LSTM 모델은 가변적인 Sequence data를 활용하여 예측하는 문제를 굉장히 잘 해결했고, 지금도 널리 사용되고 있다. 본 논문 연구에서는 KT가 제공하는 CDR(Call Detailed Record) 데이터를 활용하여 바이러스와 밀접한 관계가 있을 것으로 예측되는 사람의 이동 경로를 파악하였다. 해당 사람의 경로를 활용하여 LSTM 모델을 학습시켜 이동 경로를 예측한 결과를 소개한다. 본 연구 결과를 활용하여 HPAI가 전파되는 경로를 예측하여 방역에 중점을 둘 경로 또는 지역을 선정해 HPAI 확산을 줄이는 데 이용될 수 있을 것이다.

• 한국컴퓨터정보학회논문지
• /
• 제27권8호
• /
• pp.23-30
• /
• 2022

딥러닝은 주가 및 농산물 가격 예측과 같이 데이터를 분석해 일련의 규칙을 발견하고 미래를 예상해 우리의 삶에서 다양한 도움을 주고 있다. 본 연구는 태양광 에너지 사용의 중요성이 늘어나는 상황에서 기상에 따른 태양광 발전 실적을 딥러닝을 통해 분석하고 발전량을 예측한다. 본 연구에서는 시계열 데이터 예측에서 두각을 나타내고 있는 LSTM(Long Short Term Memory network)을 사용한 모델을 제안하며 이미지를 비롯한 다양한 차원의 데이터를 분석할 때 사용되는 CNN(Convolutional Neural Network)과 두 모델을 결합한 CNN-LSTM과의 성능을 비교한다. 세 가지 모델의 성능은 태양광 발전 실적의 실제값과 딥러닝을 통해 예측한 값으로 MSE, RMSE, 결정계수를 계산하여 비교하였고 그 결과 LSTM 모델의 성능이 가장 우수한 것으로 나타났다. 따라서 본 연구는 LSTM을 사용한 태양광 발전량 예측을 제안한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.159-162
• /
• 2017

Long Short-Term Memory Recurrent Neural Network(LSTM RNN)는 순차 데이터 모델링에 적합한 딥러닝 모델이다. Bidirectional LSTM RNN(BiLSTM RNN)은 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN을 입력 데이터의 양 방향에 적용시킨 것으로 입력 열의 모든 정보를 볼 수 있는 장점이 있어 자연어처리를 비롯한 다양한 분야에서 많이 사용되고 있다. Highway Network는 비선형 변환을 거치지 않은 입력 정보를 히든레이어에서 직접 사용할 수 있게 LSTM 유닛에 게이트를 추가한 딥러닝 모델이다. 본 논문에서는 Highway Network를 한국어 의미역 결정에 적용하여 기존 연구 보다 더 높은 성능을 얻을 수 있음을 보인다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.99-101
• /
• 2016

문자 기반 LSTM CRF는 개체명 인식에서 높은 인식을 보여주고 있는 LSTM-CRF 방식에서 미등록어 문제를 해결하기 위해 단어 단위의 임베딩 뿐만 아니라 단어를 구성하는 문자로부터 단어 임베딩을 합성해 내는 방식으로 기존의 LSTM CRF에서의 성능 향상을 가져왔다. 한편, 개체명 인식에서 어휘 사전은 성능향상을 위한 외부 리소스원으로 활용하고 있는데 다양한 사전 매칭 방법이 파생될 수 있음에도 이들 자질들에 대한 비교 연구가 이루어지지 않았다. 본 논문에서는 개체명 인식을 위해 다양한 사전 매칭 자질들을 정의하고 이들을 LSTM-CRF의 입력 자질로 활용했을 때의 성능 비교 결과를 제시한다. 실험 결과 사전 자질이 추가된 LSTM-CRF는 ETRI 개체명 말뭉치의 학습데이터에서 F1 measure 기준 최대 89.34%의 성능까지 달성할 수 있었다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.105-110
• /
• 2016

개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서는 bidirectional LSTM CRFs가 가장 우수한 성능을 보여주고 있다. 하지만 LSTM 기반의 딥 러닝 모델은 입력이 되는 단어 표상에 의존적이기 때문에 입력이 되는 단어 표상을 확장하는 방법에 대한 연구가 많이 진행되어지고 있다. 본 논문에서는 한국어 개체명 인식을 위하여 bidirectional LSTM CRFs모델을 사용하고, 그 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 그리고 음절 기반에서 확장된 단어 임베딩 벡터를 사용한다. 음절 기반에서 단어 기반 임베딩 벡터로 확장하기 위하여 bidirectional LSTM을 이용하고, 그 입력으로 학습 데이터에서 추출한 개체명 분포를 이용하였다. 그 결과 사전 학습된 단어 임베딩 벡터만 사용한 것보다 4.93%의 성능 향상을 보였다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.159-162
• /
• 2017

Long Short-Term Memory Recurrent Neural Network(LSTM RNN)는 순차 데이터 모델링에 적합한 딥러닝 모델이다. Bidirectional LSTM RNN(BiLSTM RNN)은 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN을 입력 데이터의 양 방향에 적용시킨 것으로 입력 열의 모든 정보를 볼 수 있는 장점이 있어 자연어처리를 비롯한 다양한 분야에서 많이 사용되고 있다. Highway Network는 비선형 변환을 거치지 않은 입력 정보를 히든레이어에서 직접 사용할 수 있게 LSTM 유닛에 게이트를 추가한 딥러닝 모델이다. 본 논문에서는 Highway Network를 한국어 의미역 결정에 적용하여 기존 연구 보다 더 높은 성능을 얻을 수 있음을 보인다.