• 제목/요약/키워드: LSTM-RNN

검색결과 205건 처리시간 0.031초

Long Short-Term Memory를 활용한 건화물운임지수 예측 (Prediction of Baltic Dry Index by Applications of Long Short-Term Memory)

  • 한민수;유성진
    • 품질경영학회지
    • /
    • 제47권3호
    • /
    • pp.497-508
    • /
    • 2019
  • Purpose: The purpose of this study is to overcome limitations of conventional studies that to predict Baltic Dry Index (BDI). The study proposed applications of Artificial Neural Network (ANN) named Long Short-Term Memory (LSTM) to predict BDI. Methods: The BDI time-series prediction was carried out through eight variables related to the dry bulk market. The prediction was conducted in two steps. First, identifying the goodness of fitness for the BDI time-series of specific ANN models and determining the network structures to be used in the next step. While using ANN's generalization capability, the structures determined in the previous steps were used in the empirical prediction step, and the sliding-window method was applied to make a daily (one-day ahead) prediction. Results: At the empirical prediction step, it was possible to predict variable y(BDI time series) at point of time t by 8 variables (related to the dry bulk market) of x at point of time (t-1). LSTM, known to be good at learning over a long period of time, showed the best performance with higher predictive accuracy compared to Multi-Layer Perceptron (MLP) and Recurrent Neural Network (RNN). Conclusion: Applying this study to real business would require long-term predictions by applying more detailed forecasting techniques. I hope that the research can provide a point of reference in the dry bulk market, and furthermore in the decision-making and investment in the future of the shipping business as a whole.

A SE Approach for Real-Time NPP Response Prediction under CEA Withdrawal Accident Conditions

  • Felix Isuwa, Wapachi;Aya, Diab
    • 시스템엔지니어링학술지
    • /
    • 제18권2호
    • /
    • pp.75-93
    • /
    • 2022
  • Machine learning (ML) data-driven meta-model is proposed as a surrogate model to reduce the excessive computational cost of the physics-based model and facilitate the real-time prediction of a nuclear power plant's transient response. To forecast the transient response three machine learning (ML) meta-models based on recurrent neural networks (RNNs); specifically, Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU), and a sequence combination of Convolutional Neural Network (CNN) and LSTM are developed. The chosen accident scenario is a control element assembly withdrawal at power concurrent with the Loss Of Offsite Power (LOOP). The transient response was obtained using the best estimate thermal hydraulics code, MARS-KS, and cross-validated against the Design and control document (DCD). DAKOTA software is loosely coupled with MARS-KS code via a python interface to perform the Best Estimate Plus Uncertainty Quantification (BEPU) analysis and generate a time series database of the system response to train, test and validate the ML meta-models. Key uncertain parameters identified as required by the CASU methodology were propagated using the non-parametric Monte-Carlo (MC) random propagation and Latin Hypercube Sampling technique until a statistically significant database (181 samples) as required by Wilk's fifth order is achieved with 95% probability and 95% confidence level. The three ML RNN models were built and optimized with the help of the Talos tool and demonstrated excellent performance in forecasting the most probable NPP transient response. This research was guided by the Systems Engineering (SE) approach for the systematic and efficient planning and execution of the research.

군집 별 표준곡선 매개변수를 이용한 치밀오일 생산성 예측 순환신경망 모델 (Recurrent Neural Network Model for Predicting Tight Oil Productivity Using Type Curve Parameters for Each Cluster)

  • 한동권;김민수;권순일
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.297-299
    • /
    • 2021
  • 치밀오일 미래 생산성 예측은 잔류오일 회수량 및 저류층 거동 분석을 위해 중요한 작업이다. 일반적으로 석유공학적 관점에서 감퇴곡선법을 이용하여 생산성 예측이 이루어지는데, 최근에는 데이터기반의 머신러닝 기법을 이용한 연구도 수행되고 있다. 본 연구에서는 딥러닝 기반 순환신경망과 LSTM, GRU 알고리즘을 이용하여 미래 생산량 예측을 위한 효과적인 모델을 제안하고자 한다. 입력변수로는 치밀오일 생산 시 산출되는 오일, 가스, 물과 이와 더불어 다양한 군집분석을 통해 산출된 표준곡선이 주요 매개변수이고, 출력변수는 월별 오일 생산량이다. 기존의 경험적 모델인 감퇴곡선법과 순환신경망 모델들을 비교하였으며, 모델의 예측성능을 향상시키기 위해 하이퍼파라미터 튜닝을 통해 최적 모델을 도출하였다.

  • PDF

LSTM 언어모델 기반 한국어 문장 생성 (LSTM Language Model Based Korean Sentence Generation)

  • 김양훈;황용근;강태관;정교민
    • 한국통신학회논문지
    • /
    • 제41권5호
    • /
    • pp.592-601
    • /
    • 2016
  • 순환신경망은 순차적이거나 길이가 가변적인 데이터에 적합한 딥러닝 모델이다. LSTM은 순환신경망에서 나타나는 기울기 소멸문제를 해결함으로써 시퀀스 구성 요소간의 장기의존성을 유지 할 수 있다. 본 논문에서는 LSTM에 기반한 언어모델을 구성하여, 불완전한 한국어 문장이 입력으로 주어졌을 때 뒤 이어 나올 단어들을 예측하여 완전한 문장을 생성할 수 있는 방법을 제안한다. 제안된 방법을 평가하기 위해 여러 한국어 말뭉치를 이용하여 모델을 학습한 다음, 한국어 문장의 불완전한 부분을 생성하는 실험을 진행하였다. 실험 결과, 제시된 언어모델이 자연스러운 한국어 문장을 생성해 낼 수 있음을 확인하였다. 또한 문장 최소 단위를 어절로 설정한 모델이 다른 모델보다 문장 생성에서 더 우수한 결과를 보임을 밝혔다.

Hybrid CNN-LSTM 알고리즘을 활용한 도시철도 내 피플 카운팅 연구 (A Study on People Counting in Public Metro Service using Hybrid CNN-LSTM Algorithm)

  • 최지혜;김민승;이찬호;최정환;이정희;성태응
    • 지능정보연구
    • /
    • 제26권2호
    • /
    • pp.131-145
    • /
    • 2020
  • 산업혁신의 흐름에 발맞추어 다양한 분야에서 활용되고 있는 IoT 기술은 빅데이터의 접목을 통한 새로운 비즈니스 모델의 창출 및 사용자 친화적 서비스 제공의 핵심적인 요소로 부각되고 있다. 사물인터넷이 적용된 디바이스에서 누적된 데이터는 사용자 환경 및 패턴 분석을 통해 맞춤형 지능 시스템을 제공해줄 수 있어 편의 기반 스마트 시스템 구축에 다방면으로 활용되고 있다. 최근에는 이를 공공영역 혁신에 확대 적용하여 CCTV를 활용한 교통 범죄 문제 해결 등 스마트시티, 스마트 교통 등에 활용하고 있다. 그러나 이미지 데이터를 활용하는 기존 연구에서는 개인에 대한 사생활 침해 문제 및 비(非)일반적 상황에서 객체 감지 성능이 저하되는 한계가 있다. 본 연구에 활용된 IoT 디바이스 기반의 센서 데이터는 개인에 대한 식별이 불필요해 사생활 이슈로부터 자유로운 데이터로, 불특정 다수를 위한 지능형 공공서비스 구축에 효과적으로 활용될 수 있다. 대다수의 국민들이 일상적으로 활용하는 도시철도에서의 지능형 보행자 트래킹 시스템에 IoT 기반의 적외선 센서 디바이스를 활용하고자 하였으며 센서로부터 측정된 온도 데이터를 실시간 송출하고, CNN-LSTM(Convolutional Neural Network-Long Short Term Memory) 알고리즘을 활용하여 구간 내 보행 인원의 수를 예측하고자 하였다. 실험 결과 MLP(Multi-Layer Perceptron) 및 LSTM(Long Short-Term Memory), RNN-LSTM(Recurrent Neural Network-Long Short Term Memory)에 비해 제안한 CNN-LSTM 하이브리드 모형이 가장 우수한 예측성능을 보임을 확인하였다. 본 논문에서 제안한 디바이스 및 모델을 활용하여 그간 개인정보와 관련된 법적 문제로 인해 서비스 제공이 미흡했던 대중교통 내 실시간 모니터링 및 혼잡도 기반의 위기상황 대응 서비스 등 종합적 메트로 서비스를 제공할 수 있을 것으로 기대된다.

River Water Level Prediction Method based on LSTM Neural Network

  • Le, Xuan Hien;Lee, Giha
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2018년도 학술발표회
    • /
    • pp.147-147
    • /
    • 2018
  • In this article, we use an open source software library: TensorFlow, developed for the purposes of conducting very complex machine learning and deep neural network applications. However, the system is general enough to be applicable in a wide variety of other domains as well. The proposed model based on a deep neural network model, LSTM (Long Short-Term Memory) to predict the river water level at Okcheon Station of the Guem River without utilization of rainfall - forecast information. For LSTM modeling, the input data is hourly water level data for 15 years from 2002 to 2016 at 4 stations includes 3 upstream stations (Sutong, Hotan, and Songcheon) and the forecasting-target station (Okcheon). The data are subdivided into three purposes: a training data set, a testing data set and a validation data set. The model was formulated to predict Okcheon Station water level for many cases from 3 hours to 12 hours of lead time. Although the model does not require many input data such as climate, geography, land-use for rainfall-runoff simulation, the prediction is very stable and reliable up to 9 hours of lead time with the Nash - Sutcliffe efficiency (NSE) is higher than 0.90 and the root mean square error (RMSE) is lower than 12cm. The result indicated that the method is able to produce the river water level time series and be applicable to the practical flood forecasting instead of hydrologic modeling approaches.

  • PDF

소셜 네트워크 서비스 데이터에서 Bi-LSTM 기반 약물 부작용 게시물 탐지 모델 연구 (A Study on Bi-LSTM-Based Drug Side Effects Post Detection Model in Social Network Service Data)

  • 이충천;이승희;송미화;이수현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.397-400
    • /
    • 2022
  • 본 연구에서는 소셜 네트워크 서비스(Social Network Service, SNS) 데이터로부터 약물 부작용 게시글을 추출하기 위한 순환 신경망(Recurrent Neural Network, RNN) 기반 분류 모델을 제안한다. 먼저, 처방 빈도가 높으며 게시글을 많이 확보할 수 있는 케토프로펜 약물에 대하여 국내 최대 소셜 네트워크 플랫폼인 네이버 블로그와 카페의 게시글(2005 년~2020 년)을 확보하고 최종 3,828 건을 분석하였다. 결과적으로 케토프로펜에 대한 3 종(약물, 부작용, 불용어)의 렉시콘을 정의하였으며 이를 기반으로 Bi-LSTM 분류모델 기준 87%의 정확도를 얻었다. 본 연구에서 제안하는 모델은 SNS 데이터가 약물 부작용 정보 획득을 위한 기존 (전자의무기록, 자발적 약물 부작용 보고 시스템 등) 자료원에 대한 보완적 정보원이 되며, 개발된 Bi-LSTM 분류모델을 통해 약물 부작용 게시글 추출의 편리성을 제공할 것으로 기대된다.

원-핫 인코딩을 이용한 딥러닝 단기 전력수요 예측모델 (Deep Learning Based Short-Term Electric Load Forecasting Models using One-Hot Encoding)

  • 김광호;장병훈;최황규
    • 전기전자학회논문지
    • /
    • 제23권3호
    • /
    • pp.852-857
    • /
    • 2019
  • 분산자원 집합 거래시장에 참여를 원하는 소비자나 사업자를 위한 가상발전소의 전력거래 플랫폼에서 사업참여자의 수요 자원을 관리하고, 이에 적절한 전략을 제공하기 위해 익일 개별 참여자의 수요와 전체 계통의 전력수요를 예측하는 것이 대단히 중요하다. 이러한 전력거래 플랫폼에서 활용하는 것을 목표로 본 논문은 우선 익일의 24시간 전력계통 전력수요예측 모델을 개발하였다. 본 논문에서는 전력수요예측 데이터의 시계열 특성을 고려하여 딥러닝 기법 중 LSTM 알고리즘을 사용하였고, 전력수요량 등의 입출력 값에 원-핫 인코딩 기법을 적용하는 새로운 시도를 하였다. 성능평가에서 일반 DNN과 본 논문에서 구현된 LSTM 예측모델은 각각 평균 제곱근 오차 4.50, 1.89를 나타내어 LSTM 모델이 예측정확도가 높게 나타났다.

Prediction Model of Real Estate Transaction Price with the LSTM Model based on AI and Bigdata

  • Lee, Jeong-hyun;Kim, Hoo-bin;Shim, Gyo-eon
    • International Journal of Advanced Culture Technology
    • /
    • 제10권1호
    • /
    • pp.274-283
    • /
    • 2022
  • Korea is facing a number difficulties arising from rising housing prices. As 'housing' takes the lion's share in personal assets, many difficulties are expected to arise from fluctuating housing prices. The purpose of this study is creating housing price prediction model to prevent such risks and induce reasonable real estate purchases. This study made many attempts for understanding real estate instability and creating appropriate housing price prediction model. This study predicted and validated housing prices by using the LSTM technique - a type of Artificial Intelligence deep learning technology. LSTM is a network in which cell state and hidden state are recursively calculated in a structure which added cell state, which is conveyor belt role, to the existing RNN's hidden state. The real sale prices of apartments in autonomous districts ranging from January 2006 to December 2019 were collected through the Ministry of Land, Infrastructure, and Transport's real sale price open system and basic apartment and commercial district information were collected through the Public Data Portal and the Seoul Metropolitan City Data. The collected real sale price data were scaled based on monthly average sale price and a total of 168 data were organized by preprocessing respective data based on address. In order to predict prices, the LSTM implementation process was conducted by setting training period as 29 months (April 2015 to August 2017), validation period as 13 months (September 2017 to September 2018), and test period as 13 months (December 2018 to December 2019) according to time series data set. As a result of this study for predicting 'prices', there have been the following results. Firstly, this study obtained 76 percent of prediction similarity. We tried to design a prediction model of real estate transaction price with the LSTM Model based on AI and Bigdata. The final prediction model was created by collecting time series data, which identified the fact that 76 percent model can be made. This validated that predicting rate of return through the LSTM method can gain reliability.

Evaluation of Recurrent Neural Network Variants for Person Re-identification

  • Le, Cuong Vo;Tuan, Nghia Nguyen;Hong, Quan Nguyen;Lee, Hyuk-Jae
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제6권3호
    • /
    • pp.193-199
    • /
    • 2017
  • Instead of using only spatial features from a single frame for person re-identification, a combination of spatial and temporal factors boosts the performance of the system. A recurrent neural network (RNN) shows its effectiveness in generating highly discriminative sequence-level human representations. In this work, we implement RNN, three Long Short Term Memory (LSTM) network variants, and Gated Recurrent Unit (GRU) on Caffe deep learning framework, and we then conduct experiments to compare performance in terms of size and accuracy for person re-identification. We propose using GRU for the optimized choice as the experimental results show that the GRU achieves the highest accuracy despite having fewer parameters than the others.