• 제목/요약/키워드: LSTM-RNN

검색결과 203건 처리시간 0.024초

Causal temporal convolutional neural network를 이용한 변동성 지수 예측 (Forecasting volatility index by temporal convolutional neural network)

  • 신지원;신동완
    • 응용통계연구
    • /
    • 제36권2호
    • /
    • pp.129-139
    • /
    • 2023
  • 변동성의 예측은 자산의 리스크에 대비하는 데에 중요한 역할을 하기때문에 필수적이다. 인공지능을 통하여 이러한 복잡한 특성을 지닌 변동성 예측을 시도하였는데 기존 시계열 예측에 적합하다 알려진 LSTM (1997)과 GRU (2014)은 기울기 소실로 인한 문제, 방대한 연산량의 문제, 그로 인한 메모리양의 문제 등이 존재하였다. 변동성 데이터는 비정상성(non-stationarity)과 정상성(stationarity)을 모두 가지고 있는 특성이 있으며, 자산 가격 하방 쇼크에 더 큰 폭으로 상승하는 비대칭성과 상당한 장기 기억성, 시장에 큰 사건이 발생할 때 기존의 값들에 비해 이상치라 할 수 있을 정도의 예측할 수 없는 큰 값이 발생하는 특성들이 존재한다. 이렇게 여러 가지 복잡한 특성들은 하나의 모형으로 구조화되기 어려워서 전통적인 방식의 모형으로는 변동성에 대한 예측력을 높이기 어려운 면이 있다. 이러한 문제를 해결하기 위해 1D CNN의 발전된 형태인 causal TCN (causal temporal convolutional network) 모형을 변동성 예측에 적용하고, 예측력을 최대화 할 수 있는 TCN 구조를 설계하고자 하였다. S&P 500, DJIA, Nasdaq 지수에 해당하는 변동성 지수 VIX, VXD, and VXN, 에 대하여 예측력 비교를 하였으며, TCN 모형이 RNN 계열의 모형보다도 전반적으로 예측력이 높음을 확인하였다.

선박 연료 공급 기기류의 장시간 운전 데이터의 고장 진단에 있어서 XGBoost 및 Conv1D의 예측 정확성 비교 (Comparison of Fault Diagnosis Accuracy Between XGBoost and Conv1D Using Long-Term Operation Data of Ship Fuel Supply Instruments)

  • 김형진;김광식;황세윤;이장현
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.110-110
    • /
    • 2022
  • 본 연구는 자율운항 선박의 원격 고장 진단 기법 개발의 일부로 수행되었다. 특히, 엔진 연료 계통 장비로부터 계측된 시계열 데이터로부터 상태 진단을 위한 알고리즘 구현 결과를 제시하였다. 엔진 연료 펌프와 청정기를 가진 육상 실험 장비로부터 진동 시계열 데이터 계측하였으며, 이상 감지, 고장 분류 및 고장 예측이 가능한 심층 학습(Deep Learning) 및 기계 학습(Machine Learning) 알고리즘을 구현하였다. 육상 실험 장비에 고장 유형 별로 인위적인 고장을 발생시켜 특징적인 진동 신호를 계측하여, 인공 지능 학습에 이용하였다. 계측된 신호 데이터는 선행 발생한 사건의 신호가 후행 사건에 영향을 미치는 특성을 가지고 있으므로, 시계열에 내포된 고장 상태는 시간 간의 선후 종속성을 반영할 수 있는 학습 알고리즘을 제시하였다. 고장 사건의 시간 종속성을 반영할 수 있도록 순환(Recurrent) 계열의 RNN(Recurrent Neural Networks), LSTM(Long Short-Term Memory models)의 모델과 합성곱 연산 (Convolution Neural Network)을 기반으로 하는 Conv1D 모델을 적용하여 예측 정확성을 비교하였다. 특히, 합성곱 계열의 RNN LSTM 모델이 고차원의 순차적 자연어 언어 처리에 장점을 보이는 모델임을 착안하여, 신호의 시간 종속성을 학습에 반영할 수 있는 합성곱 계열의 Conv1 알고리즘을 고장 예측에 사용하였다. 또한 기계 학습 모델의 효율성을 감안하여 XGBoost를 추가로 적용하여 고장 예측을 시도하였다. 최종적으로 연료 펌프와 청정기의 진동 신호로부터 Conv1D 모델과 XGBoost 모델의 고장 예측 성능 결과를 비교하였다

  • PDF

ProphetNet 모델을 활용한 시계열 데이터의 열화 패턴 기반 Health Index 연구 (A Study on the Health Index Based on Degradation Patterns in Time Series Data Using ProphetNet Model)

  • 원선주;김용수
    • 산업경영시스템학회지
    • /
    • 제46권3호
    • /
    • pp.123-138
    • /
    • 2023
  • The Fourth Industrial Revolution and sensor technology have led to increased utilization of sensor data. In our modern society, data complexity is rising, and the extraction of valuable information has become crucial with the rapid changes in information technology (IT). Recurrent neural networks (RNN) and long short-term memory (LSTM) models have shown remarkable performance in natural language processing (NLP) and time series prediction. Consequently, there is a strong expectation that models excelling in NLP will also excel in time series prediction. However, current research on Transformer models for time series prediction remains limited. Traditional RNN and LSTM models have demonstrated superior performance compared to Transformers in big data analysis. Nevertheless, with continuous advancements in Transformer models, such as GPT-2 (Generative Pre-trained Transformer 2) and ProphetNet, they have gained attention in the field of time series prediction. This study aims to evaluate the classification performance and interval prediction of remaining useful life (RUL) using an advanced Transformer model. The performance of each model will be utilized to establish a health index (HI) for cutting blades, enabling real-time monitoring of machine health. The results are expected to provide valuable insights for machine monitoring, evaluation, and management, confirming the effectiveness of advanced Transformer models in time series analysis when applied in industrial settings.

NLP와 BiLSTM을 적용한 조세 결정문의 분석과 예측 (Tax Judgment Analysis and Prediction using NLP and BiLSTM)

  • 이영근;박구락;이후영
    • 디지털융복합연구
    • /
    • 제19권9호
    • /
    • pp.181-188
    • /
    • 2021
  • 일반인에게 난해한 법률분야를 이해하기 쉽고 예측 가능 할 수 있도록 인공지능을 적용한 법률 서비스에 대한 연구의 중요성이 대두되고 있다. 본 연구에서는 조세심판원의 결정정보를 수집하고 데이터 처리와 자체 학습을 통한 모델을 구축하여 사용자의 질의에 맞는 답변을 예측하기 위한 시스템을 제안한다. 제안 모델은 웹크롤링을 통해서 조세 결정문의 정보 수집 및 자연어 처리과정을 통하여 유용한 데이터를 추출하고, 최적화된 산출물을 Word2Vec의 Fast Text 알고리즘을 적용하여 단어의 벡터를 생성하였다. 2017년부터 2019년까지 총 11,103건의 정보를 수집하고 분류하였으며 RNN 기술의 BiLSTM을 적용하여 자체학습을 통한 결과 예측 프로그램을 구축하여 70%정확도로 실증하였다. 향후 다양한 법률시스템으로 활용성을 기대할 수 있으며 보다 효율적인 적용을 위한 연구와 정확도 향상을 위한 연구가 계속되어야 한다.

다변수 LSTM 순환신경망 딥러닝 모형을 이용한 미술품 가격 예측에 관한 실증연구 (An Empirical Study on Prediction of the Art Price using Multivariate Long Short Term Memory Recurrent Neural Network Deep Learning Model)

  • 이지인;송정석
    • 한국콘텐츠학회논문지
    • /
    • 제21권6호
    • /
    • pp.552-560
    • /
    • 2021
  • 새로운 미술품 유통방식의 발달로 미술품의 미적 효용을 넘어 투자재로서 바라보는 시각이 활성화되고 있다. 미술품의 가격은 주식이나 채권 등과 달리 객관적 요소와 주관적 요소들이 모두 반영되어 결정되는 이질적 특성이 있기 때문에 가격 예측에 있어서 그 불확실성이 높다. 본 연구에서는 LSTM(장단기 기억) 순환신경망 딥러닝 모형을 활용하여 낙찰총액 순위 1위부터 10위까지의 한국 작가의 회화 작품을 대상으로 작가의 특성, 작품의 물리적 특성, 판매적 특성 등을 입력으로 하여 경매 낙찰가의 예측을 시도하였다. 연구 결과, 모델에 의한 예측 가격과 실제 낙찰 가격의 차이를 설명하는 RMSE 값이 0.064 수준이었으며 작가별로는 이대원 작가의 예측력이 가장 높았고, 이중섭 작가의 예측력이 가장 낮았다. 투자재로서 미술품 시장이 더욱 활성화되고 경매 낙찰 가격의 예측 수요가 높아지면서 본 연구의 결과가 활용될 수 있을 것이다.

Traffic Accident Detection Based on Ego Motion and Object Tracking

  • Kim, Da-Seul;Son, Hyeon-Cheol;Si, Jong-Wook;Kim, Sung-Young
    • 한국정보기술학회 영문논문지
    • /
    • 제10권1호
    • /
    • pp.15-23
    • /
    • 2020
  • In this paper, we propose a new method to detect traffic accidents in video from vehicle-mounted cameras (vehicle black box). We use the distance between vehicles to determine whether an accident has occurred. To calculate the position of each vehicle, we use object detection and tracking method. By the way, in a crowded road environment, it is so difficult to decide an accident has occurred because of parked vehicles at the edge of the road. It is not easy to discriminate against accidents from non-accidents because a moving vehicle and a stopped vehicle are mixed on a regular downtown road. In this paper, we try to increase the accuracy of the vehicle accident detection by using not only the motion of the surrounding vehicle but also ego-motion as the input of the Recurrent Neural Network (RNN). We improved the accuracy of accident detection compared to the previous method.

Prediction Model of Real Estate ROI with the LSTM Model based on AI and Bigdata

  • Lee, Jeong-hyun;Kim, Hoo-bin;Shim, Gyo-eon
    • International journal of advanced smart convergence
    • /
    • 제11권1호
    • /
    • pp.19-27
    • /
    • 2022
  • Across the world, 'housing' comprises a significant portion of wealth and assets. For this reason, fluctuations in real estate prices are highly sensitive issues to individual households. In Korea, housing prices have steadily increased over the years, and thus many Koreans view the real estate market as an effective channel for their investments. However, if one purchases a real estate property for the purpose of investing, then there are several risks involved when prices begin to fluctuate. The purpose of this study is to design a real estate price 'return rate' prediction model to help mitigate the risks involved with real estate investments and promote reasonable real estate purchases. Various approaches are explored to develop a model capable of predicting real estate prices based on an understanding of the immovability of the real estate market. This study employs the LSTM method, which is based on artificial intelligence and deep learning, to predict real estate prices and validate the model. LSTM networks are based on recurrent neural networks (RNN) but add cell states (which act as a type of conveyer belt) to the hidden states. LSTM networks are able to obtain cell states and hidden states in a recursive manner. Data on the actual trading prices of apartments in autonomous districts between January 2006 and December 2019 are collected from the Actual Trading Price Disclosure System of the Ministry of Land, Infrastructure and Transport (MOLIT). Additionally, basic data on apartments and commercial buildings are collected from the Public Data Portal and Seoul Metropolitan Government's data portal. The collected actual trading price data are scaled to monthly average trading amounts, and each data entry is pre-processed according to address to produce 168 data entries. An LSTM model for return rate prediction is prepared based on a time series dataset where the training period is set as April 2015~August 2017 (29 months), the validation period is set as September 2017~September 2018 (13 months), and the test period is set as December 2018~December 2019 (13 months). The results of the return rate prediction study are as follows. First, the model achieved a prediction similarity level of almost 76%. After collecting time series data and preparing the final prediction model, it was confirmed that 76% of models could be achieved. All in all, the results demonstrate the reliability of the LSTM-based model for return rate prediction.

Human Laughter Generation using Hybrid Generative Models

  • Mansouri, Nadia;Lachiri, Zied
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권5호
    • /
    • pp.1590-1609
    • /
    • 2021
  • Laughter is one of the most important nonverbal sound that human generates. It is a means for expressing his emotions. The acoustic and contextual features of this specific sound are different from those of speech and many difficulties arise during their modeling process. During this work, we propose an audio laughter generation system based on unsupervised generative models: the autoencoder (AE) and its variants. This procedure is the association of three main sub-process, (1) the analysis which consist of extracting the log magnitude spectrogram from the laughter database, (2) the generative models training, (3) the synthesis stage which incorporate the involvement of an intermediate mechanism: the vocoder. To improve the synthesis quality, we suggest two hybrid models (LSTM-VAE, GRU-VAE and CNN-VAE) that combine the representation learning capacity of variational autoencoder (VAE) with the temporal modelling ability of a long short-term memory RNN (LSTM) and the CNN ability to learn invariant features. To figure out the performance of our proposed audio laughter generation process, objective evaluation (RMSE) and a perceptual audio quality test (listening test) were conducted. According to these evaluation metrics, we can show that the GRU-VAE outperforms the other VAE models.

인공지능 기반 에너지 효율화 방안 연구: 혼합적 연구방법론 중심으로 (A Study on Energy Efficiency Plan based on Artificial Intelligence: Focusing on Mixed Research Methodology)

  • 이문범;마태영
    • 한국IT서비스학회지
    • /
    • 제21권5호
    • /
    • pp.81-94
    • /
    • 2022
  • This study sets the research goal of reducing energy consumption which 'H' University Industry-University Cooperation Foundation and resident companies are concerned with, as well as conducting policy research and data analysis. We tried to present a solution to the problem using the technique. The algorithm showing the greatest reliability in the power of the model for the analysis algorithm of this paper was selected, and the power consumption trend curves per minute and hour were confirmed through predictive analysis while applying the algorithm, as well as confirming the singularity of excessive energy consumption. Through an additional sub-sensor analysis, the singularity of energy consumption of the unit was identified more precisely in the facility rather than in the building unit. Through this, this paper presents a system building model for real-time monitoring of campus power usage, and expands the data center and model for implementation. Furthermore, by presenting the possibility of expanding the field through research on the integration of mobile applications and IoT hardware, this study will provide school authorities and resident companies with specific solutions necessary to continuously solve data-based field problems.

적대적 생성 신경망을 이용한 레이더 기반 초단시간 강우예측 기법 개발 (Development of radar-based nowcasting method using Generative Adversarial Network)

  • 윤성심;신홍준
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.64-64
    • /
    • 2022
  • 이상기후로 인해 돌발적이고 국지적인 호우 발생의 빈도가 증가하게 되면서 짧은 선행시간(~3 시간) 범위에서 수치예보보다 높은 정확도를 갖는 초단시간 강우예측자료가 돌발홍수 및 도시홍수의 조기경보를 위해 유용하게 사용되고 있다. 일반적으로 초단시간 강우예측 정보는 레이더를 활용하여 외삽 및 이동벡터 기반의 예측기법으로 산정한다. 최근에는 장기간 레이더 관측자료의 확보와 충분한 컴퓨터 연산자원으로 인해 레이더 자료를 활용한 인공지능 심층학습 기반(RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), Conv-LSTM 등)의 강우예측이 국외에서 확대되고 있고, 국내에서도 ConvLSTM 등을 활용한 연구들이 진행되었다. CNN 심층신경망 기반의 초단기 예측 모델의 경우 대체적으로 외삽기반의 예측성능보다 우수한 경향이 있었으나, 예측시간이 길어질수록 공간 평활화되는 경향이 크게 나타나므로 고강도의 뚜렷한 강수 특징을 예측하기 힘들어 예측정확도를 향상시키는데 중요한 소규모 기상현상을 왜곡하게 된다. 본 연구에서는 이러한 한계를 보완하기 위해 적대적 생성 신경망(Generative Adversarial Network, GAN)을 적용한 초단시간 예측기법을 활용하고자 한다. GAN은 생성모형과 판별모형이라는 두 신경망이 서로간의 적대적인 경쟁을 통해 학습하는 신경망으로, 데이터의 확률분포를 학습하고 학습된 분포에서 샘플을 쉽게 생성할 수 있는 기법이다. 본 연구에서는 2017년부터 2021년까지의 환경부 대형 강우레이더 합성장을 수집하고, 강우발생 사례를 대상으로 학습을 수행하여 신경망을 최적화하고자 한다. 학습된 신경망으로 강우예측을 수행하여, 국내 기상청과 환경부에서 생산한 레이더 초단시간 예측강우와 정량적인 정확도를 비교평가 하고자 한다.

  • PDF