• 제목/요약/키워드: LSTM Algorithm

검색결과 200건 처리시간 0.026초

딥러닝 알고리즘 MLP 및 LSTM을 활용한 제주도 지하수위 예측 (Prediction of Groundwater Level in Jeju Island Using Deep Learning Algorithm MLP and LSTM)

  • 강다영;변규현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.206-206
    • /
    • 2022
  • 제주도는 투수성이 좋은 대수층이 발달한 화산섬으로 지하수가 가장 중요한 수자원이다. 인위적 요인과 기후변화로 인해 제주도의 지하수위가 저하하는 추세를 보이고 있음에 따라 지하수의 적정 관리를 위해 지하수위의 정확하고 장기적인 예측이 매우 중요하다. 다양한 환경적인 요인이 지하수의 함양 및 수위에 영향을 미치는 것으로 알려져 있지만, 제주도의 특징적인 기상인자가 지하수 시스템에 어떻게 영향을 미치는지를 파악하기 위한 연구는 거의 진행되지 않았다. 지하수위측에 있어서 물리적 모델을 이용한 방안은 다양한 조건에 의해 변화하는 지하수위의 정확하고 빠른 예측에 한계가 있는 것으로 알려져 있다. 이에 본 연구에서는 제주도 애월읍과 남원읍에 위치한 지하수위 관측정의 일 수위자료와 강수량, 온도, 강설량, 풍속, VPD의 다양한 기상 자료를 대상으로 인공신경망 알고리즘인 다층 퍼셉트론(MLP)와 Long Short Term Memory(LSTM)에 기반한 표준지하수지수(SGI) 예측 모델을 개발하였다. MLP와 LSTM의 표준지하수지수(SGI) 예측결과가 상당히 유사한 것으로 나타났으며 MLP과 LSTM 예측모델의 결정계수(R2)는 애월읍의 경우 각각 0.98, 남원읍의 경우 각각 0.96으로 높은 값을 보였다. 본 연구에서 개발한 지하수위 예측모델을 통해 효율적인 운영과 정밀한 지하수위 예측이 가능해질 것이며 기후변화 대응을 위한 지속가능한 지하수자원 관리 방안 마련에 도움을 줄 것이라 판단된다.

  • PDF

Servo control strategy for uni-axial shake tables using long short-term memory networks

  • Pei-Ching Chen;Kui-Xing Lai
    • Smart Structures and Systems
    • /
    • 제32권6호
    • /
    • pp.359-369
    • /
    • 2023
  • Servo-motor driven uniaxial shake tables have been widely used for education and research purposes in earthquake engineering. These shake tables are mostly displacement-controlled by a digital proportional-integral-derivative (PID) controller; however, accurate reproduction of acceleration time histories is not guaranteed. In this study, a control strategy is proposed and verified for uniaxial shake tables driven by a servo-motor. This strategy incorporates a deep-learning algorithm named Long Short-Term Memory (LSTM) network into a displacement PID feedback controller. The LSTM controller is trained by using a large number of experimental data of a self-made servo-motor driven uniaxial shake table. After the training is completed, the LSTM controller is implemented for directly generating the command voltage for the servo motor to drive the shake table. Meanwhile, a displacement PID controller is tuned and implemented close to the LSTM controller to prevent the shake table from permanent drift. The control strategy is named the LSTM-PID control scheme. Experimental results demonstrate that the proposed LSTM-PID improves the acceleration tracking performance of the uniaxial shake table for both bare condition and loaded condition with a slender specimen.

LSTM 순환 신경망을 이용한 재료의 단축하중 하에서의 응력-변형률 곡선 예측 연구 (Prediction of the Stress-Strain Curve of Materials under Uniaxial Compression by Using LSTM Recurrent Neural Network)

  • 변훈;송재준
    • 터널과지하공간
    • /
    • 제28권3호
    • /
    • pp.277-291
    • /
    • 2018
  • 이 논문에서는 재료의 단축하중 하에서의 응력-변형률 곡선을 예측하기 위하여 순환 신경망의 일종인 LSTM(Long Short-Term Memory) 알고리즘을 사용하였다. 석고와 규사를 혼합해 만든 재료에 일축압축시험을 수행하여 얻은 응력-변형률 데이터를 이용하였으며, 낮은 응력 구간의 초반 데이터를 활용해서 파괴 전까지의 거동을 예측하였다. 앞부분의 데이터를 활용하여 단계적으로 뒤쪽 구간의 값을 예측하는 LSTM 순환 신경망의 구조상 큰 응력에 대응하는 변형률을 예측할 경우에는 앞쪽 구간의 오차가 누적되어 실측값과 차이가 늘어났으나 전반적으로 높은 정확도로 응력-변형률 곡선을 예측하였다. 예측에 사용한 초기 데이터의 길이가 늘어나는 경우 정확도는 조금 증가했다. 그러나 접선을 이용한 단순 예측과의 성능 차이는 초기 데이터의 길이가 작은 경우에 두드러졌으며, 적은양의 데이터로도 응력-변형률 곡선 전체 구간의 예측을 가능하게 한다는 점으로부터 신경망 모델의 필요성을 확인하였다.

Traffic-based reinforcement learning with neural network algorithm in fog computing environment

  • Jung, Tae-Won;Lee, Jong-Yong;Jung, Kye-Dong
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제12권1호
    • /
    • pp.144-150
    • /
    • 2020
  • Reinforcement learning is a technology that can present successful and creative solutions in many areas. This reinforcement learning technology was used to deploy containers from cloud servers to fog servers to help them learn the maximization of rewards due to reduced traffic. Leveraging reinforcement learning is aimed at predicting traffic in the network and optimizing traffic-based fog computing network environment for cloud, fog and clients. The reinforcement learning system collects network traffic data from the fog server and IoT. Reinforcement learning neural networks, which use collected traffic data as input values, can consist of Long Short-Term Memory (LSTM) neural networks in network environments that support fog computing, to learn time series data and to predict optimized traffic. Description of the input and output values of the traffic-based reinforcement learning LSTM neural network, the composition of the node, the activation function and error function of the hidden layer, the overfitting method, and the optimization algorithm.

PREDICTING KOREAN FRUIT PRICES USING LSTM ALGORITHM

  • PARK, TAE-SU;KEUM, JONGHAE;KIM, HOISUB;KIM, YOUNG ROCK;MIN, YOUNGHO
    • Journal of the Korean Society for Industrial and Applied Mathematics
    • /
    • 제26권1호
    • /
    • pp.23-48
    • /
    • 2022
  • In this paper, we provide predictive models for the market price of fruits, and analyze the performance of each fruit price predictive model. The data used to create the predictive models are fruit price data, weather data, and Korea composite stock price index (KOSPI) data. We collect these data through Open-API for 10 years period from year 2011 to year 2020. Six types of fruit price predictive models are constructed using the LSTM algorithm, a special form of deep learning RNN algorithm, and the performance is measured using the root mean square error. For each model, the data from year 2011 to year 2018 are trained to predict the fruit price in year 2019, and the data from year 2011 to year 2019 are trained to predict the fruit price in year 2020. By comparing the fruit price predictive models of year 2019 and those models of year 2020, the model with excellent efficiency is identified and the best model to provide the service is selected. The model we made will be available in other countries and regions as well.

딥러닝 알고리즘별 미세먼지 고농도 예측 성능 비교 (Comparison of High Concentration Prediction Performance of Particulate Matter by Deep Learning Algorithm)

  • 이종성;정용진;오창헌
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.348-350
    • /
    • 2021
  • 딥러닝을 이용하여 미세먼지 농도를 예측함에 있어 81㎍/m3 이상의 고농도에 대한 특성이 예측 모델에 잘 반영되지 않는 문제가 있다. 본 논문에서는 딥러닝 알고리즘에 따라 고농도 영역에서의 미세먼지에 대한 특성 반영에 대한 결과를 확인하기 위해 예측 성능을 통한 비교를 진행하였다. 성능 평가 결과, 전반적으로 비슷한 수준의 결과를 보였으나, AQI 기준 "매우 나쁨"의 농도에서 RNN 모델이 다른 모델에 비해 보다 높은 정확도를 보였다. 이는 RNN 알고리즘이 DNN, LSTM 알고리즘보다 고농도에 대한 특성 반영이 잘 이루어진 결과를 확인하였다.

  • PDF

A study on real-time internet comment system through sentiment analysis and deep learning application

  • Hae-Jong Joo;Ho-Bin Song
    • Journal of Platform Technology
    • /
    • 제11권2호
    • /
    • pp.3-14
    • /
    • 2023
  • This paper proposes a big data sentiment analysis method and deep learning implementation method to provide a webtoon comment analysis web page for convenient comment confirmation and feedback of webtoon writers for the development of the cartoon industry in the video animation field. In order to solve the difficulty of automatic analysis due to the nature of Internet comments and provide various sentiment analysis information, LSTM(Long Short-Term Memory) algorithm, ranking algorithm, and word2vec algorithm are applied in parallel, and actual popular works are used to verify the validity. If the analysis method of this paper is used, it is easy to expand to other domestic and overseas platforms, and it is expected that it can be used in various video animation content fields, not limited to the webtoon field

  • PDF

Long Short-Term Memory Network for INS Positioning During GNSS Outages: A Preliminary Study on Simple Trajectories

  • Yujin Shin;Cheolmin Lee;Doyeon Jung;Euiho Kim
    • Journal of Positioning, Navigation, and Timing
    • /
    • 제13권2호
    • /
    • pp.137-147
    • /
    • 2024
  • This paper presents a novel Long Short-Term Memory (LSTM) network architecture for the integration of an Inertial Measurement Unit (IMU) and Global Navigation Satellite Systems (GNSS). The proposed algorithm consists of two independent LSTM networks and the LSTM networks are trained to predict attitudes and velocities from the sequence of IMU measurements and mechanization solutions. In this paper, three GNSS receivers are used to provide Real Time Kinematic (RTK) GNSS attitude and position information of a vehicle, and the information is used as a target output while training the network. The performance of the proposed method was evaluated with both experimental and simulation data using a lowcost IMU and three RTK-GNSS receivers. The test results showed that the proposed LSTM network could improve positioning accuracy by more than 90% compared to the position solutions obtained using a conventional Kalman filter based IMU/GNSS integration for more than 30 seconds of GNSS outages.

A Comparative study on smoothing techniques for performance improvement of LSTM learning model

  • Tae-Jin, Park;Gab-Sig, Sim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권1호
    • /
    • pp.17-26
    • /
    • 2023
  • 본 연구논문에서는 LSTM 기반의 학습 모델 적용과 그 효용성을 높일 수 있도록 몇 가지 평활 기법을 비교, 적용하고자 한다. 적용된 평활 기법은 Savitky-Golay, 지수 평활법, 가중치 이동 평균 등이다. 본 연구를 통해 비트코인 데이터에 LSTM모델 적용 시 보여준 결과 값보다 전처리 과정에서 적용된 Savitky-Golay 필터가 적용된 LSTM 알고리즘이 예측 성능에 유의미한 좋은 결과를 보였다. 예측 성능 결과를 확인하기 위해 비트코인 가격 예측에 따른 복잡 요인을 제거하는데 사용된 LSTM의 경우와 Savitzky-Golay LSTM 모델에 따른 학습 손실율과 검증 손실율을 비교하고 그 신뢰성을 높일 수 있도록 20회 평균값으로 실험하였다. 그 결과 (3.0556, 0.00005), (1.4659, 0.00002)의 값을 얻을 수 있었다. 결과적으로는 비트코인과 같은 암호화폐가 주식보다 더한 변동성을 가지는 만큼 데이터 전처리 과정에서 평활 기법(Savitzky-Golay)을 적용하여 잡음(Noise)을 제거하였으며, 전처리 후의 데이터는 LSTM 신경망 학습을 통해서 비트코인 예측률을 높이는데 가장 유의미한 결과를 얻을 수 있었다.

한국어 음소 단위 LSTM 언어모델을 이용한 문장 생성 (Korean Sentence Generation Using Phoneme-Level LSTM Language Model)

  • 안성만;정여진;이재준;양지헌
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.71-88
    • /
    • 2017
  • 언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.