• Title/Summary/Keyword: Short-term Memory

Search Result 721, Processing Time 0.03 seconds

Comparative study of meteorological data for river level prediction model (하천 수위 예측 모델을 위한 기상 데이터 비교 연구)

  • Cho, Minwoo;Yoon, Jinwook;Kim, Changsu;Jung, Heokyung
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.05a
    • /
    • pp.491-493
    • /
    • 2022
  • Flood damage due to torrential rains and typhoons is occurring in many parts of the world. In this paper, we propose a water level prediction model using water level, precipitation, and humidity data, which are key parameters for flood prediction, as input data. Based on the LSTM and GRU models, which have already proven time-series data prediction performance in many research fields, different input datasets were constructed using the ASOS(Automated Synoptic Observing System) data and AWS(Automatic Weather System) data provided by the Korea Meteorological Administration, and performance comparison experiments were conducted. As a result, the best results were obtained when using ASOS data. Through this paper, a performance comparison experiment was conducted according to the input data, and as a future study, it is thought that it can be used as an initial study to develop a system that can make an evacuation decision in advance in connection with the flood risk determination model.

  • PDF

Futures Price Prediction based on News Articles using LDA and LSTM (LDA와 LSTM를 응용한 뉴스 기사 기반 선물가격 예측)

  • Jin-Hyeon Joo;Keun-Deok Park
    • Journal of Industrial Convergence
    • /
    • v.21 no.1
    • /
    • pp.167-173
    • /
    • 2023
  • As research has been published to predict future data using regression analysis or artificial intelligence as a method of analyzing economic indicators. In this study, we designed a system that predicts prospective futures prices using artificial intelligence that utilizes topic probability data obtained from past news articles using topic modeling. Topic probability distribution data for each news article were obtained using the Latent Dirichlet Allocation (LDA) method that can extract the topic of a document from past news articles via unsupervised learning. Further, the topic probability distribution data were used as the input for a Long Short-Term Memory (LSTM) network, a derivative of Recurrent Neural Networks (RNN) in artificial intelligence, in order to predict prospective futures prices. The method proposed in this study was able to predict the trend of futures prices. Later, this method will also be able to predict the trend of prices for derivative products like options. However, because statistical errors occurred for certain data; further research is required to improve accuracy.

Estimation of reaction forces at the seabed anchor of the submerged floating tunnel using structural pattern recognition

  • Seongi Min;Kiwon Jeong;Yunwoo Lee;Donghwi Jung;Seungjun Kim
    • Computers and Concrete
    • /
    • v.31 no.5
    • /
    • pp.405-417
    • /
    • 2023
  • The submerged floating tunnel (SFT) is tethered by mooring lines anchored to the seabed, therefore, the structural integrity of the anchor should be sensitively managed. Despite their importance, reaction forces cannot be simply measured by attaching sensors or load cells because of the structural and environmental characteristics of the submerged structure. Therefore, we propose an effective method for estimating the reaction forces at the seabed anchor of a submerged floating tunnel using a structural pattern model. First, a structural pattern model is established to use the correlation between tunnel motion and anchor reactions via a deep learning algorithm. Once the pattern model is established, it is directly used to estimate the reaction forces by inputting the tunnel motion data, which can be directly measured inside the tunnel. Because the sequential characteristics of responses in the time domain should be considered, the long short-term memory (LSTM) algorithm is mainly used to recognize structural behavioral patterns. Using hydrodynamics-based simulations, big data on the structural behavior of the SFT under various waves were generated, and the prepared datasets were used to validate the proposed method. The simulation-based validation results clearly show that the proposed method can precisely estimate time-series reactions using only acceleration data. In addition to real-time structural health monitoring, the proposed method can be useful for forensics when an unexpected accident or failure is related to the seabed anchors of the SFT.

Contextual Modeling in Context-Aware Conversation Systems

  • Quoc-Dai Luong Tran;Dinh-Hong Vu;Anh-Cuong Le;Ashwin Ittoo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.17 no.5
    • /
    • pp.1396-1412
    • /
    • 2023
  • Conversation modeling is an important and challenging task in the field of natural language processing because it is a key component promoting the development of automated humanmachine conversation. Most recent research concerning conversation modeling focuses only on the current utterance (considered as the current question) to generate a response, and thus fails to capture the conversation's logic from its beginning. Some studies concatenate the current question with previous conversation sentences and use it as input for response generation. Another approach is to use an encoder to store all previous utterances. Each time a new question is encountered, the encoder is updated and used to generate the response. Our approach in this paper differs from previous studies in that we explicitly separate the encoding of the question from the encoding of its context. This results in different encoding models for the question and the context, capturing the specificity of each. In this way, we have access to the entire context when generating the response. To this end, we propose a deep neural network-based model, called the Context Model, to encode previous utterances' information and combine it with the current question. This approach satisfies the need for context information while keeping the different roles of the current question and its context separate while generating a response. We investigate two approaches for representing the context: Long short-term memory and Convolutional neural network. Experiments show that our Context Model outperforms a baseline model on both ConvAI2 Dataset and a collected dataset of conversational English.

Economic Analysis on the Maintenance Management of Riparian Facilities against Flood Damage (침수피해를 고려한 하천이용시설 유지관리의 경제성 분석)

  • Lee, Seung Yeon;Yoo, Hyung Ju;Lee, Sang Eun;Lee, Seung Oh
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.198-198
    • /
    • 2021
  • 최근 자연적, 사회적, 정책적 관점에서 하천관리의 중요성이 증대되면서 국가하천 정비를 통한 하천시설 관리의 책임이 증대되고 있다. 국가하천 5대강 본류의 친수지구 이용도 변화를 살펴보면 2015년에 비해 2019년에 면적당 이용객 수가 630,813(명/km2)이 증가하였음을 알 수 있었고(국토교통부, 2020) 본 연구에서는 이용자 수 증가율이 높은 편인 한강 내 하천이용시설을 대상으로 선정하여 해당 지역을 기계학습 기반의 수위예측 알고리즘에 적용하였다. 하천이용시설은 하천이용자가 편리하게 하천을 이용하기 위하여 설치한 시설로 공원시설(강서, 난지, 양화, 망원, 여의도, 이촌, 반포, 잠원, 뚝섬, 잠실, 광나루, 구리)을 위주로 분석하였다. 해당 시설의 침수피해를 고려하기 위해 시계열 자료에 특화된 LSTM(Long Short-term Memory)기법을 활용하여 수위예측 알고리즘을 개발하였고 이를 통해 도출된 홍수 예보로 재난을 대비하고 시설물을 체계적으로 관리하는 유지관리의 효과를 분석하고자 하였다. 입력 자료(input data)는 수위 (EL.m), 팔당댐 방류량 (m3/s), 강화대교의 조위(EL.m)를 사용하였으며 수위예측 알고리즘을 통해 6시간 후 예측 수위값을 도출하여 기존 2단계(주의보, 경보)였던 홍수 예보 단계에서 4단계(관심, 보행자통제, 차량통제, 경계)로 구축하였다. 기존과 세분화된 홍수예보를 적용했을 경우의 유지관리 비용과 편익을 산정하여 하천이용시설의 경제성을 비교·분석한 결과, 유지관리 비용이 기존 대비 약 5% 이상 절감되었고 편익은 약 1.5배 이상 증가하였으며 관리등급은 평균 C등급(보통) 이상 달성하였다. 이는 수위예측 알고리즘의 적용으로 하천이용 활성화 및 투자의 효율성에 목적을 두었으며 향후 분석결과를 토대로 경제성모델을 개발하여 국가하천 내 관리그룹에 적용하면 효율적인 유지관리체계를 제시할 수 있을 것으로 기대된다.

  • PDF

Linkage of Numerical Analysis Model and Machine Learning for Real-time Flood Risk Prediction (도시홍수 위험도 실시간 표출을 위한 수치해석 모형과 기계학습의 연계)

  • Kim, Hyun Il;Han, Kun Yeun;Kim, Tae Hyung;Choi, Kyu Hyun;Cho, Hyo Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.332-332
    • /
    • 2021
  • 도시화가 상당히 이뤄지고 기습적인 폭우의 발생이 불확실하게 나타나는 시점에서 재산 및 인명피해를 야기할 수 있는 내수침수에 대한 위험도가 증가하고 있다. 내수침수에 대한 예측을 위하여 실측강우 또는 확률강우량 시나리오를 참조하고 연구대상 지역에 대한 1차원 그리고 2차원 수리학적 해석을 실시하는 연구가 오랫동안 진행되어 왔으나, 수치해석 모형의 경우 다양한 수문-지형학적 자료 및 계측 자료를 요구하고 집약적인 계산과정을 통한 단기간 예측에 어려움이 있음이 언급되어 왔다. 본 연구에서는 위와 같은 문제점을 해결하기 위하여 단일 도시 배수분구를 대상으로 관측 강우 자료, 1, 2차원 수치해석 모형, 기계학습 및 딥러닝 기법을 적용한 실시간 홍수위험지도 예측 모형을 개발하였다. 강우자료에 대하여 실시간으로 홍수량을 예측할 수 있도록 LSTM(Long-Short Term Memory) 기법을 적용하였으며, 전국단위 강우에 대한 다양한 1차원 도시유출해석 결과를 학습시킴으로써 예측을 수행하였다. 침수심의 공간적 분포의 경우 로지스틱 회귀를 이용하여, 기준 침수심에 대한 예측을 각각 수행하였다. 홍수위험 등급의 경우 침수심, 유속 그리고 잔해인자를 고려한 홍수위험등급 공식을 적용하여 산정하였으며, 이 결과를 랜덤포레스트(Random Forest)에 학습함으로써 실시간 예측을 수행할 수 있도록 개발하였다. 침수범위 및 홍수위험등급에 대한 예측은 격자 단위로 이뤄졌으며, 검증 자료의 부족으로 침수 흔적도를 통하여 검증된 2차원 침수해석 결과와 비교함으로써 예측력을 평가하였다. 본 기법은 특정 관측강우 또는 예측강우 자료가 입력되었을 때에, 도시 유역 단위로 접근이 불가하여 통제해야 할 구간을 실시간으로 예측하여 관리할 수 있을 것으로 판단된다.

  • PDF

Application of LSTM and Hydrological Data for Flood Level Prediction (홍수위 예측을 위한 수문자료와 LSTM 기법 적용)

  • Kim, Hyun Il;Choi, Hee Hun;Kim, Tae Hyung;Choi, Kyu Hyun;Cho, Hyo Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.333-333
    • /
    • 2021
  • 최근 전 지구적인 기후변화 및 온난화의 영향으로 태풍 및 집중호우가 빈번하게 일어나고 있으며, 이로 인한 한천범람 등 홍수재해로 인명 및 재산 피해가 크게 증가하고 있다. 우리나라에서도 태풍 및 집중호우로 인한 호수피해는 매년 발생하고 있으며, 피해 빈도와 강도가 증가하고 있는 실정이다. 이러한 현실을 고려하였을 때에 하천 인근 주민의 생명과 재산을 보호하기 위하여 실시간으로 홍수위 예측을 수행하는 것은 매우 중요하다 할 수 있다. 국내에서 수위예측을 위하여 대표적으로 저류함수모형(Storage Function Model, SFM)을 채택하고 있지만, 유역면적이 작아 홍수 도달시간이 짧은 중소하천에서는 충분한 선행시간과 정확도를 확보하기 어려운 문제점이 있다. 이는 유역면적이 작은 중소하천에서는 유역 및 기상 특성과 관련된 여러 인자 사이의 비선형성이 대하천 유역에 비해 커지는 문제점이 있기 때문이다. 본 연구에서는 위와같은 문제를 해결할 수 있도록, 수문자료와 딥러닝 기법을 적용하여 실시간으로 홍수위를 예측할 수 있는 방법론을 제시하였다. 지난 태풍 및 집중호우로 인하여 급격한 수위상승이 있던 낙동강 지류하천에 대하여 LSTM(Long-Short Term Memory) 모형 기반 실시간 수위예측 모형을 개발하였으며, 선행시간 30~180분 별로 홍수위를 예측하고 관측 수위와 비교함으로써 모형의 적용성을 검증하였다. 선행시간 180분 기준으로 영강 유역 수위예측 결과와 실제 관측치의 평균제곱근 오차는 0.29m, 상관계수는 0.92로 나타났으며, 밀양강 유역의 경우 각각 0.30m, 0.94로 나타났다. 본 연구에서 제시된 딥러닝 기반모형에 10분 단위 실시간 수문자료가 입력된다면, 다음 관측자료가 입력되기 전 홍수예측 결과가 산출되므로 실질적인 홍수예경보체계에 유용하게 사용될 수 있을 것이라 보인다. 모형에 적용할 수 있는 더욱 다양한 수문자료와 매개변수 조정을 통하여 예측결과에 대한 신뢰성을 더욱 높일 수 있다면, 기존의 저류함수모형과 연계하여 홍수대응 능력을 향상시키는데 도움이 될 수 있다.

  • PDF

Machine Learning Method for Improving WRF-Hydro streamflow prediction (WRF-Hydro 하천수 예측 개선을 위한 머신러닝 기법의 활용)

  • Cho, Kyeungwoo;Choi, Suyeon;Chi, Haewon;Kim, Yeonjoo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.63-63
    • /
    • 2020
  • 최근 머신러닝 기술의 발전에 따라 비선형 시계열자료에 대한 예측이 가능해졌으며, 기존의 과정기반모형을 대체하여 지하수, 하천수 예측 등 다양한 수문분야에 활용되고 있다. 본 연구에서는 기존의 연구들과 달리 과정기반모형을 이용한 하천수 모의결과를 개선하기 위해 과정기반모형과 결합하는 방식으로 머신러닝 기술을 활용하였다. 머신러닝 기술을 통해 관측값과 모의값 간의 차이를 예측하고 과정기반모형의 모의결과에 반영함으로써 관측값을 정확히 재현할 수 있도록 하는 시스템을 구축하고 평가하였다. 과정기반모형으로는 Weather Research and Forecasting model-Hydrological modeling system (WRF-Hydro)을 소양강 유역을 대상으로 구축하였다. 머신러닝 모형으로는 순환 신경망 중 하나인 Long Short-Term Memory (LSTM) 신경망을 이용하여 장기시계열예측이 가능하게 하였다(WRF-Hydro-LSTM). 머신러닝 모형은 2013년부터 2017년까지의 기상자료 및 유입량 잔차를 이용하여 학습시키고, 2018년 기상자료를 이용하여 예상되는 유입량 잔차를 모의하였다. 모의된 잔차를 WRF-Hydro 모의결과에 반영시켜 최종 유입량 모의값을 보정하였다. 또한, 연구에서 제안된 새로운 방법론의 성능을 비교평가하기 위해 머신러닝 단독 모형으로 유입량을 학습 후 모의하였다(LSTM-only). 상관계수와 Nash-Sutcliffe 효율계수(NSE)를 사용해 평가한 결과, LSTM을 이용한 두 방법(WRF-Hydro-LSTM과 LSTM-only) 모두 기존의 과정기반모형(WRF-Hydro-only)에 비해 높은 정확도의 하천수 모의가 가능했으며, PBIAS 지수를 사용하여 평가한 결과, LSTM을 단독으로 사용하였을 때보다 WRF-Hydro와 결합했을 때 더 관측값과 가까운 모의가 가능함을 확인할 수 있었다.

  • PDF

Quality Control Plan of Water Level in Agricultural Reservoirs using a Deep-Learning Based LSTM Model (딥러닝 기반 LSTM 모형을 이용한 농업용 저수지 수위자료 품질관리 방안)

  • Yang, Mi-Hye;Nam, Won-Ho;Shin, An-Kook;Kang, Mun-Sung;Kim, Taegon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.128-128
    • /
    • 2020
  • 최근 농업환경의 변화와 기후변화에 대응하기 위해 농업용수 관리 정보화 및 과학화의 필요성이 증대되어 실시간으로 저수지 저수량과 농업용수 공급량을 파악하기 위해 자동 수위계측시설이 도입되었다. 농림축산식품부의 저수지 자동수위측정기 설치 및 운영지침에 따라 현재 농어촌공사 관리 저수지 1,734개소 및 수로부 1,880개소에 자동수위계가 설치되어 있으며, 저수지와 수로에서 10분 간격으로 수위자료가 생성되고 있다. 농업용 저수지 수문자료의 공인지점은 2016년 6개소에서 2019년 49개소로 증대되고 있으며, 데이터 품질 저하의 최소화 및 신뢰성 있는 수문자료 생성의 필요성이 증가함에 따라 농업용 저수지의 특성을 반영한 저수지 수위 오결측 데이터 보정 방안 및 수문 자료 품질관리 방안이 요구된다. 농업용 저수지의 수위 변화 및 강우-유출 현상은 물리적 모형을 구축하여 기상, 지형 등 영향 인자와 수위(또는 유출)와의 상관관계를 분석하는 것은 무적으로 불가능하였지만, 최근 인공신경망 (Artificial Neural Network, ANN) 등과 같이 black-box 형태의 모형을 이용하여 비선형적인 수문해석이 가능해졌다. 본 연구에서는 빅데이터와 인공신경망을 결합시킨 알고리즘인 딥러닝 (Deep Learning) 기반의 LSTM (Long Short-Term Memory) 모형을 활용하여 농업용 저수지 수위자료를 검토하여 자동계측기에서 발생하는 오류 보정을 위해 품질관리 방안을 제시하고자 한다.

  • PDF

Prediction of the DO concentration using the RNN-LSTM algorithm in Oncheoncheon basin, Busan, Republic of Korea (부산광역시 온천천 유역의 RNN-LSTM 알고리즘을 이용한 DO농도 예측)

  • Lim, Heesung;An, Hyunuk
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.86-86
    • /
    • 2021
  • 온천천은 부산광역시 금정구, 동래구, 연제구를 흐르는 도심 하천으로 부산 시민들의 도심 속 산책길, 자전거 길 등으로 활용되는 도시하천이다. 그러나 온천천 양안의 동래 곡저 평야가 시가지화 되고 온천천 발원지인 금정산 주변에서 무허가 상수도를 사용하고 각종 쓰레기와 하수의 유입으로 인해 하천 전체가 하수관으로 변해왔다. 이에 따라 부산광역시는 온천천 정비 계획을 시행하여 하천 정비와 함께 자동측정망을 설치하여 하천의 DO (dissolved oxygen), 탁도, TDS농도 등 자료를 수집하고 있다. 그러나 자동측정망으로 쌓여가는 데이터를 활용하여 DO농도 예측은 거의 이뤄지지 않고 있다. DO는 하천의 수질 오염 정도를 판단하는 수질인자로 역사적으로 하천 연구의 주요 연구 대상이 되어 왔다. 본 연구에서는 일 자료 뿐만 아니라 시 자료를 기반으로 RNN-LSTM 알고리즘을 활용한 DO예측을 시도하였다. RNN-LSTM은 시계열 학습에 뛰어난 알고리즘으로 인공신경망의 발전된 형태인 순환신경망이다. 연구에 앞서 부산광역시 보건환경정보 공개시스템으로부터 받은 자료 중에서 교정, 보수 중, 비사용, 장비전원단절 등으로 인해 누락데이터를 2014년 1월 1일부터 2018년 12월 31일의 데이터 전수조사 후 이상데이터를 확인하여 선형 보간하여 데이터를 사용하였다. 연구에서는 Google에서 개발한 딥러닝 오픈소스 라이브러리인 텐서플로우를 활용하여 부산광역시 금정구 부곡동에 위치한 부곡교 관측소의 DO농도를 시간 또는 일 예측을 하였다. 일 예측 학습에는 2014년~ 2018년의 기상자료(기온, 상대습도, 풍속, 강수량), DO농도 자료를 사용하였고, 시 예측 학습에는 연속된 자료가 가장 많은 2015년 3월 ~ 12월까지의 데이터를 활용하여 연구를 진행하였다. 모형의 검증을 위해 결정계수(R square)를 이용하여 통계분석을 실시하였다.

  • PDF