• Geomechanics and Engineering
• /
• 제31권6호
• /
• pp.545-556
• /
• 2022

Evaluation and optimization of tunnel wall convergence (TWC) plays a vital role in preventing potential problems during tunnel construction and utilization stage. When convergence occurs at a high rate, it can lead to significant problems such as reducing the advance rate and safety, which in turn increases operating costs. In order to design an effective solution, it is important to accurately predict the degree of TWC; this can reduce the level of concern and have a positive effect on the design. With the development of soft computing methods, the use of deep learning algorithms and neural networks in tunnel construction has expanded in recent years. The current study aims to employ the long-short-term memory (LSTM) deep neural network predictor model to predict the TWC, based on 550 data points of observed parameters developed by collecting required data from different tunnelling projects. Among the data collected during the pre-construction and construction phases of the project, 80% is randomly used to train the model and the rest is used to test the model. Several loss functions including root mean square error (RMSE) and coefficient of determination (R²) were used to assess the performance and precision of the applied method. The results of the proposed models indicate an acceptable and reliable accuracy. In fact, the results show that the predicted values are in good agreement with the observed actual data. The proposed model can be considered for use in similar ground and tunneling conditions. It is important to note that this work has the potential to reduce the tunneling uncertainties significantly and make deep learning a valuable tool for planning tunnels.

• 농업과학연구
• /
• 제49권2호
• /
• pp.193-202
• /
• 2022

The recurrent neural network (RNN) algorithm has been widely used in water-related research areas, such as water level predictions and water quality predictions, due to its excellent time series learning capabilities. However, studies on water quality predictions using RNN algorithms are limited because of the scarcity of water quality data. Therefore, most previous studies related to water quality predictions were based on monthly predictions. In this study, the quality of the water in a reservoir in Nonsan, Chungcheongnam-do Republic of Korea was predicted using the RNN-LSTM algorithm. The study was conducted after constructing data that could then be, linearly interpolated as daily data. In this study, we attempt to predict the water quality on the 7th, 15th, 30th, 45th and 60th days instead of making daily predictions of water quality factors. For daily predictions, linear interpolated daily water quality data and daily weather data (rainfall, average temperature, and average wind speed) were used. The results of predicting water quality concentrations (chemical oxygen demand [COD], dissolved oxygen [DO], suspended solid [SS], total nitrogen [T-N], total phosphorus [TP]) through the LSTM algorithm indicated that the predictive value was high on the 7th and 15th days. In the 30th day predictions, the COD and DO items showed R² that exceeded 0.6 at all points, whereas the SS, T-N, and T-P items showed differences depending on the factor being assessed. In the 45th day predictions, it was found that the accuracy of all water quality predictions except for the DO item was sharply lowered.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.520-520
• /
• 2023

제주도 동부 중산간 지역은 화산암으로 구성된 지하지질로 인해 지하수위의 변동폭이 크고 변동양상이 복잡하여 인공신경망(Artificial Neural Network, ANN) 모델 등을 활용한 지하수위의 예측이 어렵다. ANN에 적용되는 활성화함수에 따라 지하수의 예측성능은 달라질 수 있으므로 활성화함수의 비교분석 후 적절한 활성화함수의 사용이 반드시 필요하다. 본 연구에서는 5개 활성화함수(sigmoid, hyperbolic tangent(tanh), Rectified Linear Unit(ReLU), Leaky Rectified Linear Unit(Leaky ReLU), Exponential Linear Unit(ELU))를 제주도 동부 중산간지역에 위치한 2개 지하수 관정에 대해 비교분석하여 최적 활성화함수 도출을 목표로 한다. 또한 최적 활성화함수를 활용한 ANN의 적용성을 평가하기 위해 최근 널리 사용되고 있는 순환신경망 모델인 Long Short-Term Memory(LSTM) 모델과 비교분석 하였다. 그 결과, 2개 관정 중 지하수위 변동폭이 상대적으로 큰 관정은 ELU 함수, 상대적으로 작은 관정은 Leaky ReLU 함수가 지하수위 예측에 적절하였다. 예측성능이 가장 낮은 활성화함수는 sigmoid 함수로 나타나 첨두 및 최저 지하수위 예측 시 사용을 지양해야 할 것으로 판단된다. 도출된 최적 활성화함수를 사용한 ANN-ELU 모델 및 ANN-Leaky ReLU 모델을 LSTM 모델과 비교분석한 결과 대등한 지하수위 예측성능을 나타내었다. 이것은 feed-forward 방식인 ANN 모델을 사용하더라도 적절한 활성화함수를 사용하면 최신 순환신경망과 대등한 결과를 도출하여 활용 가능성이 충분히 있다는 것을 의미한다. 마지막으로 LSTM 모델은 가장 적절한 예측성능을 나타내어 다양한 인공지능 모델의 예측성능 비교를 위한 기준이 되는 참고모델로 활용 가능하다. 본 연구에서 제시한 방법은 지하수위 예측과 더불어 하천수위 예측 등 다양한 시계열예측 및 분석연구에 유용하게 사용될 수 있다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.150-150
• /
• 2023

기작기반의 역학적 모델과 자료기반의 딥러닝 모델은 수질예측에 다양하게 적용되고 있으나, 각각의 모델은 고유한 구조와 가정으로 인해 장·단점을 가지고 있다. 특히, 딥러닝 모델은 우수한 예측 성능에도 불구하고 훈련자료가 부족한 경우 오차와 과적합에 따른 분산(variance) 문제를 야기하며, 기작기반 모델과 달리 물리법칙이 결여된 예측 결과를 생산할 수 있다. 본 연구의 목적은 주요 상수원인 댐 저수지를 대상으로 수심별 수온과 탁도를 예측하기 위해 기작기반과 자료기반 모델의 장점을 융합한 PGDL(Process-Guided Deep Learninig) 모델을 개발하고, 물리적 법칙 만족도와 예측 성능을 평가하는데 있다. PGDL 모델 개발에 사용된 기작기반 및 자료기반 모델은 각각 CE-QUAL-W2와 순환 신경망 딥러닝 모델인 LSTM(Long Short-Term Memory) 모델이다. 각 모델은 2020년 1월부터 12월까지 소양강댐 댐 앞의 K-water 자동측정망 지점에서 실측한 수온과 탁도 자료를 이용하여 각각 보정하고 훈련하였다. 수온 및 탁도 예측을 위한 PGDL 모델의 주요 알고리즘은 LSTM 모델의 목적함수(또는 손실함수)에 실측값과 예측값의 오차항 이외에 역학적 모델의 에너지 및 질량 수지 항을 제약 조건에 추가하여 예측결과가 물리적 보존법칙을 만족하지 않는 경우 penalty를 부가하여 매개변수를 최적화시켰다. 또한, 자료 부족에 따른 LSTM 모델의 예측성능 저하 문제를 극복하기 위해 보정되지 않은 역학적 모델의 모의 결과를 모델의 훈련자료로 사용하는 pre-training 기법을 활용하여 실측자료 비율에 따른 모델의 예측성능을 평가하였다. 연구결과, PGDL 모델은 저수지 수온과 탁도 예측에 있어서 경계조건을 통한 에너지와 질량 변화와 저수지 내 수온 및 탁도 증감에 따른 공간적 에너지와 질량 변화의 일치도에 있어서 LSTM보다 우수하였다. 또한 역학적 모델 결과를 LSTM 모델의 훈련자료의 일부로 사용한 PGDL 모델은 적은 양의 실측자료를 사용하여도 CE-QUAL-W2와 LSTM 보다 우수한 예측 성능을 보였다. 연구결과는 다차원의 역학적 수리수질 모델과 자료기반 딥러닝 모델의 장점을 결합한 새로운 모델링 기술의 적용 가능성을 보여주며, 자료기반 모델의 훈련자료 부족에 따른 예측 성능 저하 문제를 극복하기 위해 역학적 모델이 유용하게 활용될 수 있음을 시사한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.358-358
• /
• 2023

본 연구에서는 그동안 수자원분야 강우유출 해석분야에 활용되었던 대표적인 머신러닝&딥러닝(ML&DL) 모델을 활용하여 모델의 하이퍼파라미터 튜닝뿐만 아니라 모델의 특성을 고려한 기상 및 수문데이터의 조합과 전처리(lag-time, 이동평균 등)를 통하여 데이터 특성과 ML&DL모델의 조합시나리오에 따른 일 유입량 예측성능을 비교 검토하는 연구를 수행하였다. 이를 위해 소양강댐 유역을 대상으로 1974년에서 2021년까지 축적된 기상 및 수문데이터를 활용하여 1) 강우, 2) 유입량, 3) 기상자료를 주요 영향변수(독립변수)로 고려하고, 이에 a) 지체시간(lag-time), b) 이동평균, c) 유입량의 성분분리조건을 적용하여 총 36가지 시나리오 조합을 ML&DL의 입력자료로 활용하였다. ML&DL 모델은 1) Linear Regression(LR), 2) Lasso, 3) Ridge, 4) SVR(Support Vector Regression), 5) Random Forest(RF), 6) LGBM(Light Gradient Boosting Model), 7) XGBoost의 7가지 ML방법과 8) LSTM(Long Short-Term Memory models), 9) TCN(Temporal Convolutional Network), 10) LSTM-TCN의 3가지 DL 방법, 총 10가지 ML&DL모델을 비교 검토하여 일유입량 예측을 위한 가장 적합한 데이터 조합 특성과 ML&DL모델을 성능평가와 함께 제시하였다. 학습된 모형의 유입량 예측 결과를 비교·분석한 결과, 소양강댐 유역에서는 딥러닝 중에서는 TCN모형이 가장 우수한 성능을 보였고(TCN>TCN-LSTM>LSTM), 트리기반 머신러닝중에서는 Random Forest와 LGBM이 우수한 성능을 보였으며(RF, LGBM>XGB), SVR도 LGBM수준의 우수한 성능을 나타내었다. LR, Lasso, Ridge 세가지 Regression모형은 상대적으로 낮은 성능을 보였다. 또한 소양강댐 댐유입량 예측에 대하여 강우, 유입량, 기상계열을 36가지로 조합한 결과, 입력자료에 lag-time이 적용된 강우계열의 조합 분석에서 세가지 Regression모델을 제외한 모든 모형에서 NSE(Nash-Sutcliffe Efficiency) 0.8이상(최대 0.867)의 성능을 보였으며, lag-time이 적용된 강우와 유입량계열을 조합했을 경우 NSE 0.85이상(최대 0.901)의 더 우수한 성능을 보였다.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.177-189
• /
• 2023

Malware detection is an increasingly important operational focus in cyber security, particularly given the fast pace of such threats (e.g., new malware variants introduced every day). There has been great interest in exploring the use of machine learning techniques in automating and enhancing the effectiveness of malware detection and analysis. In this paper, we present a deep recurrent neural network solution as a stacked Long Short-Term Memory (LSTM) with a pre-training as a regularization method to avoid random network initialization. In our proposal, we use global and short dependencies of the inputs. With pre-training, we avoid random initialization and are able to improve the accuracy and robustness of malware threat hunting. The proposed method speeds up the convergence (in comparison to stacked LSTM) by reducing the length of malware OpCode or bytecode sequences. Hence, the complexity of our final method is reduced. This leads to better accuracy, higher Mattews Correlation Coefficients (MCC), and Area Under the Curve (AUC) in comparison to a standard LSTM with similar detection time. Our proposed method can be applied in real-time malware threat hunting, particularly for safety critical systems such as eHealth or Internet of Military of Things where poor convergence of the model could lead to catastrophic consequences. We evaluate the effectiveness of our proposed method on Windows, Ransomware, Internet of Things (IoT), and Android malware datasets using both static and dynamic analysis. For the IoT malware detection, we also present a comparative summary of the performance on an IoT-specific dataset of our proposed method and the standard stacked LSTM method. More specifically, of our proposed method achieves an accuracy of 99.1% in detecting IoT malware samples, with AUC of 0.985, and MCC of 0.95; thus, outperforming standard LSTM based methods in these key metrics.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.353-353
• /
• 2022

본 연구에서는 CMIP5(The fifth phase of the Couple Model Intercomparison Project) 미래기후시나리오와 LSTM(Long Short-Term Memory) 모형 기반의 딥러닝 기법을 이용하여 하천유량 예측을 위한 최적 학습 기간을 제시하였다. 연구지역으로는 진안군(성산리) 지점을 선정하였다. 보정(2000~2002/2014~2015) 및 검증(2003~2005/2016~2017) 기간을 설정하여 연구지역의 실측 유량 자료와 LSTM 기반 모의유량을 비교한 결과, 전체적으로 모의값이 실측값을 잘 반영하는 것으로 나타났다. 또한, LSTM 모형의 장기간 예측 성능을 평가하기 위하여 LSTM 모형 기반 유량을 보정(2000~2015) 및 검증(2016~2019) 기간의 SWAT 기반 유량에 비교하였다. 비록 모의결과에일부 오차가 발생하였으나, LSTM 모형이 장기간의 하천유량을 잘 산정하는 것으로 나타났다. 검증 결과를 기반으로 2011년~2100년의 CMIP5 미래기후시나리오 기상자료를 이용하여 SWAT 기반 유량을 모의하였으며, 모의한 하천유량을 LSTM 모형의 학습자료로 사용하였다. 다양한 학습 시나리오을 적용하여 LSTM 및 SWAT 모형 기반의 하천유량을 모의하였으며, 최적 학습 기간을 제시하기 위하여 학습 시나리오별 LSTM/SWAT 기반 하천유량의 상관성 및 불확실성을 비교하였다. 비교 결과 학습 기간이 최소 30년 이상일때, 실측유량과 비교하여 LSTM 모형 기반 하천유량의 불확실성이 낮은 것으로 나타났다. 따라서 CMIP5 미래기후시나리오와 딥러닝 기반 LSTM 모형을 연계하여 미래 장기간의 일별 유량을 모의할 경우, 신뢰성 있는 LSTM 모형 기반 하천유량을 모의하기 위해서는 최소 30년 이상의 학습 기간이 필요할 것으로 판단된다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.491-493
• /
• 2022

세계 각지에서 집중호우, 태풍 등으로 인한 홍수 피해가 많이 발생하고 있으며, 이러한 피해를 줄이기 위해 홍수를 미리 예측하는 것은 수해 피해 관리 차원에서 필수적인 요소이다. 본 논문에서는 홍수예측을 위한 핵심 파라미터인 수위, 강수량, 그리고 습도 데이터를 입력 데이터로 활용한 수위 예측 모델을 제안한다. 많은 연구 분야에서 이미 시계열 데이터 예측 성능이 검증된 LSTM 및 GRU 모델을 기반으로 기상청에서 제공하는 종관기상관측 자료와, 방재기상관측 자료를 활용하여 입력 데이터셋을 다르게 구축하고, 성능 비교 실험을 진행하였다. 결과적으로 종관기상관측 자료를 사용했을 때 가장 좋은 결과를 얻었다. 본 논문을 통해 입력 데이터에 따른 성능 비교 실험을 진행하였고, 향후 연구로 홍수 위험도 판별 모델과 연계하여 사전에 대피 결정이 가능한 시스템 개발의 초기 연구로서 활용될 수 있을 것으로 사료된다.

• 산업융합연구
• /
• 제21권1호
• /
• pp.167-173
• /
• 2023

경제지표를 분석하는 방법으로 회귀 분석이나, 인공지능을 활용하여 미래의 데이터를 예측하는 연구가 발표되었다. 본 연구에서는 토픽모델링을 사용하여 과거 뉴스 기사로부터 얻은 주제 확률 데이터를 이용한 인공지능으로 미래 선물 가격을 예측하는 시스템을 구상하였다. 과거 뉴스 기사로부터 비지도학습을 통한 문서의 주제를 추출할 수 있는 LDA 방법으로 각 뉴스 기사 주제 확률 분포 데이터를 얻을 수 있고, 해당 데이터를 인공지능의 RNN의 파생 구조인 LSTM의 입력 데이터로 활용함으로써 미래 선물 가격을 예측하였다. 본 연구에서 제안한 방법에서는 선물 가격의 추세를 예측할 수 있었고, 이를 활용하여 추후 옵션 상품 등의 파생 상품에 대한 가격 추세도 예측할 수 있을 것으로 보인다. 다만, 일부 데이터에 대해 오차가 발생하는 것이 확인되어 정확도 향상을 위한 추가적인 연구가 필요하다.

• Computers and Concrete
• /
• 제31권5호
• /
• pp.405-417
• /
• 2023

The submerged floating tunnel (SFT) is tethered by mooring lines anchored to the seabed, therefore, the structural integrity of the anchor should be sensitively managed. Despite their importance, reaction forces cannot be simply measured by attaching sensors or load cells because of the structural and environmental characteristics of the submerged structure. Therefore, we propose an effective method for estimating the reaction forces at the seabed anchor of a submerged floating tunnel using a structural pattern model. First, a structural pattern model is established to use the correlation between tunnel motion and anchor reactions via a deep learning algorithm. Once the pattern model is established, it is directly used to estimate the reaction forces by inputting the tunnel motion data, which can be directly measured inside the tunnel. Because the sequential characteristics of responses in the time domain should be considered, the long short-term memory (LSTM) algorithm is mainly used to recognize structural behavioral patterns. Using hydrodynamics-based simulations, big data on the structural behavior of the SFT under various waves were generated, and the prepared datasets were used to validate the proposed method. The simulation-based validation results clearly show that the proposed method can precisely estimate time-series reactions using only acceleration data. In addition to real-time structural health monitoring, the proposed method can be useful for forensics when an unexpected accident or failure is related to the seabed anchors of the SFT.