• 한국수자원학회논문집
• /
• 제57권2호
• /
• pp.73-85
• /
• 2024

하천과 저수지의 수질을 예측하는 것은 수자원관리를 위해 필요하다. 높은 정확도의 수질 예측을 위해 많은 연구들에서 인공신경망이 활용되었다. 기존 연구들은 매개변수를 탐색하는 인공신경망의 연산자인 옵티마이저로 경사하강법 기반 옵티마이저를 사용하였다. 그러나 경사하강법 기반 옵티마이저는 지역 최적값으로의 수렴 가능성과 해의 저장 및 비교구조가 없다는 단점이 있다. 본 연구에서는 인공신경망을 이용한 수질 예측성능을 향상시키기 위해 개량형 옵티마이저를 개발하여 경사하강법 기반 옵티마이저의 단점을 개선하였다. 본 연구에서 제안한 옵티마이저는 경사하강법 기반 옵티마이저 중 학습오차가 낮은 Adaptive moments (Adam)과 Nesterov-accelerated adaptive moments (Nadam)를 Harmony Search(HS) 또는 Novel Self-adaptive Harmony Search (NSHS)와 결합한 옵티마이저이다. 개량형 옵티마이저의 학습 및 예측성능 평가를 위해 개량형 옵티마이저를 Long Short-Term Memory (LSTM)에 적용하여 국내의 다산 수질관측소의 수질인자인 수온, 용존산소량, 수소이온농도 및 엽록소-a를 학습 및 예측하였다. 학습결과를 비교하면, Nadam combined with NSHS (NadamNSHS)를 사용한 LSTM의 Mean Squared Error (MSE)가 0.002921로 가장 낮았다. 또한, 각 옵티마이저별 4개 수질인자에 대한 MSE 및 R²에 따른 예측순위를 비교하였다. 각 옵티마이저의 평균 순위를 비교하면, NadamNSHS를 사용한 LSTM이 2.25로 가장 높은 것을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제23권11호
• /
• pp.31-41
• /
• 2018

Text classification has been studied for a long time in the Natural Language Processing field. In this paper, we propose an article- and paragraph-level genre classification system using Word2Vec-based LSTM, GRU, and CNN models for large-scale English corpora. Both article- and paragraph-level classification performed best in accuracy with LSTM, which was followed by GRU and CNN in accuracy performance. Thus, it is to be confirmed that in evaluating the classification performance of LSTM, GRU, and CNN, the word sequential information for articles is better than the word feature extraction for paragraphs when the pre-trained Word2Vec-based word embeddings are used in both deep learning-based article- and paragraph-level classification tasks.

• 한국인터넷방송통신학회논문지
• /
• 제20권1호
• /
• pp.11-18
• /
• 2020

본 연구에서는 모바일 환경에서의 기존 맥락인증기법의 부족한 성능을 보완하고자 한다. 사용된 데이터는 GPS, CDR(Call Detail Record), App usage이며 GPS의 처리과정에서 인구밀집지역의 타인을 세밀하게 구분하고자 GPS밀도에 따른 지역구분을 시행하였다. 또한 전처리에서 데이터 수집에서 발생할 수 있는 결측치를 처리한다. 인증 모델은 두 개의 LSTM(Long-Short Term Memory)와 그들 결과를 종합하는 하나의 ANN(Artificial Neural Network)로 구성하며 이를 통해 최종적으로 인증 점수를 산출한다. 본 논문에서는 기존 연구와의 정확도를 비교하고 타인을 구별해내는데 필요한 인증 시도 횟수를 비교하여 평균 11.6%의 정확도 향상과 검증 데이터의 약 60%에 대하여 더 적은 시도에 구별해 낼 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제24권12호
• /
• pp.1-7
• /
• 2019

머신 러닝의 심층 개발로 딥 러닝 방법은 특히 CNN(Convolution Neural Network)에서 큰 진전을 이루었다. 전통적인 텍스트 정서 분류 방법과 비교할 때 딥 러닝 기반 CNN은 복잡한 다중 레이블 및 다중 분류 실험의 텍스트 분류 및 처리에서 크게 발전하였다. 그러나 텍스트 정서 분류를 위한 신경망에도 문제가 있다. 이 논문에서는 LSTM (Long-Short Term Memory network) 및 CNN 딥 러닝 방법에 기반 한 융합 모델을 제안하고, 다중 카테고리 뉴스 데이터 세트에 적용하여 좋은 결과를 얻었다. 실험에 따르면 딥 러닝을 기반으로 한 융합 모델이 텍스트 정서 분류의 예측성과 정확성을 크게 개선하였다. 본 논문에서 제안한 방법은 모델을 최적화하고 그 모델의 성능을 개선하는 중요한 방법이 될 것이다.

• 한국인터넷방송통신학회논문지
• /
• 제19권4호
• /
• pp.161-167
• /
• 2019

최근 안정적인 전력수급과 급증하는 전력수요를 예측하는 수요예측 기술에 대한 관심과 실시간 전력측정을 가능하게 하는 스마트 미터기의 보급의 증대로 인해 수요예측 기법에 대한 연구가 활발히 진행되고 있다. 본 연구에서는 실제 측정된 가정의 전력 사용량 데이터를 학습하여 예측결과를 출력하는 딥 러닝 예측모델 실험을 진행한다. 그리고 본 연구에서는 데이터 전처리 기법으로써 이동평균법을 도입하였다. 실제로 측정된 데이터를 학습한 모델의 예측량과 실제 전력 측정량을 비교한다. 이 예측량을 통해서 전력공급 예비율을 낮춰 사용되지 않고 낭비되는 예비전력을 줄일 수 있는 가능성을 제시한다. 또한 본 논문에서는 같은 데이터, 같은 실험 파라미터를 토대로 세 종류의 기법: 다층퍼셉트론(Multi Layer Perceptron, MLP), 순환신경망(Recurrent Neural Network, RNN), Long Short Term Memory(LSTM)에 대해 실험을 진행하여 성능을 평가한다. 성능평가는 MSE(Mean Squared Error), MAE(Mean Absolute Error)의 기준으로 성능평가를 진행했다.

• 한국인터넷방송통신학회논문지
• /
• 제19권1호
• /
• pp.29-35
• /
• 2019

4차 산업 혁명이 진행되며 많은 회사들의 스마트 팩토리에 대한 관심이 커지고 있으며 센서의 중요성 또한 대두되고 있다. 정보를 수집하기 위한 센서에서 고장이 발생하면 공장을 최적화하여 운영할 수 없기 때문에 이에 따른 손해가 발생할 수 있다. 이를 위해 센서의 상태를 진단하여 센서의 고장을 진단하는 일이 필요하다. 본 논문에서는 디지털 센서의 고장유형 중 Rising time과 Falling time 고장을 딥러닝 알고리즘 RNN의 LSTM을 통해 신호를 분석하여 고장을 진단하는 모델을 제안한다. 제안한 방식의 실험 결과를 정확도와 ROC 곡선 그래프의 AUC(Area under the curve)를 이용하여 Rule 기반 고장진단 알고리즘과 비교하였다. 실험 결과, 제안한 시스템은 Rule 기반 고장진단 알고리즘 보다 향상되고 안정된 성능을 보였다.

• 시스템엔지니어링학술지
• /
• 제18권2호
• /
• pp.75-93
• /
• 2022

Machine learning (ML) data-driven meta-model is proposed as a surrogate model to reduce the excessive computational cost of the physics-based model and facilitate the real-time prediction of a nuclear power plant's transient response. To forecast the transient response three machine learning (ML) meta-models based on recurrent neural networks (RNNs); specifically, Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU), and a sequence combination of Convolutional Neural Network (CNN) and LSTM are developed. The chosen accident scenario is a control element assembly withdrawal at power concurrent with the Loss Of Offsite Power (LOOP). The transient response was obtained using the best estimate thermal hydraulics code, MARS-KS, and cross-validated against the Design and control document (DCD). DAKOTA software is loosely coupled with MARS-KS code via a python interface to perform the Best Estimate Plus Uncertainty Quantification (BEPU) analysis and generate a time series database of the system response to train, test and validate the ML meta-models. Key uncertain parameters identified as required by the CASU methodology were propagated using the non-parametric Monte-Carlo (MC) random propagation and Latin Hypercube Sampling technique until a statistically significant database (181 samples) as required by Wilk's fifth order is achieved with 95% probability and 95% confidence level. The three ML RNN models were built and optimized with the help of the Talos tool and demonstrated excellent performance in forecasting the most probable NPP transient response. This research was guided by the Systems Engineering (SE) approach for the systematic and efficient planning and execution of the research.

• Nuclear Engineering and Technology
• /
• 제55권9호
• /
• pp.3423-3440
• /
• 2023

In this work, a multivariate time-series machine learning meta-model is developed to predict the transient response of a typical nuclear power plant (NPP) undergoing a steam generator tube rupture (SGTR). The model employs Recurrent Neural Networks (RNNs), including the Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and a hybrid CNN-LSTM model. To address the uncertainty inherent in such predictions, a Bayesian Neural Network (BNN) was implemented. The models were trained using a database generated by the Best Estimate Plus Uncertainty (BEPU) methodology; coupling the thermal hydraulics code, RELAP5/SCDAP/MOD3.4 to the statistical tool, DAKOTA, to predict the variation in system response under various operational and phenomenological uncertainties. The RNN models successfully captures the underlying characteristics of the data with reasonable accuracy, and the BNN-LSTM approach offers an additional layer of insight into the level of uncertainty associated with the predictions. The results demonstrate that LSTM outperforms GRU, while the hybrid CNN-LSTM model is computationally the most efficient. This study aims to gain a better understanding of the capabilities and limitations of machine learning models in the context of nuclear safety. By expanding the application of ML models to more severe accident scenarios, where operators are under extreme stress and prone to errors, ML models can provide valuable support and act as expert systems to assist in decision-making while minimizing the chances of human error.

• 대한전기학회논문지:시스템및제어부문D
• /
• 제53권2호
• /
• pp.127-134
• /
• 2004

In this paper, human motor behaving model based sensory motor coordination(SMC) algorithm is implemented on robotic grasping task. Compare to conventional SMC models which connect sensor to motor directly, the proposed method used biologically inspired human behaving system in conjunction with SMC algorithm for fast grasping force control of robot arm. To characterize various grasping objects, pressure sensors on hand gripper were used. Measured sensory data are simultaneously transferred to perceptual mechanism(PM) and long term memory(LTM), and then the sensory information is forwarded to the fastest channel among several information-processing flows in human motor system. In this model, two motor learning routes are proposed. One of the route uses PM and the other uses short term memory(STM) and LTM structure. Through motor learning procedure, successful information is transferred from STM to LTM. Also, LTM data are used for next moor plan as reference information. STM is designed to single layered perception neural network to generate fast motor plan and receive required data which comes from LTM. Experimental results showed that proposed method can control of the grasping force adaptable to various shapes and types of greasing objects, and also it showed quicker grasping-behavior lumining time compare to simple feedback system.

• 한국수자원학회논문집
• /
• 제54권spc1호
• /
• pp.1107-1118
• /
• 2021

지구온난화로 인해 발생한 기후변화는 한반도의 홍수, 가뭄 등의 발생빈도를 증가시켰으며, 이로 인해 인적, 물적 피해가 증가한 것으로 나타났다. 수재해 대비 및 대응을 위해서는 국가 차원의 수자원 관리 계획 수립이 필요하며, 유역 단위 수자원 관리를 위해서는 장기간 관측된 유량 자료를 이용하여 도출된 유량지속곡선이 필요하다. 전통적으로 수자원 분야에서 유량지속곡선을 도출하기 위하여 물리적 기반의 강우-유출 모형이 많이 사용되고 있으며, 최근에는 데이터 기반의 딥러닝 기법을 이용한 유출량 예측 기법에 관한 연구가 진행된 바 있다. 물리적 기반의 모형은 수문학적으로 신뢰도 높은 결과를 도출할 수 있으나, 사용자의 높은 이해도가 요구되며, 모형 구동 시간이 오래 걸릴 수 있는 단점이 있다. 데이터 기반의 딥러닝 기법의 경우 입력 자료가 간단하며, 모형 구동 시간이 비교적 짧으나 입력 및 출력자료 간의 관계가 블랙박스로 처리되어 수리·수문학적 특성을 반영할 수 없는 단점이 있다. 본 연구에서는 물리적 기반 모형으로 국내외에서 적용성이 검증된 Soil Water Assessment Tool (SWAT)의 매개변수 보정(Calibration)을 통해 장기간의 결측치 없는 데이터를 산출하고, 이를 데이터 기반 딥러닝 기법인 Long Short-term Memory (LSTM)의 훈련(Training) 데이터로 활용하였다. 시계열 데이터 분석 결과 검·보정 전체 기간('07-'18) 동안 Nash-Sutcliffe Efficiency (NSE)와 적합도 비교를 위한 결정계수는 각각 0.04, 0.03 높게 도출되어 모형에서 도출된 SWAT의 결과가 LSTM보다 전반적으로 우수한 것으로 나타났다. 또한, 모형에서 도출된 연도별 시계열 자료를 내림차순하여 산정된 유량지속곡선과 관측유량 기반의 유량지속곡선과 비교한 결과 NSE는 SWAT과 LSTM 각각 0.95, 0.91로 나타났으며, 결정계수는 0.96, 0.92로 두 모형 모두 우수한 성능을 보였다. LSTM 모형의 경우 저유량 부분 모의의 정확도 개선이 필요하나, 방대한 입력 자료로 인해 모형 구축 및 구동 시간이 오래 걸리는 대유역과 입력 자료가 부족한 미계측 유역의 유량지속곡선 산정 등에 활용성이 높을 것으로 판단된다.