• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.114-114
• /
• 2022

딥러닝의 학습 및 예측성능을 개선하기 위해서는 딥러닝 기법 내 연산과정의 개선과 함께 학습 및 예측에 사용되는 데이터의 전처리 과정이 중요하다. 본 연구에서는 딥러닝의 성능을 개량하기 위해 제안된 메타휴리스틱 최적화 알고리즘-딥러닝 결합모형과 데이터 전처리 기법을 통해 댐의 수위를 예측하였다. 수위예측을 위해 Multi-Layer Perceptron(MLP), 메타휴리스틱 최적화 알고리즘인 Harmony Search(HS)와 딥러닝을 결합한 MLP using a HS(MLPHS) 및 Exponential Bandwidth Harmony Search with Centralized Global Search(EBHS-CGS)와 딥러닝을 결합한MLP using a EBHS-CGS(MLPEBHS)를 통해 댐의 수위를 예측하였다. 메타휴리스틱 최적화 알고리즘-딥러닝 결합모형의 학습 및 예측성능을 개선하기 위해 학습 및 예측을 위한 자료를 기반으로 데이터 전처리기법을 적용하였다. 적용된 데이터 전처리 기법은 정규화, 수위구간별 사상(Event)분리 및 수위 변동에 대한 자료의 구분이다. 수위예측을 위한 대상유역은 금강유역에 위치한 대청댐으로 선정하였다. 대청댐의 수위예측을 위해 대청댐 상류에 위치하는 수위관측소 3개소를 선정하여 수위자료를 취득하였다. 각 수위관측소에서 취득한 수위자료를 입력자료로 설정하였으며, 대청댐의 수위자료를 출력자료로 설정하여 메타휴리스틱 최적화 알고리즘-딥러닝 모형의 학습을 진행하였다. 각 수위관측소 및 대청댐에서 취득한 수위자료는 2010년부터 2020년까지 총 11년의 일 단위 수위자료이며, 2010년부터 2019년까지의 자료를 학습자료로 사용하였으며, 2020년의 자료를 예측 및 검증자료로 사용하였다.

• Journal of the Semiconductor & Display Technology
• /
• v.22 no.2
• /
• pp.6-10
• /
• 2023

High-potential data can be predicted and stored in the cache to prevent cache misses, thus reducing the processor's request and wait times. As a result, the processor can work non-stop, hiding memory latency. By utilizing the temporal/spatial locality of memory access, the prefetcher introduced to improve the performance of these computers predicts the following memory address will be accessed. We propose a prefetcher that applies the GRU model, which is advantageous for handling time series data. Display the currently accessed address in binary and use it as training data to train the Gated Recurrent Unit model based on the difference (delta) between consecutive memory accesses. Finally, using a GRU model with learned memory access patterns, the proposed data prefetcher predicts the memory address to be accessed next. We have compared the model with the multi-layer perceptron, but our prefetcher showed better results than the Multi-Layer Perceptron.

• Smart Structures and Systems
• /
• v.32 no.1
• /
• pp.37-47
• /
• 2023

Indirect determination of pan evaporation (PE) has been highly regarded, due to the advantages of intelligent models employed for this objective. This work pursues improving the reliability of a popular intelligent model, namely multi-layer perceptron (MLP) through surmounting its computational knots. Available climatic data of Fresno weather station (California, USA) is used for this study. In the first step, testing several most common trainers of the MLP revealed the superiority of the Levenberg-Marquardt (LM) algorithm. It, therefore, is considered as the classical training approach. Next, the optimum configurations of two metaheuristic algorithms, namely cuttlefish optimization algorithm (CFOA) and teaching-learning-based optimization (TLBO) are incorporated to optimally train the MLP. In these two models, the LM is replaced with metaheuristic strategies. Overall, the results demonstrated the high competency of the MLP (correlations above 0.997) in the presence of all three strategies. It was also observed that the TLBO enhances the learning and prediction accuracy of the classical MLP (by nearly 7.7% and 9.2%, respectively), while the CFOA performed weaker than LM. Moreover, a comparison between the efficiency of the used metaheuristic optimizers showed that the TLBO is a more time-effective technique for predicting the PE. Hence, it can serve as a promising approach for indirect PE analysis.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.186-186
• /
• 2022

강수 및 침투 등으로 발생하는 지하수위의 변동을 예측하는 것은 지하수 자원의 활용 및 관리에 필수적이다. 지하수위의 변동은 지하수 자원의 활용 및 관리뿐만이 아닌 홍수 발생과 지반의 응력상태 등에 직접적인 영향을 미치기 때문에 정확한 예측이 필요하다. 본 연구는 인공신경망 중 다층퍼셉트론(Multi Layer Perceptron, MLP)을 이용한 지하수위 예측성능 향상을 위해 MLP의 구조 중 Optimizer를 개량하였다. MLP는 입력자료와 출력자료간 최적의 상관관계(가중치 및 편향)를 찾는 Optimizer와 출력되는 값을 결정하는 활성화 함수의 연산을 반복하여 학습한다. 특히 Optimizer는 신경망의 출력값과 관측값의 오차가 최소가 되는 상관관계를 찾는 연산자로써 MLP의 학습 및 예측성능에 직접적인 영향을 미친다. 기존의 Optimizer는 경사하강법(Gradient Descent, GD)을 기반으로 하는 Optimizer를 사용했다. 하지만 기존의 Optimizer는 미분을 이용하여 상관관계를 찾기 때문에 지역탐색 위주로 진행되며 기존에 생성된 상관관계를 저장하는 구조가 없어 지역 최적해로 수렴할 가능성이 있다는 단점이 있다. 본 연구에서는 기존 Optimizer의 단점을 개선하기 위해 지역탐색과 전역탐색을 동시에 고려할 수 있으며 기존의 해를 저장하는 구조가 있는 메타휴리스틱 최적화 알고리즘을 이용하였다. 메타휴리스틱 최적화 알고리즘 중 구조가 간단한 화음탐색법(Harmony Search, HS)과 GD의 결합모형(HS-GD)을 MLP의 Optimizer로 사용하여 기존 Optimizer의 단점을 개선하였다. HS-GD를 이용한 MLP의 성능검토를 위해 이천시 지하수위 예측을 실시하였으며 예측 결과를 기존의 Optimizer를 이용한 MLP 및 HS를 이용한 MLP의 예측결과와 비교하였다.

• Steel and Composite Structures
• /
• v.44 no.6
• /
• pp.867-882
• /
• 2022

Predicting the compressive strength of concrete (CSoC) is of high significance in civil engineering. The CSoC is a highly dependent and non-linear parameter that requires powerful models for its simulation. In this work, two novel optimization techniques, namely evaporation rate-based water cycle algorithm (ER-WCA) and equilibrium optimizer (EO) are employed for optimally finding the parameters of a multi-layer perceptron (MLP) neural processor. The efficiency of these techniques is examined by comparing the results of the ensembles to a conventionally trained MLP. It was observed that the ER-WCA and EO optimizers can enhance the training accuracy of the MLP by 11.18 and 3.12% (in terms of reducing the root mean square error), respectively. Also, the correlation of the testing results climbed from 78.80% to 82.59 and 80.71%. From there, it can be deduced that both ER-WCA-MLP and EO-MLP can be promising alternatives to the traditional approaches. Moreover, although the ER-WCA enjoys a larger accuracy, the EO was more efficient in terms of complexity, and consequently, time-effectiveness.

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 1993.04b
• /
• pp.262-266
• /
• 1993

The development of COPS(Computer aided Operation Planning System) needs data mapping paradigm which provides intelligent determonation of cutting conditions from the requirements of process planning side. We proposed the idea of multi-level mapping by the combination of heuristics of domain experts and mathematical abstraction of cutting condition and requirements. Mathematical mathods for the generalization of heuristics were constructed by multi-layer perceptron. DBMS for determination of cutting conditions was constructed by classification and combination of best fitted models. Triangular fuzzy number was used to process the uncertainties in heuristics of experts.

• Proceedings of the Korea Database Society Conference
• /
• 1999.06a
• /
• pp.415-421
• /
• 1999

Altman의 연구(1965, 1977)나 Beaver의 연구(1986)와 같은 전통적 예측모형은 분석자의 판단에 따른 예측도가 높은 재무비율을 선정하여 다변량판별분석(MDA： multiple discriminant analysis), 로지스틱회귀분석 등과 같은 통계기법을 주로 이용해 왔으나 1980년 후반부터 인공지능 기법인 귀납적 학습방법, 인공신경망모형, 유전모형 둥이 부실기업예측에 응용되기 시작했다. 최근 연구에서는 인공신경망을 활용한 변수 및 모형개발에 관한 보고가 있다. 그러나 지금까지의 연구가 주로 기업의 재무적 비율지표를 고려한 모형에 치중되었으며 정성적 자료인 비재무지표에 대한 검증과 선정이 자의적으로 이루어져온 경향이었다. 또한 너무 많은 입력변수를 사용할 경우 다중공선성 문제를 유발시킬 위험을 내포하고 있다. 본 연구에서는 부실기업예측모형을 수립하기 위하여 정량적 요인인 재무적 지표변수와 정성적요인인 비재무적 지표변수를 모두 고려하였다. 재무적 지표변수는 상관분석 및 요인분석들을 통하여 유의한 변수들을 도출하였으며 비재무적 지표변수는 조직생태학내에서의 조직군내 조직사멸과 관련된 생태적 과정에 대한 요인들 중 조직군 내적요인으로 조직의 연령, 조직의 규모, 조직의 산업밀도를 도출하여 4개의 실험집단으로 분류하여 비재무적 지표변수를 보완하였다. 인공신경망은 다층퍼셉트론(multi-layer perceptrons)과 역방향 학습(back-propagation )알고리듬으로 입력변수와 출력변수, 그리고 하나의 은닉층을 가지는 3층 퍼셉트론(three layer perceptron)을 사용하였으며 은닉충의 노드(node)수는 3개를 사용하였다. 입력변수로 안정성, 활동성, 수익성, 성장성을 나타내는 재무적 지표변수와 조직규모, 조직연령, 그 조직이 속한 산업의 밀도를 비재무적 지표변수로 산정하여 로지스틱회귀 분석과 인공신경망 기법으로 검증하였다. 로지스틱회귀분석 결과에서는 재무적 지표변수 모형의 전체적 예측적중률이 87.50%인 반면에 재무/비재무적 지표모형은 90.18%로서 비재무적 지표변수 사용에 대한 개선의 효과가 나타났다. 표본기업들을 훈련과 시험용으로 구분하여 분석한 결과는 전체적으로 재무/비재무적 지표를 고려한 인공신경망기법의 예측적중률이 높은 것으로 나타났다. 즉, 로지스틱회귀분석의 재무적 지표모형은 훈련, 시험용이 84.45%, 85.10%인 반면, 재무/비재무적 지표모형은 84.45%, 85.08%로서 거의 동일한 예측적중률을 가졌으나 인공신경망기법 분석에서는 재무적 지표모형이 92.23%, 85.10%인 반면, 재무/비재무적 지표모형에서는 91.12%, 88.06%로서 향상된 예측적 중률을 나타내었다.

• Journal of Korea Water Resources Association
• /
• v.56 no.1
• /
• pp.63-74
• /
• 2023

High-reliability prediction of dam inflow is necessary for efficient dam operation. Recently, studies were conducted to predict the inflow of dams using Multi Layer Perceptron (MLP). Existing studies used the Gradient Descent (GD)-based optimizer as the optimizer among MLP operators to find the optimal correlation between data. However, the GD-based optimizers have disadvantages in that the prediction performance is deteriorated due to the possibility of convergence to the local optimal value and the absence of storage space. This study improved the shortcomings of the GD-based optimizer by developing Adaptive moments combined with Improved Harmony Search (AdamIHS), which combines Adaptive moments among GD-based optimizers and Improved Harmony Search (IHS). In order to evaluate the learning and prediction performance of MLP using AdamIHS, Daecheong Dam inflow was learned and predicted and compared with the learning and prediction performance of MLP using GD-based optimizer. Comparing the learning results, the Mean Squared Error (MSE) of MLP, which is 5 hidden layers using AdamIHS, was the lowest at 11,577. Comparing the prediction results, the average MSE of MLP, which is one hidden layer using AdamIHS, was the lowest at 413,262. Using AdamIHS developed in this study, it will be possible to show improved prediction performance in various fields.

• International Journal of Control, Automation, and Systems
• /
• v.2 no.4
• /
• pp.423-434
• /
• 2004

In this paper, we introduce a new topology of Self-Organizing Polynomial Neural Networks (SOPNN) based on genetically optimized Multi-Layer Perceptron (MLP) and discuss its comprehensive design methodology involving mechanisms of genetic optimization. Let us recall that the design of the 'conventional' SOPNN uses the extended Group Method of Data Handling (GMDH) technique to exploit polynomials as well as to consider a fixed number of input nodes at polynomial neurons (or nodes) located in each layer. However, this design process does not guarantee that the conventional SOPNN generated through learning results in optimal network architecture. The design procedure applied in the construction of each layer of the SOPNN deals with its structural optimization involving the selection of preferred nodes (or PNs) with specific local characteristics (such as the number of input variables, the order of the polynomials, and input variables) and addresses specific aspects of parametric optimization. An aggregate performance index with a weighting factor is proposed in order to achieve a sound balance between the approximation and generalization (predictive) abilities of the model. To evaluate the performance of the GA-based SOPNN, the model is experimented using pH neutralization process data as well as sewage treatment process data. A comparative analysis indicates that the proposed SOPNN is the model having higher accuracy as well as more superb predictive capability than other intelligent models presented previously.reviously.

• Journal of Korea Water Resources Association
• /
• v.38 no.7 s.156
• /
• pp.575-584
• /
• 2005

The judgement model to warn of possible pollution accident is constructed by multi-perceptron, multi layer neural network, neuro-fuzzy and it is trained stability, notice, and warming situation due to developed standard axis. The water quality forecasting model is linked to the runoff forecasting model, and joined with the judgement model to warn of possible pollution accident, which completes the artificial intelligence warning system. And GUI (Graphic User Interface) has been designed for that system. GUI screens, in order of process, are main page, data edit, discharge forecasting, water quality forecasting, warming system. The application capability of the system was estimated by the pollution accident scenario. Estimation results verify that the artificial intelligence warning system can be a reasonable judgement of the noized water pollution data.