• Title/Summary/Keyword: multi layer perceptron

Search Result 436, Processing Time 0.028 seconds

Detection of Abnormal Dam Water Level Data Based on Machine Learning (기계학습에 기반한 댐 수위 이상 데이터 탐지)

  • Bang, Suil;Lee, Do-Gil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.293-296
    • /
    • 2021
  • K-water에서는 다목적댐의 관리를 위해 실시간으로 댐수위, 하천 수위 및 강우량 등을 계측하고 있으며, 계측된 값들은 댐을 효과적으로 운영하는데 필요한 데이터로 활용되고 있다. 특히 댐수위 이상 데이터를 탐지하지 못한 채 그대로 사용할 경우 댐의 방류 시기와 방류량 등을 결정하는 중요한 의사결정을 그르칠 수 있으므로 이를 신속히 탐지하는 것이 매우 중요하다. 현재의 자동화된 이상 데이터 탐지방법 중 하나는 현재 데이터가 최댓값과 최솟값을 초과할 때, 다른 하나는 현재 데이터와 일정 시간 동안의 평균값 간의 차이가 관리자가 정한 특정 값을 벗어났을 때를 기준으로 삼고 있다. 전자는 상한과 하한의 초과 여부만 판단하므로 탐지가 쉬우나 정상범위 내에서 발생한 이상 데이터는 탐지가 불가하다. 후자는 관리자의 경험을 통해 판단 조건을 정하기 때문에 객관성이 결여되는 문제가 있다. 특히 방류와 강우가 복합적으로 댐수위에 영향을 미치는 홍수기에 관리자의 경험에 기초한 이상 데이터 판별은 신뢰성의 문제가 있을 수 있다. 따라서 본 연구에서는 기계학습을 최초로 적용하여 이상 데이터를 탐지하고자 하였다. 댐수위, 누적강우량 및 누적방류량 데이터와 댐수위데이터를 가공하여 생성한 댐수위차, 댐수위차평균, 댐수위평균 등 자질들의 다양한 조합을 만든 후 이를 Random Forest, SVM, AdaptiveBoost 및 다층퍼셉트론(MLP) 등과 같은 여러 가지 기계학습모델 등을 통해 이상 데이터를 판별하는 실험(분류)을 하였다. 실험결과 댐수위, 댐수위차, 댐수위-댐수위평균, 누적강우량, 누적방류량 및 댐수위차평균을 사용하였을 때 MLP에서 가장 우수한 성능을 보였다. 이 연구를 통해서 댐수위 이상 데이터를 기계학습의 분류기능을 통해 효과적으로 탐지할 수 있다는 것과 모델의 성능은 실험에 사용한 자질의 수뿐 아니라 자질의 종류에도 큰 영향을 받는다는 것을 알 수 있었다.

Machine Learning Algorithms Evaluation and CombML Development for Dam Inflow Prediction (댐 유입량 예측을 위한 머신러닝 알고리즘 평가 및 CombML 개발)

  • Hong, Jiyeong;Bae, Juhyeon;Jeong, Yeonseok;Lim, Kyoung Jae
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.317-317
    • /
    • 2021
  • 효율적인 물관리를 위한 댐 유입량 대한 연구는 필수적이다. 본 연구에서는 다양한 머신러닝 알고리즘을 통해 40년동안의 기상 및 댐 유입량 데이터를 이용하여 소양강댐 유입량을 예측하였으며, 그 중 고유량과 저유량예측에 적합한 알고리즘을 각각 선정하여 머신러닝 알고리즘을 결합한 CombML을 개발하였다. 의사 결정 트리 (DT), 멀티 레이어 퍼셉트론 (MLP), 랜덤 포레스트(RF), 그래디언트 부스팅 (GB), RNN-LSTM 및 CNN-LSTM 알고리즘이 사용되었으며, 그 중 가장 정확도가 높은 모형과 고유량이 아닌 경우에서 특별히 예측 정확도가 높은 모형을 결합하여 결합 머신러닝 알고리즘 (CombML)을 개발 및 평가하였다. 사용된 알고리즘 중 MLP가 NSE 0.812, RMSE 77.218 m3/s, MAE 29.034 m3/s, R 0.924, R2 0.817로 댐 유입량 예측에서 최상의 결과를 보여주었으며, 댐 유입량이 100 m3/s 이하인 경우 앙상블 모델 (RF, GB) 이 댐 유입 예측에서 MLP보다 더 나은 성능을 보였다. 따라서, 유입량이 100 m3/s 이상 시의 평균 일일 강수량인 16 mm를 기준으로 강수가 16mm 이하인 경우 앙상블 방법 (RF 및 GB)을 사용하고 강수가 16 mm 이상인 경우 MLP를 사용하여 댐 유입을 예측하기 위해 두 가지 복합 머신러닝(CombML) 모델 (RF_MLP 및 GB_MLP)을 개발하였다. 그 결과 RF_MLP에서 NSE 0.857, RMSE 68.417 m3/s, MAE 18.063 m3/s, R 0.927, R2 0.859, GB_MLP의 경우 NSE 0.829, RMSE 73.918 m3/s, MAE 18.093 m3/s, R 0.912, R2 0.831로 CombML이 댐 유입을 가장 정확하게 예측하는 것으로 평가되었다. 본 연구를 통해 하천 유황을 고려한 여러 머신러닝 알고리즘의 결합을 통한 유입량 예측 결과, 알고리즘 결합 시 예측 모형의 정확도가 개선되는 것이 확인되었으며, 이는 추후 효율적인 물관리에 이용될 수 있을 것으로 판단된다.

  • PDF

Classification of Fiber Tracts Changed by Nerve Injury and Electrical Brain Stimulation Using Machine Learning Algorithm in the Rat Brain (신경 손상과 전기 뇌 자극에 의한 흰쥐의 뇌 섬유 경로 변화에 대한 기계학습 판별)

  • Sohn, Jin-Hun;Eum, Young-Ji;Cheong, Chaejoon;Cha, Myeounghoon;Lee, Bae Hwan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.701-702
    • /
    • 2021
  • The purpose of the study was to identify fiber changes induced by electrical stimulation of a certain neural substrate in the rat brain. In the stimulation group, the peripheral nerve was injured and the brain area associated to inhibit sensory information was electrically stimulated. There were sham and sham stimulation groups as controls. Then high-field diffusion tensor imaging (DTI) was acquired. 35 features were taken from the DTI measures from 7 different brain pathways. To compare the efficacy of the classification for 3 animal groups, the linear regression analysis (LDA) and the machine learning technique (MLP) were applied. It was found that the testing accuracy by MLP was about 77%, but that of accuracy by LDA was much higher than MLP. In conclusion, machine learning algorithm could be used to identify and predict the changes of the brain white matter in some situations. The limits of this study will be discussed.

  • PDF

Study on Soil Moisture Predictability using Machine Learning Technique (머신러닝 기법을 활용한 토양수분 예측 가능성 연구)

  • Jo, Bongjun;Choi, Wanmin;Kim, Youngdae;kim, Kisung;Kim, Jonggun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.248-248
    • /
    • 2020
  • 토양수분은 증발산, 유출, 침투 등 물수지 요소들과 밀접한 연관이 있는 주요한 변수 중에 하나이다. 토양수분의 정도는 토양의 특성, 토지이용 형태, 기상 상태 등에 따라 공간적으로 상이하며, 특히 기상 상태에 따라 시간적 변동성을 보이고 있다. 기존 토양수분 측정은 토양시료 채취를 통한 실내 실험 측정과 측정 장비를 통한 현장 조사 방법이 있으나 시간적, 경제적 한계점이 있으며, 원격탐사 기법은 공간적으로 넓은 범위를 포함하지만 시간 해상도가 낮은 단점이 있다. 또한, 모델링을 통한 토양수분 예측 기술은 전문적인 지식이 요구되며, 복잡한 입력자료의 구축이 요구된다. 최근 머신러닝 기법은 수많은 자료 학습을 통해 사용자가 원하는 출력값을 도출하는데 널리 활용되고 있다. 이에 본 연구에서는 토양수분과 연관된 다양한 기상 인자들(강수량, 풍속, 습도 등)을 활용하여 머신러닝기법의 반복학습을 통한 토양수분의 예측 가능성을 분석하고자 한다. 이를 위해 시공간적으로 토양수분 실측 자료가 잘 구축되어 있는 청미천과 설마천 유역을 대상으로 머신러닝 기법을 적용하였다. 두 대상지에서 2008년~2012년 수문자료를 확보하였으며, 기상자료는 기상자료개방포털과 WAMIS를 통해 자료를 확보하였다. 토양수분 자료와 기상자료를 머신러닝 알고리즘을 통해 학습하고 2012년 기상 자료를 바탕으로 토양수분을 예측하였다. 사용되는 머신러닝 기법은 의사결정 나무(Decision Tree), 신경망(Multi Layer Perceptron, MLP), K-최근접 이웃(K-Nearest Neighbors, KNN), 서포트 벡터 머신(Support Vector Machine, SVM), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 (Gradient Boosting)이다. 토양수분과 기상인자 간의 상관관계를 분석하기 위해 히트맵(Heat Map)을 이용하였다. 히트맵 분석 결과 토양수분의 시간적 변동은 다양한 기상 자료 중 강수량과 상대습도가 가장 큰 영향력을 보여주었다. 또한 다양한 기상 인자 기반 머신러닝 기법 적용 결과에서는 두 지역 모두 신경망(MLP) 기법을 제외한 모든 기법이 전반적으로 실측값과 유사한 형태를 보였으며 비교 그래프에서도 실측값과 예측 값이 유사한 추세를 나타냈다. 따라서 상관관계있는 과거 기상자료를 통해 머신러닝 기법 기반 토양수분의 시간적 변동 예측이 가능할 것으로 판단된다.

  • PDF

Demand Forecast For Empty Containers Using MLP (MLP를 이용한 공컨테이너 수요예측)

  • DongYun Kim;SunHo Bang;Jiyoung Jang;KwangSup Shin
    • The Journal of Bigdata
    • /
    • v.6 no.2
    • /
    • pp.85-98
    • /
    • 2021
  • The pandemic of COVID-19 further promoted the imbalance in the volume of imports and exports among countries using containers, which worsened the shortage of empty containers. Since it is important to secure as many empty containers as the appropriate demand for stable and efficient port operation, measures to predict demand for empty containers using various techniques have been studied so far. However, it was based on long-term forecasts on a monthly or annual basis rather than demand forecasts that could be used directly by ports and shipping companies. In this study, a daily and weekly prediction method using an actual artificial neural network is presented. In details, the demand forecasting model has been developed using multi-layer perceptron and multiple linear regression model. In order to overcome the limitation from the lack of data, it was manipulated considering the business process between the loaded container and empty container, which the fully-loaded container is converted to the empty container. From the result of numerical experiment, it has been developed the practically applicable forecasting model, even though it could not show the perfect accuracy.

Ensembles of neural network with stochastic optimization algorithms in predicting concrete tensile strength

  • Hu, Juan;Dong, Fenghui;Qiu, Yiqi;Xi, Lei;Majdi, Ali;Ali, H. Elhosiny
    • Steel and Composite Structures
    • /
    • v.45 no.2
    • /
    • pp.205-218
    • /
    • 2022
  • Proper calculation of splitting tensile strength (STS) of concrete has been a crucial task, due to the wide use of concrete in the construction sector. Following many recent studies that have proposed various predictive models for this aim, this study suggests and tests the functionality of three hybrid models in predicting the STS from the characteristics of the mixture components including cement compressive strength, cement tensile strength, curing age, the maximum size of the crushed stone, stone powder content, sand fine modulus, water to binder ratio, and the ratio of sand. A multi-layer perceptron (MLP) neural network incorporates invasive weed optimization (IWO), cuttlefish optimization algorithm (CFOA), and electrostatic discharge algorithm (ESDA) which are among the newest optimization techniques. A dataset from the earlier literature is used for exploring and extrapolating the STS behavior. The results acquired from several accuracy criteria demonstrated a nice learning capability for all three hybrid models viz. IWO-MLP, CFOA-MLP, and ESDA-MLP. Also in the prediction phase, the prediction products were in a promising agreement (above 88%) with experimental results. However, a comparative look revealed the ESDA-MLP as the most accurate predictor. Considering mean absolute percentage error (MAPE) index, the error of ESDA-MLP was 9.05%, while the corresponding value for IWO-MLP and CFOA-MLP was 9.17 and 13.97%, respectively. Since the combination of MLP and ESDA can be an effective tool for optimizing the concrete mixture toward a desirable STS, the last part of this study is dedicated to extracting a predictive formula from this model.

Masking Exponential-Based Neural Network via Approximated Activation Function (활성화 함수 근사를 통한 지수함수 기반 신경망 마스킹 기법)

  • Joonsup Kim;GyuSang Kim;Dongjun Park;Sujin Park;HeeSeok Kim;Seokhie Hong
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.33 no.5
    • /
    • pp.761-773
    • /
    • 2023
  • This paper proposes a method to increase the power-analysis resistance of the neural network model's feedforward process by replacing the exponential-based activation function, used in the deep-learning field, with an approximated function especially at the multi-layer perceptron model. Due to its nature, the feedforward process of neural networks calculates secret weight and bias, which already trained, so it has risk of exposure of internal information by side-channel attacks. However, various functions are used as the activation function in neural network, so it's difficult to apply conventional side-channel countermeasure techniques, such as masking, to activation function(especially, to exponential-based activation functions). Therefore, this paper shows that even if an exponential-based activation function is replaced with approximated function of simple form, there is no fatal performance degradation of the model, and than suggests a power-analysis resistant feedforward neural network with exponential-based activation function, by masking approximated function and whole network.

Side-Channel Archive Framework Using Deep Learning-Based Leakage Compression (딥러닝을 이용한 부채널 데이터 압축 프레임 워크)

  • Sangyun Jung;Sunghyun Jin;Heeseok Kim
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.34 no.3
    • /
    • pp.379-392
    • /
    • 2024
  • With the rapid increase in data, saving storage space and improving the efficiency of data transmission have become critical issues, making the research on the efficiency of data compression technologies increasingly important. Lossless algorithms can precisely restore original data but have limited compression ratios, whereas lossy algorithms provide higher compression rates at the expense of some data loss. There has been active research in data compression using deep learning-based algorithms, especially the autoencoder model. This study proposes a new side-channel analysis data compressor utilizing autoencoders. This compressor achieves higher compression rates than Deflate while maintaining the characteristics of side-channel data. The encoder, using locally connected layers, effectively preserves the temporal characteristics of side-channel data, and the decoder maintains fast decompression times with a multi-layer perceptron. Through correlation power analysis, the proposed compressor has been proven to compress data without losing the characteristics of side-channel data.

Evaluation of the Bending Moment of FRP Reinforced Concrete Using Artificial Neural Network (인공신경망을 이용한 FRP 보강 콘크리트 보의 휨모멘트 평가)

  • Park, Do Kyong
    • Journal of the Korea institute for structural maintenance and inspection
    • /
    • v.10 no.5
    • /
    • pp.179-186
    • /
    • 2006
  • In this study, Multi-Layer Perceptron(MLP) among models of Artificial Neural Network(ANN) is used for the development of a model that evaluates the bending capacities of reinforced concrete beams strengthened by FRP Rebar. And the data of the existing researches are used for materials of ANN model. As the independent variables of input layer, main components of bending capacities, width, effective depth, compressive strength, reinforcing ratio of FRP, balanced steel ratio of FRP are used. And the moment performance measured in the experiment is used as the dependent variable of output layer. The developed model of ANN could be applied by GFRP, CFRP and AFRP Rebar and the model is verified by using the documents of other previous researchers. As the result of the ANN model presumption, comparatively precise presumption values are achieved to presume its bending capacities at the model of ANN(0.05), while observing remarkable errors in the model of ANN(0.1). From the verification of the ANN model, it is identified that the presumption values comparatively correspond to the given data ones of the experiment. In addition, from the Sensitivity Analysis of evaluation variables of bending performance, effective depth has the highest influence, followed by steel ratio of FRP, balanced steel ratio, compressive strength and width in order.

A Neural Network for Long-Term Forecast of Regional Precipitation (지역별 중장기 강수량 예측을 위한 신경망 기법)

  • Kim, Ho-Joon;Paek, Hee-Jeong;Kwon, Won-Tae
    • Journal of the Korean Association of Geographic Information Studies
    • /
    • v.2 no.2
    • /
    • pp.69-78
    • /
    • 1999
  • In this paper, a neural network approach to forecast Korean regional precipitation is presented. We first analyze the characteristics of the conventional models for time series prediction, and then propose a new model and its learning method for the precipitation forecast. The proposed model is a layered network in which the outputs of a layer are buffered within a given period time and then fed fully connected to the upper layer. This study adopted the dual connections between two layers for the model. The network behavior and learning algorithm for the model are also described. The dual connection structure plays the role of the bias of the ordinary Multi-Layer Perceptron(MLP), and reflects the relationships among the features effectively. From these advantageous features, the model provides the learning efficiency in comparison with the FIR network, which is the most popular model for time series prediction. We have applied the model to the monthly and seasonal forecast of precipitation. The precipitation data and SST(Sea Surface Temperature) data for several decades are used as the learning pattern for the neural network predictor. The experimental results have shown the validity of the proposed model.

  • PDF