• Journal of KIISE:Information Networking
• /
• v.32 no.3
• /
• pp.301-309
• /
• 2005

Learning program's behavior using machine learning techniques based on system call audit data is an effective intrusion detection method. Rule teaming, neural network, statistical technique, and hidden Markov model are representative methods for intrusion detection. Among them neural networks are known for its good performance in teaming system call sequences. In order to apply it to real world problems successfully, it is important to determine their structure. However, finding appropriate structure requires very long time because there are no formal solutions for determining the structure of networks. In this paper, a novel intrusion detection technique using evolutionary neural networks is proposed. Evolutionary neural networks have the advantage that superior neural networks can be obtained in shorter time than the conventional neural networks because it leams the structure and weights of neural network simultaneously Experimental results against 1999 DARPA IDEVAL data confirm that evolutionary neural networks are effective for intrusion detection.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2019.05a
• /
• pp.363-363
• /
• 2019

활성화 함수(activation function)는 기계학습(machine learning)의 학습과정에 비선형성을 도입하여 심층적인 학습을 용이하게 하고 예측의 정확도를 높이는 중요한 요소 중 하나이다(Roy et al., 2019). 일반적으로 기계학습에서 사용되고 있는 활성화 함수의 종류에는 계단 함수(step function), 시그모이드 함수(sigmoid 함수), 쌍곡 탄젠트 함수(hyperbolic tangent function), ReLU 함수(Rectified Linear Unit function) 등이 있으며, 예측의 정확도 향상을 위하여 다양한 형태의 활성화 함수가 제시되고 있다. 본 연구에서는 기계학습을 통하여 수위예측 시 정확도 향상을 위하여 Hybrid 활성화 함수를 제안하였다. 연구대상지는 조수간만의 영향을 받는 한강을 대상으로 선정하였으며, 2009년 ~ 2018년까지 10년간의 수문자료를 활용하였다. 수위예측 알고리즘은 Python 내 Tensorflow의 RNN (Recurrent Neural Networks) 모델을 이용하였으며, 강수량, 수위, 조위, 댐 방류량, 하천 유량의 수문자료를 학습시켜 3시간 및 6시간 후의 수위를 예측하였다. 예측정확도 향상을 위하여 입력 데이터는 정규화(Normalization)를 시켰으며, 민감도 분석을 통하여 신경망모델의 은닉층 개수, 학습률의 최적 값을 도출하였다. Hybrid 활성화 함수는 쌍곡 탄젠트 함수와 ReLU 함수를 혼합한 형태로 각각의 가중치($w_1,w_2,w_1+w_2=1$)를 변경하여 정확도를 평가하였다. 그 결과 가중치의 비($w_1/w_2$)에 따라서 예측 결과의 RMSE(Roote Mean Square Error)가 최소가 되고 NSE (Nash-Sutcliffe model Efficiency coefficient)가 최대가 되는 지점과 Peak 수위의 예측정확도가 최대가 되는 지점을 확인할 수 있었다. 본 연구는 현재 Data modeling을 통한 수위예측의 정확도 향상을 위해 기초가 되는 연구이나, 향후 다양한 형태의 활성화 함수를 제안하여 정확도를 향상시킨다면 예측 결과를 통하여 침수예보에 대한 의사결정이 가능할 것으로 기대된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.292-292
• /
• 2023

본 연구에서는 인공신경망을 이용한 통계적 모형을 구성하여 금강권역의 봄철(3~5월) 강수량 예측을 수행하였다. 통계적 모형의 예측인자로서는 NOAA 등에서 제공하는 AAO, AMM, AO 등 36종의 기후지수와 대상권역인 금강권역의 강수량, 기온 등의 기상인자 8종 등 총 44종의 기후지수를 활용하였다. 예측대상기간을 기준으로 선행기간(1~18개월)에 따른 상관성을 분석하여 상관도가 높은 10개의 기후지수를 예측인자로 선정하였다. 예측모형 형태는 10개의 입력층과 1개의 은닉층으로 되어 있는 인공신경망모형을 구성하였다. 모형 구성과정에서의 불확실성을 최소화하고 예측모형의 적합도를 높이기 위해 예측대상기간을 기준으로 과거 40년간의 자료에 대해 임의로 20년간 자료를 선별하여 모형을 구성하고, 너머지 기간에 대해 검증하는 무작위 교차검증을 반복하여, 예측대상기간 및 예측시점에 따라 각각 적합도가 높은 1000개의 예측모형을 선별하였다. 과거기간(1991~2022년)을 대상으로 예측시점에 따라 각 연도별 1000개의 예측결과를 도출하여, 실제 해당년도의 관측값과의 비교를 통해 예측성을 분석하였다. 예측성은 크게 예측치의 최대값과 최소값 범위 및 예측치의 25%~75% 범위 안에 관측치가 포함될 확률, 그리고 과거 관측값의 3분위 구간을 기준으로 한 예측확률 등을 평가하였다. 관측치가 예측치의 범위 안에 포함될 확률은 평균 87.5%, 예측치의 25~75% 범위 안에 포함될 확률은 30.2%로 나타났으며, 3분위 예측확률은 35.6%로 분석되었다. 관측값과의 일대일 비교는 정확도가 떨어지지만 3분위 예측확률이 33.3% 이상인 점으로 볼 때 예측성은 확보된다고 볼 수 있다. 다만, 우리나라 강수량의 불규칙성과 통계적 모형 특성상 과거 관측되지 않은 패턴에 대해서는 예측이 어려운 문제가 있어, 특정년도의 예측결과가 관측치를 크게 벗어나는 경우도 종종 나타나고 있다.

• Journal of Korea Water Resources Association
• /
• v.47 no.9
• /
• pp.825-838
• /
• 2014

The stationary Markov chain model has been widely used as a daily rainfall simulation model. A main assumption of the stationary Markov model is that statistical characteristics do not change over time and do not have any trends. In other words, the stationary Markov chain model for daily rainfall simulation essentially can not incorporate any changes in mean or variance into the model. Here we develop a Non-stationary hidden Markov chain model (NHMM) based stochastic downscaling scheme for simulating the daily rainfall sequences, using general circulation models (GCMs) as inputs. It has been acknowledged that GCMs perform well with respect to annual and seasonal variation at large spatial scale and they stand as one of the primary sources for obtaining forecasts. The proposed model is applied to daily rainfall series at three stations in Nakdong watershed. The model showed a better performance in reproducing most of the statistics associated with daily and seasonal rainfall. In particular, the proposed model provided a significant improvement in reproducing the extremes. It was confirmed that the proposed model could be used as a downscaling model for the purpose of generating plausible daily rainfall scenarios if elaborate GCM forecasts can used as a predictor. Also, the proposed NHMM model can be applied to climate change studies if GCM based climate change scenarios are used as inputs.

• Journal of Korea Water Resources Association
• /
• v.36 no.2
• /
• pp.195-209
• /
• 2003

Spatial-Stochastic Neural Networks Model(SSNNM) is used to estimate long-term streamflow in the parallel reservoir groups. SSNNM employs two kinds of backpropagation algorithms, based on LMBP and BFGS-QNBP separately. SSNNM has three layers, input, hidden, and output layer, in the structure and network configuration consists of 8-8-2 nodes one by one. Nodes in input layer are composed of streamflow, precipitation, pan evaporation, and temperature with the monthly average values collected from Andong and Imha reservoir. But some temporal differences apparently exist in their time series. For the SSNNM training procedure, the training sets in input layer are generated by the PARMA(1,1) stochastic model and they covers insufficient time series. Generated data series are used to train SSNNM and the model parameters, optimal connection weights and biases, are estimated during training procedure. They are applied to evaluate model validation using observed data sets. In this study, the new approaches give outstanding results by the comparison of statistical analysis and hydrographs in the model validation. SSNNM will help to manage and control water distribution and give basic data to develop long-term coupled operation system in parallel reservoir groups of the Upper Nakdong River.

• KSCE Journal of Civil and Environmental Engineering Research
• /
• v.26 no.6B
• /
• pp.597-603
• /
• 2006

The purpose of this study is to improve the short term rainfall forecast skill using neural network model that can deal with the non-linear behavior between satellite data and ground observation, and minimize the flood damage. To overcome the geographical limitation of Korean peninsula and get the long forecast lead time of 3 to 6 hour, the developed rainfall forecast model took satellite imageries and wide range AWS data. The architecture of neural network model is a multi-layer neural network which consists of one input layer, one hidden layer, and one output layer. Neural network is trained using a momentum back propagation algorithm. Flood was estimated using rainfall forecasts. We developed a dynamic flood inundation model which is associated with 1-dimensional flood routing model. Therefore the model can forecast flood aspect in a protected lowland by levee failure of river. In the case of multiple levee breaks at main stream and tributaries, the developed flood inundation model can estimate flood level in a river and inundation level and area in a protected lowland simultaneously.

• Proceedings of the Korea Database Society Conference
• /
• 1999.06a
• /
• pp.415-421
• /
• 1999

Altman의 연구(1965, 1977)나 Beaver의 연구(1986)와 같은 전통적 예측모형은 분석자의 판단에 따른 예측도가 높은 재무비율을 선정하여 다변량판별분석(MDA： multiple discriminant analysis), 로지스틱회귀분석 등과 같은 통계기법을 주로 이용해 왔으나 1980년 후반부터 인공지능 기법인 귀납적 학습방법, 인공신경망모형, 유전모형 둥이 부실기업예측에 응용되기 시작했다. 최근 연구에서는 인공신경망을 활용한 변수 및 모형개발에 관한 보고가 있다. 그러나 지금까지의 연구가 주로 기업의 재무적 비율지표를 고려한 모형에 치중되었으며 정성적 자료인 비재무지표에 대한 검증과 선정이 자의적으로 이루어져온 경향이었다. 또한 너무 많은 입력변수를 사용할 경우 다중공선성 문제를 유발시킬 위험을 내포하고 있다. 본 연구에서는 부실기업예측모형을 수립하기 위하여 정량적 요인인 재무적 지표변수와 정성적요인인 비재무적 지표변수를 모두 고려하였다. 재무적 지표변수는 상관분석 및 요인분석들을 통하여 유의한 변수들을 도출하였으며 비재무적 지표변수는 조직생태학내에서의 조직군내 조직사멸과 관련된 생태적 과정에 대한 요인들 중 조직군 내적요인으로 조직의 연령, 조직의 규모, 조직의 산업밀도를 도출하여 4개의 실험집단으로 분류하여 비재무적 지표변수를 보완하였다. 인공신경망은 다층퍼셉트론(multi-layer perceptrons)과 역방향 학습(back-propagation )알고리듬으로 입력변수와 출력변수, 그리고 하나의 은닉층을 가지는 3층 퍼셉트론(three layer perceptron)을 사용하였으며 은닉충의 노드(node)수는 3개를 사용하였다. 입력변수로 안정성, 활동성, 수익성, 성장성을 나타내는 재무적 지표변수와 조직규모, 조직연령, 그 조직이 속한 산업의 밀도를 비재무적 지표변수로 산정하여 로지스틱회귀 분석과 인공신경망 기법으로 검증하였다. 로지스틱회귀분석 결과에서는 재무적 지표변수 모형의 전체적 예측적중률이 87.50%인 반면에 재무/비재무적 지표모형은 90.18%로서 비재무적 지표변수 사용에 대한 개선의 효과가 나타났다. 표본기업들을 훈련과 시험용으로 구분하여 분석한 결과는 전체적으로 재무/비재무적 지표를 고려한 인공신경망기법의 예측적중률이 높은 것으로 나타났다. 즉, 로지스틱회귀분석의 재무적 지표모형은 훈련, 시험용이 84.45%, 85.10%인 반면, 재무/비재무적 지표모형은 84.45%, 85.08%로서 거의 동일한 예측적중률을 가졌으나 인공신경망기법 분석에서는 재무적 지표모형이 92.23%, 85.10%인 반면, 재무/비재무적 지표모형에서는 91.12%, 88.06%로서 향상된 예측적 중률을 나타내었다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 1999.03a
• /
• pp.415-421
• /
• 1999

Altman의 연구(1965, 1977)나 Beaver의 연구(1986)와 같은 전통적 예측모형은 분석자의 판단에 따른 예측도가 높은 재무비율을 선정하여 다변량판별분석(MDA:multiple discriminant analysis), 로지스틱회귀분석 등과 같은 통계기법을 주로 이용해 왔으나 1980년 후반부터 인공지능 기법인 귀납적 학습방법, 인공신경망모형, 유전모형 등이 부실기업예측에 응용되기 시작했다. 최근 연구에서는 인공신경망을 활용한 변수 및 모형개발에 관한 보고가 있다. 그러나 지금까지의 연구가 주로 기업의 재무적 비율지표를 고려한 모형에 치중되었으며 정성적 자료인 비재무지표에 대한 검증과 선정이 자의적으로 이루어져온 경향이었다. 또한 너무 많은 입력변수를 사용할 경우 다중공선성 문제를 유발시킬 위험을 내포하고 있다. 본 연구에서는 부실기업예측모형을 수립하기 위하여 정량적 요인인 재무적 지표변수와 정성적 요인인 비재무적 지표변수를 모두 고려하였다. 재무적 지표변수는 상관분석 및 요인분석들을 통하여 유의한 변수들을 도출하였으며 비재무적 지표변수는 조직생태학내에서의 조직군내 조직사멸과 관련된 생태적 과정에 대한 요인들 중 조직군 내적요인으로 조직의 연령, 조직의 규모, 조직의 산업밀도를 도출하여 4개의 실험집단으로 분류하여 비재무적 지표변수를 보완하였다. 인공신경망은 다층퍼셉트론(multi-layer perceptrons)과 역방향 학습(back-propagation)알고리듬으로 입력변수와 출력변수, 그리고 하나의 은닉층을 가지는 3층 퍼셉트론(three layer perceptron)을 사용하였으며 은닉층의 노드(node)수는 3개를 사용하였다. 입력변수로 안정성, 활동성, 수익성, 성장성을 나타내는 재무적 지표변수와 조직규모, 조직연령, 그 조직이 속한 산업의 밀도를 비재무적 지표변수로 산정하여 로지스틱회귀 분석과 인공신경망 기법으로 검증하였다. 로지스틱회귀분석 결과에서는 재무적 지표변수 모형의 전체적 예측적중률이 87.50%인 반면에 재무/비재무적 지표모형은 90.18%로서 비재무적 지표변수 사용에 대한 개선의 효과가 나타났다. 표본기업들을 훈련과 시험용으로 구분하여 분석한 결과는 전체적으로 재무/비재무적 지표를 고려한 인공신경망기법의 예측적중률이 높은 것으로 나타났다. 즉, 로지스틱회귀 분석의 재무적 지표모형은 훈련, 시험용이 84.45%, 85.10%인 반면, 재무/비재무적 지표모형은 84.45%, 85.08%로서 거의 동일한 예측적중률을 가졌으나 인공신경망기법 분석에서는 재무적 지표모형이 92.23%, 85.10%인 반면, 재무/비재무적 지표모형에서는 91.12%, 88.06%로서 향상된 예측적중률을 나타내었다.

• KIPS Transactions on Computer and Communication Systems
• /
• v.6 no.7
• /
• pp.297-306
• /
• 2017

Citizens want more accurate forecast information using Bus Information System. However, most bus information systems that use an average based short-term prediction algorithm include many errors because they do not consider the effects of the traffic flow, signal period, and halting time. In this paper, we try to improve the precision of forecast information by analyzing the influencing factors of the error, thereby making the convenience of the citizens. We analyzed the influence factors of the error using BIS data. It is shown in the analyzed data that the effects of the time characteristics and geographical conditions are mixed, and that effects on halting time and passes speed is different. Therefore, the halt time is constructed using Generalized Additive Model with explanatory variable such as hour, GPS coordinate and number of routes, and we used Hidden Markov Model to construct a pattern considering the influence of traffic flow on the unit section. As a result of the pattern construction, accurate real-time forecasting and long-term prediction of route travel time were possible. Finally, it is shown that this model is suitable for travel time prediction through statistical test between observed data and predicted data. As a result of this paper, we can provide more precise forecast information to the citizens, and we think that long-term forecasting can play an important role in decision making such as route scheduling.

• Journal of the Korean Geotechnical Society
• /
• v.27 no.1
• /
• pp.17-24
• /
• 2011

The characteristics of flow and strength of CLSM depend on the combination ratio including the fly ash, pond ash, cement, water quantity and etc. However, it is very difficult to draw the mechanism about the flow, strength and the mixing ratio of each components. Therefore, the method of calculation drawing the flow about the component ratio of CLSM and compression strength value is needed for the valid practical use of CLSM. To verify the efficiency of artificial neural network, new data which were not used for establishing the model were predicted and compared with the results of laboratory tests. In this research, it was used to evaluate the learning efficiency of the artificial neural network model and the prediction ability by changing the node number of hidden layer, learning rate, momentum, target system error and hidden layer. By using the results, the optimized artificial neural network model which is suitable for a flow and compressive strength estimate of CLSM was determined.