• Communications for Statistical Applications and Methods
• /
• v.5 no.3
• /
• pp.599-605
• /
• 1998

본 연구에서는 단순구조 순환신경망을 이용한 신경망예측과 전통적인 시계열예측 방법을 이용하여, 순환변동이 있는 시계열자료의 단기예측 오차를 비교한다. 순환신경망모형의 입력자료를 변화시키는 개선된 학습방법을 적용하여 시계열자료를 학습하고, 신경망예측의 결과는 선형 AR(9)모형, 비선형 SETAR모형 그리고 이들의 결합모형을 이용한 예측결과와 비교한다. 실증분석에 적용된 시계열자료는 1700년부터 1987년 까지의 태양흑점 자료이며 예측에 이용된 검정자료는 1980년부터 8년 간의 자료이다.

• Journal of Korea Water Resources Association
• /
• v.51 no.12
• /
• pp.1217-1227
• /
• 2018

This paper aims to evaluate the applicability of dam inflow prediction model using recurrent neural network theory. To achieve this goal, the Artificial Neural Network (ANN) model and the Elman Recurrent Neural Network(RNN) model were applied to hydro-meteorological data sets for the Soyanggang dam and the Chungju dam basin during dam operation period. For the model training, inflow, rainfall, temperature, sunshine duration, wind speed were used as input data and daily inflow of dam for 10 days were used for output data. The verification was carried out through dam inflow prediction between July, 2016 and June, 2018. The results showed that there was no significant difference in prediction performance between ANN model and the Elman RNN model in the Soyanggang dam basin but the prediction results of the Elman RNN model are comparatively superior to those of the ANN model in the Chungju dam basin. Consequently, the Elman RNN prediction performance is expected to be similar to or better than the ANN model. The prediction performance of Elman RNN was notable during the low dam inflow period. The performance of the multiple hidden layer structure of Elman RNN looks more effective in prediction than that of a single hidden layer structure.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2018.05a
• /
• pp.424-424
• /
• 2018

인공신경망(Artificial Neural Network; ANN)은 뇌에 존재하는 생물학적 신경세포와 이들의 신호처리 과정을 수학적으로 묘사하여 뇌가 나타내는 지능적 형태의 반응을 구현한 것이다. 인공신경망은 학습(training)을 통해 입력과 출력으로 구성되는 하나의 시스템을 병렬적이고 비선형적으로 구축할 수 있으며, 유연한 모델링 특성으로 인하여 시스템 예측, 패턴인식, 분류 및 공정제어 등의 다양한 분야에서 활용되고 있다. 인공신경망에 대한 최초의 이론은 Muculloch and Pitts(1943)가 제안한 Perceptron에서 시작 되었으며, 기본적인 학습기법인 오차역전파 기법(back-propagation Algorithm) 이 1980년대에 들어 수학적으로 정립된 이후 여러 분야에서 활용되기 시작하였다). 본 연구에서는 하도추적, 구체적으로는 상류단의 복수의 수위관측을 이용하여 하류단의 수위를 예측하기 위하여 인공신경망 모델을 구성하였다. 대상하도는 금강유역의 용담댐과 대청댐 사이의 본류이며, 상류단 입력자료로써 본류에 있는 수통, 호탄 관측소 관측수위와 지류인 송천 관측소 관측수위를 고려하였다. 출력 값으로는 하류단의 옥천 관측소 수위를 3시간 및 6시간의 선행시간으로 예측하도록 인공신경망 모형을 구성하였다. 인공신경망의 학습(testing), 시험(testing), 검증(validation)을 위해 2000년부터 2012년까지 13년간의 시수위자료를 이용하여 학습을 진행하였으며, 2013년부터 2014년의 2년간의 수위자료를 이용한 시험을 통해 최적의 모형을 선정하였다. 또한 선정된 최적의 모형을 이용하여 2015년부터 2016년까지의 수위예측을 수행하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2009.05a
• /
• pp.1412-1416
• /
• 2009

최근의 극심한 기상이변으로 인하여 발생되는 이상호우의 예측에 관한 사항은 치수 이수는 물론 방재의 측면에서도 역시 매우 중요한 관심사로 부각되고 있다. 강우를 예측하기 위해 많은 방법들이 사용되고 있으나 강우의 메커니즘은 매우 복잡하여 수문순환과정에서 가장 예측하기 힘든 요소이며, 추계학적 예측모형이나 확정론적 예측모형 모두에 있어 상당한 불확실성을 내포하고 있다. 기상예측모형 등을 이용하여 강우예측에 대한 정도를 높여가고는 있으나 많은 수문학적 모형에서 요구하는 시공간적으로 정도가 높은 강우를 예측하기에는 힘들다. 인공신경망은 과거자료의 입 출력 패턴에서 정보를 추출하여 지식으로 보유하고, 이를 근거로 새로운 상황에 대한 해답을 제시하도록 하는 인공지능분야의 학습기법으로 인간이 과거의 경험과 훈련으로 지식을 축적하듯이 시스템의 입 출력에 의하여 연결강도를 최적화함으로서 모형의 구조를 스스로 조직화하기 때문에 모형의 구조에 적합한 최적 매개변수를 추정할 수 있다. 따라서 정확한 예측이 어려운 강우사상을 과거의 자료로부터 신경망의 수학적 알고리즘을 통해 강우의 예측에 적용할 수 있을 것이다. 따라서 본 연구에서는 이러한 인공신경망의 기법 중 오류 역전파 알고리즘을 통하여 과거의 강우사상들을 입 출력 자료로 이용하여 인공신경망을 학습시켜 강우의 예측에 대한 정도를 높이도록 하였다.

• KIPS Transactions on Computer and Communication Systems
• /
• v.12 no.2
• /
• pp.53-60
• /
• 2023

Recently, the demand and traffic volume for various multimedia contents are rapidly increasing through real-time streaming platforms. In this paper, we predict real-time streaming traffic to improve the quality of service (QoS). Statistical models have been used to predict network traffic. However, since real-time streaming traffic changes dynamically, we used recurrent neural network-based deep learning models rather than a statistical model. Therefore, after the collection and preprocessing for real-time streaming data, we exploit vanilla RNN, LSTM, GRU, Bi-LSTM, and Bi-GRU models to predict real-time streaming traffic. In evaluation, the training time and accuracy of each model are measured and compared.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2004.05b
• /
• pp.1208-1212
• /
• 2004

다목적댐을 효율적이고 체계적으로 운영하기 위해서는 수문순환에 대한 지역별, 기간별 이해와 더불어 댐저수지로의 정확한 유입량 산정이 필요하다. 수문모델링을 비교하기 위해서는 개념적 모형과 추계학적 모형으로 나눌 수 있는데 개념적 모형은 상당히 많은 입력요소로 말미암아 사용자로 하여금 이해를 하는데 있어서 어려움을 겪을 수 밖에 없는 실정이나 추계학적 모형은 확률적 철상 및 기초적 예측이론을 습득하게 되면 쉽고 간단하여 검토를 용이하게 할 수 있는 장점이 있다. 수자원시스템의 설계, 계획, 운영에 있어서 핵심적인 수문변수의 미래거동의 보다 나은 추정치가 필요하다. 예를 들어, 수력발전, 레크리에이션 이용과 하류지역의 오염희석과 같은 다중 목적을 유지하기 위하여 다목적댐을 운영할 때에, 다가오는 미래시간에 대한 계획된 유입량의 예측이 요구된다. 예측의 목적은 미래에 발생한 정확한 예측을 제공하는 것이다. 따라서 월유입량 예측을 위해 추계학적 모형(ARMA(1,1), ARMAX, TFN, SARIMA)과 신경망 모형(BP, CASCADE 등)의 적용을 통해 한강수게 주요 다목적댐에 가장 적합한 방법을 선정하고자 하는데 본 연구의 목적이 있다.

• Journal of Korean Society of Disaster and Security
• /
• v.12 no.2
• /
• pp.73-82
• /
• 2019

Recently, as the occurrence frequency of sudden floods due to climate change increased, the flood damage on riverside social infrastructures was extended so that there has been a threat of overflow. Therefore, a rapid prediction of potential flooding in riverside social infrastructure is necessary for administrators. However, most current flood forecasting models including hydraulic model have limitations which are the high accuracy of numerical results but longer simulation time. To alleviate such limitation, data driven models using artificial neural network have been widely used. However, there is a limitation that the existing models can not consider the time-series parameters. In this study the water surface elevation of the Hangang River bridge was predicted using the NARX model considering the time-series parameter. And the results of the ANN and RNN models are compared with the NARX model to determine the suitability of NARX model. Using the 10-year hydrological data from 2009 to 2018, 70% of the hydrological data were used for learning and 15% was used for testing and evaluation respectively. As a result of predicting the water surface elevation after 3 hours from the Hangang River bridge in 2018, the ANN, RNN and NARX models for RMSE were 0.20 m, 0.11 m, and 0.09 m, respectively, and 0.12 m, 0.06 m, and 0.05 m for MAE, and 1.56 m, 0.55 m and 0.10 m for peak errors respectively. By analyzing the error of the prediction results considering the time-series parameters, the NARX model is most suitable for predicting water surface elevation. This is because the NARX model can learn the trend of the time series data and also can derive the accurate prediction value even in the high water surface elevation prediction by using the hyperbolic tangent and Rectified Linear Unit function as an activation function. However, the NARX model has a limit to generate a vanishing gradient as the sequence length becomes longer. In the future, the accuracy of the water surface elevation prediction will be examined by using the LSTM model.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2002.05b
• /
• pp.928-933
• /
• 2002

• Proceedings of the Korea Water Resources Association Conference
• /
• 2011.05a
• /
• pp.408-408
• /
• 2011

수자원관리와 수문모형에 있어 강수, 증발산, 침투, 침루 등의 물 순환과정에 대한 실질적인 이해와 분석연구의 중요도가 높아지고 있는 실정이며, 그중에서도 토양수분은 강수의 침투, 유출 등의 지표면과 대기사이의 질량 및 에너지이동에 관여하는 중요한 요소로서 수자원 및 수문현상에 직접적인 영향을 미친다. 이를 위해 강수, 증발산, 토양수분과 같은 수문변수에 대한 다양한 관측이 실시되어야 하지만 국내에서는 지속적이고 안정적으로 지상관측을 할 수 없는 실정이며 관련 기반기술도 매우 취약하다. 따라서 이를 극복하기 위해서는 위성영상자료를 이용함으로써 한반도 전체에 대한 광역적인 토양수분자료의 획득을 용이하게 한다. 본 연구의 연구유역은 수자원 연구를 위해서 지정된 용담댐 시험유역으로 하였으며, 토양수분 관측지점의 지상관측 수문자료인 각 지점별 강수량, 지면온도, 인공위성자료인 MODIS 정규식생지수 등의 가용자료를 수집하고 신경망모형을 활용한 토양수분자료 생산 모형을 개발하여, 개선된 시공간 분해능과 공간정보 대표성을 가진 광역 토양수분자료를 생산하고 적용타당성을 분석하였다. 산정된 토양수분모형의 적용가능성을 파악하고자 용담댐 유역의 각 지점별 토양수분 관측데이터와 추정데이터를 비교한 결과 추천, 부귀, 상정 지점의 경우 평균 약 0.9257의 상관계수와 약 1.2917의 평균제곱근오차를 보였고, 검증지점인 천천2의 경우 약 0.8982의 상관계수와 약 5.1361의 평균제곱근오차의 결과를 보여주었으며 토양수분 추정모형의 적용가능성이 높음을 확인할 수 있었다.

• Journal of Intelligence and Information Systems
• /
• v.22 no.2
• /
• pp.127-142
• /
• 2016

Deep learning model is a kind of neural networks that allows multiple hidden layers. There are various deep learning architectures such as convolutional neural networks, deep belief networks and recurrent neural networks. Those have been applied to fields like computer vision, automatic speech recognition, natural language processing, audio recognition and bioinformatics where they have been shown to produce state-of-the-art results on various tasks. Among those architectures, convolutional neural networks and recurrent neural networks are classified as the supervised learning model. And in recent years, those supervised learning models have gained more popularity than unsupervised learning models such as deep belief networks, because supervised learning models have shown fashionable applications in such fields mentioned above. Deep learning models can be trained with backpropagation algorithm. Backpropagation is an abbreviation for "backward propagation of errors" and a common method of training artificial neural networks used in conjunction with an optimization method such as gradient descent. The method calculates the gradient of an error function with respect to all the weights in the network. The gradient is fed to the optimization method which in turn uses it to update the weights, in an attempt to minimize the error function. Convolutional neural networks use a special architecture which is particularly well-adapted to classify images. Using this architecture makes convolutional networks fast to train. This, in turn, helps us train deep, muti-layer networks, which are very good at classifying images. These days, deep convolutional networks are used in most neural networks for image recognition. Convolutional neural networks use three basic ideas: local receptive fields, shared weights, and pooling. By local receptive fields, we mean that each neuron in the first(or any) hidden layer will be connected to a small region of the input(or previous layer's) neurons. Shared weights mean that we're going to use the same weights and bias for each of the local receptive field. This means that all the neurons in the hidden layer detect exactly the same feature, just at different locations in the input image. In addition to the convolutional layers just described, convolutional neural networks also contain pooling layers. Pooling layers are usually used immediately after convolutional layers. What the pooling layers do is to simplify the information in the output from the convolutional layer. Recent convolutional network architectures have 10 to 20 hidden layers and billions of connections between units. Training deep learning networks has taken weeks several years ago, but thanks to progress in GPU and algorithm enhancement, training time has reduced to several hours. Neural networks with time-varying behavior are known as recurrent neural networks or RNNs. A recurrent neural network is a class of artificial neural network where connections between units form a directed cycle. This creates an internal state of the network which allows it to exhibit dynamic temporal behavior. Unlike feedforward neural networks, RNNs can use their internal memory to process arbitrary sequences of inputs. Early RNN models turned out to be very difficult to train, harder even than deep feedforward networks. The reason is the unstable gradient problem such as vanishing gradient and exploding gradient. The gradient can get smaller and smaller as it is propagated back through layers. This makes learning in early layers extremely slow. The problem actually gets worse in RNNs, since gradients aren't just propagated backward through layers, they're propagated backward through time. If the network runs for a long time, that can make the gradient extremely unstable and hard to learn from. It has been possible to incorporate an idea known as long short-term memory units (LSTMs) into RNNs. LSTMs make it much easier to get good results when training RNNs, and many recent papers make use of LSTMs or related ideas.