Abstract
There have been much difficulties to construct an optimized neural network in complex nonlinear regression problems such as selecting the networks structure and avoiding overtraining problem generated by noise. In this paper, we propose a stepwise constructive method for neural networks using a flexible incremental algorithm. When the hidden nodes are added, the flexible incremental algorithm adaptively controls the number of hidden nodes by a validation dataset for minimizing the prediction residual error. Here, the ELM (Extreme Learning Machine) was used for fast training. The proposed neural network can be an universal approximator without user intervene in the training process, but also it has faster training and smaller number of hidden nodes. From the experimental results with various benchmark datasets, the proposed method shows better performance for real-world regression problems than previous methods.
복잡한 비선형 회귀문제들에서 최적의 신경망을 구축하기 위해서는 구조의 선정 및 노이즈에 의한 과잉학습(overtraining)등에 따른 많은 문제들이 있다. 본 논문에서는 flexible incremental 알고리즘을 이용하여 단계적으로 최적의 신경망을 구축하는 방법을 제안한다. Flexible incremental 알고리즘은 예측 잔류오차를 최소화하기 위해 단계적으로 추가되어지는 은닉노드 개수를 검증데이터를 이용하여 신축성 있게 조절하고, 빠른 학습을 위하여 ELM (Extreme Learning Machine)을 이용한다. 제안된 방법은 신경망의 구축과정에서 사용자의 어떠한 관여 없이도 빠른 학습과 적은 수의 은닉노드들에 의한 범용 근사화 (universal approximation)가 가능한 신경망의 구축이 가능한 장점을 가지고 있다. 다양한 종류의 벤치마크 데이터들을 이용한 실험 결과를 통하여 제안된 방법이 실제 회귀문제들에서 우수한 성능을 가짐을 확인하였다.
