Abstract
When a neural network is used to solve a given problem it is necessary to match the complexity of the network to that of the problem because the complexity of the network significantly affects its learning capability and generalization performance. Thus, it is desirable to have an algorithm that can find appropriate network structures in a self-organizing way. This paper proposes algorithms which automatically organize feed forward multi-layer neural networks with sigmoid hidden neurons for given problems. Using both constructive procedures and pruning procedures, the proposed algorithms try to find the near optimal network, which is compact and shows good generalization performance. The performances of the proposed algorithms are tested on four function regression problems. The results demonstrate that our algorithms successfully generate near-optimal networks in comparison with the previous method and the neural networks of fixed topology.
신경회로망을 이용하여 주어진 문제를 해결할 때, 문제의 복잡도에 맞는 구조를 찾는 것이 중요하다. 이것은 신경회로망의 복잡도가 학습능력과 일반화 성능에 크게 영향을 주기 때문이다. 그러므로, 문제에 적합한 신경회로망의 구조를 자기 구성적으로 찾는 알고리즘이 유용하다. 본 논문에서는 시그모이드 활성함수를 가지는 전방향 다층 신경회로망에 대하여 주어진 문제에 맞는 구조를 결정하는 알고리즘을 제안한다. 개발된 알고리즘은 구조증가 알고리즘과 연결소거 알고리즘을 이용하여, 주어진 학습 데이터에 대해 가능한 한 작은 구조를 가지며 일반화 성능이 좋은 최적에 가까운 신경회로망을 찾는다. 네 가지 함수 근사화 문제에 적용하여 알고리즘의 성능을 알아본다. 실험 결과에서, 제안한 알고리즘이 기존의 알고리즘 및 고정구조를 갖는 신경회로망과 비교하였을 때 최적 구조에 가까운 신경회로망을 구성하는 것을 확인한다.