Optimization of Sigmoid Activation Function Parameters using Genetic Algorithms and Pattern Recognition Analysis in Input Space of Two Spirals Problem

This paper presents a optimization of sigmoid activation function parameter using genetic algorithms and pattern recognition analysis in input space of two spirals benchmark problem. To experiment, cascade correlation learning algorithm is used. In the first experiment, normal sigmoid activation function is used to analyze the pattern classification in input space of the two spirals problem. In the second experiment, sigmoid activation functions using different fixed values of the parameters are composed of 8 pools. In the third experiment, displacement of the sigmoid function to determine the value of the three parameters is obtained using genetic algorithms. The parameter values applied to the sigmoid activation functions for candidate neurons are used. To evaluate the performance of these algorithms, each step of the training input pattern classification shows the shape of the two spirals.

유전자알고리즘을 이용한 시그모이드 활성화 함수 파라미터의 최적화와 이중나선 문제의 입력공간 패턴인식 분석

본 논문에서는 유전자알고리즘을 이용한 시그모이드 활성화 함수 파라미터의 최적화와 이중나선기준문제(two spirals benchmark problem)의 입력공간 패턴인식 상태를 분석 한다. 실험을 위하여 캐스케이드 코릴레이션 학습 알고리즘(Cascade Correlation learning algorithm)을 이용한다. 첫 번째 실험에서는 기본적인 시그모이드 활성화 함수를 사용하여 이중나선 문제를 분석하고, 두 번째 실험에서는 시그모이드 활성화 함수(sigmoidal activation function)의 파라미터 값이 서로 다른 함수를 사용하여 8개의 풀을 구성한다. 세 번째 실험에서는 시그모이드 함수의 변위를 결정하는 세 개의 파라미터 값을 유전자 알고리즘을 이용하여 얻고 이 파라미터 값들이 적용된 시그모이드 함수들은 후보뉴런의 활성화를 위해서 사용된다. 이러한 알고리즘의 성능평가를 위하여 각 학습단계 마다 입력패턴공간에서 인식된 이중나선의 형태를 보여준다.