• 한국콘텐츠학회논문지
• /
• 제10권4호
• /
• pp.10-18
• /
• 2010

본 논문에서는 유전자알고리즘을 이용한 시그모이드 활성화 함수 파라미터의 최적화와 이중나선기준문제(two spirals benchmark problem)의 입력공간 패턴인식 상태를 분석 한다. 실험을 위하여 캐스케이드 코릴레이션 학습 알고리즘(Cascade Correlation learning algorithm)을 이용한다. 첫 번째 실험에서는 기본적인 시그모이드 활성화 함수를 사용하여 이중나선 문제를 분석하고, 두 번째 실험에서는 시그모이드 활성화 함수(sigmoidal activation function)의 파라미터 값이 서로 다른 함수를 사용하여 8개의 풀을 구성한다. 세 번째 실험에서는 시그모이드 함수의 변위를 결정하는 세 개의 파라미터 값을 유전자 알고리즘을 이용하여 얻고 이 파라미터 값들이 적용된 시그모이드 함수들은 후보뉴런의 활성화를 위해서 사용된다. 이러한 알고리즘의 성능평가를 위하여 각 학습단계 마다 입력패턴공간에서 인식된 이중나선의 형태를 보여준다.

• 한국산학기술학회논문지
• /
• 제15권3호
• /
• pp.1724-1733
• /
• 2014

본 논문에서는 비모노톤함수(non-monotone function)인 CosExp(cosine-modulated symmetric Exponential function) 함수와 모노톤함수(monotone function)인 시그모이드 함수를 캐스케이드 코릴레이션 알고리즘(Cascade Correlation algorithm)의 학습에 병행해서 사용하여 이중나선문제(two spirals problem)의 패턴인식에 어떠한 영향이 있는지 분석하고 이어서 알고리즘의 최적화를 시도한다. 첫 번째 실험에서는 알고리즘의 후보뉴런에 CosExp 함수를 그리고 출력뉴런에는 시그모이드 함수를 사용하여 나온 인식된 패턴을 분석한다. 두 번째 실험에서는 반대로 CosExp 함수를 출력뉴런에서 사용하고 시그모이드 함수를 후보뉴런에 사용하여 실험하고 결과를 분석한다. 세 번째 실험에서는 후보뉴런을 위한 8개의 풀을 구성하여 변형된 다양한 시그모이드 활성화 함수(sigmoidal activation function)를 사용하고 출력뉴런에는 CosExp함수를 사용하여 얻게 된 입력공간의 인식된 패턴을 분석한다. 네 번째 실험에서는 시그모이드 함수의 변위를 결정하는 세 개의 파라미터 값을 유전자 알고리즘을 이용하여 얻는다. 이 파라미터 값들이 적용된 시그모이드 함수들은 후보뉴런의 활성화를 위해서 사용되고 출력뉴런에는 CosExp 함수를 사용하여 실험한 최적화 된 결과를 분석한다. 이러한 알고리즘의 성능평가를 위하여 각 학습단계 마다 입력패턴공간에서 인식된 이중나선의 형태를 그래픽으로 보여준다. 최적화 과정에서 은닉뉴런(hidden neuron)의 숫자가 28에서 15로 그리고 최종적으로 12개로 줄어서 학습 알고리즘이 최적화되었음을 확인하였다.

• 융합신호처리학회논문지
• /
• 제11권1호
• /
• pp.80-87
• /
• 2010

함수합성법은 주어진 입출력 데이터 쌍으로부터 입출력관계를 충족하는 함수를 예측하는 것으로, 특성을 알 수 없는 시스템을 제어할 때에 필수적이다. 일반적으로 시스템은 비선형인 성질을 갖는 경우가 많고, 함수 합성에 취급하는 변수, 정수, 제약 등으로 조합된 문제가 발생하기가 쉽다. 그 함수를 합성하는 방법 중 한 가지로 유전적 프로그래밍이 제안되고 있다. 이것은 함수를 트리구조로 표시한 함수 트리에 유전적 조작을 적용하여, 입출력 관계를 충족하는 함수 트리를 탐색하는 방법이다. 본 논문에서는 기존의 유전적 프로그래밍에 의한 함수 합성법의 문제점을 지적하고, 새로운 4종류의 개선법을 제안한다. 즉, 함수 트리를 탐색할 때에 함수가 복잡하게 되는 것을 방지하기 위하여 함수 트리의 성장 억제, 조기 수렴을 목표로 하는 국소 탐색법의 채택, 함수 트리 내의 필요 없이 길어지는 요소의 효과적인 삭제, 대상으로 하는 문제의 특성을 이용하는 방법이다. 이러한 개선법을 이용할 경우, 기존의 유전적 프로그래밍에 의한 함수 합성법보다도 짧은 시간에 우수한 구조의 함수 트리가 구해지는 것을 2-spirals 문제에 대하여 컴퓨터 시뮬레이션을 통하여 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제11권3호
• /
• pp.107-115
• /
• 2006

본 논문에서는 캐스케이드 코릴레이션 학습 알고리즘을 위한 새로운 클래스의 활성화 함수를 소개한다. 이 함수는 코사인으로 모듈화된 가우스 함수로서 편의상 이 활성화 함수를 코스가우스(CosGauss) 함수라고 칭하기로 한다. 이 함수는 기존의 시그모이드 함수(sigmoidal function), 하이퍼볼릭탄젠트 함수(hyperbolic tangent function), 가우스 함수(gaussian function)에 비해서 등성이(ridge)를 더 많이 얻을 수 있다. 이러한 등성이들로 인하여 빠른 속도로 수렴하고 패턴인식 속도를 향상 시켜서 학습 능력을 향상시킬 수 있다. 캐스케이드 코릴레이션 네트워크에 이 활성화 함수를 사용하여 중요한 기준 문제(benchmark problem)의 하나인 이중나선 문제(two spirals problem)에 대하여 실험하여 다른 활성화 함수들과 결과 값을 비교하였다.

• 전자공학회논문지C
• /
• 제35C권3호
• /
• pp.79-89
• /
• 1998

The Error Back-Propagation(EBP) algorithm is widely applied to train a multi-layer perceptron, which is a neural network model frequently used to solve complex problems such as pattern recognition, adaptive control, and global optimization. However, the EBP is basically a gradient descent method, which may get stuck in a local minimum, leading to failure in finding the globally optimal solution. Moreover, a multi-layer perceptron suffers from locking a systematic determination of the network structure appropriate for a given problem. It is usually the case to determine the number of hidden nodes by trial and error. In this paper, we propose a new algorithm to efficiently train a multi-layer perceptron. OUr algorithm uses stochastic perturbation in the weight space to effectively escape from local minima in multi-layer perceptron learning. Stochastic perturbation probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the EGP learning gets stuck to it. Addition of new hidden nodes also can be viewed asa special case of stochastic perturbation. Using stochastic perturbation we can solve the local minima problem and the network structure design in a unified way. The results of our experiments with several benchmark test problems including theparity problem, the two-spirals problem, andthe credit-screening data show that our algorithm is very efficient.