Variation of activation functions for accelerating the learning speed of the multilayer neural network

다층 구조 신경회로망의 학습 속도 향상을 위한 활성화 함수의 변화

In this raper, an enhanced learning method is proposed for improving the learning speed of the error back propagation learning algorithm. In order to cope with the premature saturation phenomenon at the initial learning stage, a variation scheme of active functions is introduced by using higher order functions, which does not need much increase of computation load. It naturally changes the learning rate of inter-connection weights to a large value as the derivative of sigmoid function abnormally decrease to a small value during the learning epoch. Also, we suggest the hybrid learning method incorporated the proposed method with the momentum training algorithm. Computer simulation results show that the proposed learning algorithm outperforms the conventional methods such as momentum and delta-bar-delta algorithms.

이 논문에서는 오차 역전파 학습 알고리듬의 학습 속도를 향상시키기 위한 새로운 학습 방법을 제안한다. 제안하고자 하는 방법은 시그모이드 형태를 갖는 신경회로망의 활성화 함수(activation function) 자체에 고차항(higher order)을 적절히 이용하여 초기 학습 단계에서 발생할 수 있는 조기 포화(premature saturation) 현상을 계산량의 큰 증가 없이 효과적으로 대처할 수 있다. 고차항을 이용함으로써 은닉층 활성화 함수의 도합수가 작은 값으로 감소함에 따라 신경망의 연결 강도를 학습시키는 학습율은 적응적으로 큰 값을 갖게 된다. 또한, 은닉층에 고차항을 이용하는 제안한 방법에 모멘텀(momentum) 학습 알고리듬을 결합하는 새로운 hybrid 학습 방법을 제안한다. 컴퓨터 모의 실험을 통해 제안하고자 하는 학습 방법과 기존의 방법들과의 학습 속도 성능을 비교한다.