오류 역전도 알고리즘의 학습속도 향상기법

An Enhancement of Learning Speed of the Error - Backpropagation Algorithm

다층신경회로망의 학습방법인 오류역전도 알고리즘은 연관기억장치, 음성인식, 패턴인식, 로보틱스등과 같은 다양한 응용분야에 널리 사용되고 있다. 그럼에도 불구하고 계속 많은 논문들이 역전도 알고리즘에 대해 발표되고 있는 실정이다. 이러한 연구 동향의 주된 이유는, 뉴런 갯수와 학습 패턴의 갯수가 큰 경우에 역전도 알고리즘의 학습속도가 상당히 느리다는 사실때문이다. 본 연구에서는 가변학습율, 가변모멘텀율, 그리고 시그모이드 함수의 가변기울기를 이용한 새로운 학습속도 가속기법을 개발하였다. 학습이 수행되는 도중에, 이러한 파라메터들은 전체 오류의 변화량에 따라 연속적으로 조정되며, 제안된 기법은 기존의 역전도 알고리즘에 비해 획기적으로 학습시간을 단축시키는 결과를 보였다. 제안된 기법의 효율성을 입증하기 위하여, 처음에는 난수발생기로 생성한 이진 데이터를 이용하여 에포크(epoch) 횟수를 비교할 때 훌륭한 속도 향상을 보였으며, 또한, 기계학습(machine learning)의 벤치마크 학습자료로 많이 사용되는 이진 Monk's data, 4, 5, 6, 7비트 패리티 검사 문제와 실수 Iris data에도 적용하였다.

The Error BackPropagation (EBP) algorithm for multi-layered neural networks is widely used in various areas such as associative memory, speech recognition, pattern recognition and robotics, etc. Nevertheless, many researchers have continuously published papers about improvements over the original EBP algorithm. The main reason for this research activity is that EBP is exceeding slow when the number of neurons and the size of training set is large. In this study, we developed new learning speed acceleration methods using variable learning rate, variable momentum rate and variable slope for the sigmoid function. During the learning process, these parameters should be adjusted continuously according to the total error of network, and it has been shown that these methods significantly reduced learning time over the original EBP. In order to show the efficiency of the proposed methods, first we have used binary data which are made by random number generator and showed the vast improvements in terms of epoch. Also, we have applied our methods to the binary-valued Monk's data, 4, 5, 6, 7-bit parity checker and real-valued Iris data which are famous benchmark training sets for machine learning.