Fast Learning Algorithms for Neural Network Using Tabu Search Method with Random Moves

Random Tabu 탐색법을 이용한 신경회로망의 고속학습알고리즘에 관한 연구

  • 양보석 (부산수산대학교 공과대학 기계공학과) ;
  • 신광재 (부산수산대학교 대학원) ;
  • 최원호 (부산수산대학교 대학원)
  • Published : 1995.09.01

Abstract

A neural network with one or more layers of hidden units can be trained using the well-known error back propagation algorithm. According to this algorithm, the synaptic weights of the network are updated during the training by propagating back the error between the expected output and the output provided by the network. However, the error back propagation algorithm is characterized by slow convergence and the time required for training and, in some situation, can be trapped in local minima. A theoretical formulation of a new fast learning method based on tabu search method is presented in this paper. In contrast to the conventional back propagation algorithm which is based solely on the modification of connecting weights of the network by trial and error, the present method involves the calculation of the optimum weights of neural network. The effectiveness and versatility of the present method are verified by the XOR problem. The present method excels in accuracy compared to that of the conventional method of fixed values.

본 연구에서는 종래에 학습법으로 널리 이용되고 있는 역전파학습법의 문제점으로 지적되어 온 학습에 많은 시간이 걸리는 점과 국소적 최적해에 해가 수렴하여 오차가 충분히 작게 되지 않는 등의 문제점을 해결하기 위해, Hu에 의해 고안된 random tabu 탐색법을 이용하여 신경회로망의 연결강도를 최적화하는 학습알고리즘을 새로이 제안하였다. 그리고 이 방법을 배타적 논리합 문제에 적용하여 기존의 역전파학습법과 학습상수 $, $에 tabu탐색법을 이용한 결과와 비교 검토하여 본 방법이 국소적 최적해에 수렴하지 않고 수렴정도를 개선할 수 있음을 확인하였다.

Keywords

References

  1. 뉴로 컴퓨터 박민용(譯);최항식(譯)
  2. Neural Computing Casimir K.;John G.;Garrett P.
  3. 日本機械學會講演論文潗 no.930-42. A Tabu探索法によるニュ-ラルネットワ-クの新しい 學習法 Shin Morishita(외 3인)
  4. International Journal Numerical Methods in Engineering v.35 Hu,N.
  5. Introduction to Optimum Design Jasbir S. Arora
  6. 대한기계학회 추계학술대회 Tabu탐색법을 이용한 신경회로망의 학습개선에 관한 연구 김유신;양보석;최성필